PersianPunc: A Large-Scale Dataset and BERT-Based Approach for Persian Punctuation Restoration

Deze paper introduceert PersianPunc, een groot dataset van 17 miljoen voorbeelden en een efficiënte ParsBERT-gebaseerde methode voor het herstellen van leestekens in het Perzisch, die een hoge nauwkeurigheid bereikt zonder de nadelen van overcorrectie en hoge rekenkosten van grote taalmodellen.

De kern

Stel je voor dat je een gesprek met iemand voert, maar die persoon fluistert alles in één lange, ademloze zin zonder enige pauze, komma of punt.

"Ikhebgeenmedelijdenvoordemensenmoetjeexecuteren"

Klinkt dat als een gruwelijke bevel? Misschien. Maar als je er een paar kleine tekenen tussen zet, verandert de betekenis volledig:

"Ik heb geen medelijden, voer hem uit." (Een bevel)
"Medelijden? Nee, voer hem niet uit." (Een redding)

Dit is precies het probleem waar dit wetenschappelijke artikel over gaat. Het is een reis naar het verbeteren van de Perzische taal (gesproken in Iran en omstreken) door computers te leren hoe ze die cruciale "ademhalingstekens" – leestekens – moeten plaatsen.

Hier is het verhaal van het artikel, vertaald in simpele taal met een paar creatieve vergelijkingen.

1. Het Probleem: De Taal zonder Ademhaling

In de wereld van computers die tekst verwerken (zoals bij spraakherkenning), wordt gesproken taal vaak omgezet in tekst zonder leestekens. Voor de Perzische taal is dit een groot probleem. Zonder komma's en punten is de betekenis van een zin vaak onduidelijk of zelfs compleet verkeerd.

Stel je voor dat je een boek leest dat is geschreven door iemand die nooit heeft gestopt om te ademen. Je raakt snel moe en begrijpt de boodschap niet goed. De auteurs van dit artikel zeggen: "We moeten deze taal weer adem geven."

2. De Oplossing: Een Reuze-Bibliotheek (PersianPunc)

Om een computer slim te maken, heb je veel voorbeelden nodig. Het team heeft een enorme bibliotheek samengesteld, genaamd PersianPunc.

• De Analogie: Stel je voor dat je een kok wilt leren koken. Je kunt hem niet alleen een recept geven; je moet hem duizenden keren laten zien hoe echte, goede maaltijden eruitzien.
• Wat ze deden: Ze hebben 17 miljoen voorbeelden verzameld uit verschillende bronnen: van formele kranten en medische artikelen tot informele Telegram-berichten en blogs. Ze hebben deze teksten grondig schoongemaakt (zoals het verwijderen van dubbele pagina's of rare tekens) om een perfecte "trainingsset" te maken.

3. De Werknemer: De Slimme, maar Nuchtere Robot (ParsBERT)

Vroeger probeerden mensen dit met ingewikkelde statistische formules. Vandaag de dag gebruiken we "Deep Learning".

• De Analogie: Stel je voor dat je twee soorten werknemers hebt om tekst te verbeteren:
  1. De Grote, Duurzame Consultant (LLM's zoals GPT-4): Deze is enorm slim en kan alles. Maar hij is duur, traag, en soms te creatief. Hij denkt: "Oh, deze zin klinkt raar, ik ga het woord 'vader' vervangen door 'pa' en de zin iets herschrijven." Dat is een probleem als je alleen maar leestekens wilt toevoegen!
  2. De Nuchtere, Snelle Ambtenaar (ParsBERT): Dit is een model dat specifiek is getraind op Perzisch. Hij is lichter, sneller en doet precies wat hij moet doen: hij plaatst alleen de komma's en punten, zonder de woorden aan te raken.

De auteurs hebben hun eigen "Ambtenaar" (een aangepaste versie van ParsBERT) getraind met hun enorme bibliotheek. Het resultaat? Hij scoort 91,33% op het juiste plaatsen van leestekens.

4. De Grote Vergelijking: Waarom de "Grote Consultant" faalt

Het artikel toont aan dat de super-slimme AI-modellen (zoals GPT-4) weliswaar goed zijn, maar een groot nadeel hebben: Over-correctie.

• Het Gevaar: Als je GPT-4 vraagt om leestekens toe te voegen aan een tekst van een spraakherkenningsprogramma, kan hij in paniek raken en denken dat de tekst fout is. Hij begint dan woorden te verwijderen of te veranderen.
• De Metafoor: Stel je voor dat je een schilderij laat restaureren. De "Grote Consultant" vindt dat de verf verkeerd is en begint de hele afbeelding opnieuw te schilderen. De "Nuchtere Ambtenaar" (ons model) plakt alleen de kleine barsten (leestekens) dicht en laat het originele schilderij precies zoals het is. Voor spraak-naar-tekst systemen is dit cruciaal: je wilt de woorden van de spreker niet veranderen, alleen de structuur verbeteren.

5. Waarom is dit belangrijk?

Dit werk is een mijlpaal voor de Perzische taal in de digitale wereld.

• Betere vertalingen: Als een computer de zin begrijpt, kan hij hem beter vertalen.
• Betere stemassistenten: Denk aan Siri of Google Assistant in het Perzisch. Ze zullen veel natuurlijker klinken als ze weten waar ze moeten pauzeren.
• Een blauwdruk voor anderen: De methode die ze hebben gebruikt om deze dataset te maken, kan ook worden gebruikt voor andere talen die weinig digitale hulpbronnen hebben.

Samenvattend

De auteurs hebben een reusachtige, schone verzameling Perzische teksten gemaakt en een slimme, snelle computer getraind om de leestekens te plaatsen. Ze hebben bewezen dat je niet altijd de duurste, zwaarste AI nodig hebt; soms is een gespecialiseerde, efficiënte oplossing beter, omdat die precies doet wat er gevraagd wordt zonder onnodige veranderingen.

Het is alsof ze de taal van de toekomst hebben voorzien van de juiste ademhaling, zodat de computer eindelijk kan "praten" zoals een mens.

Technische samenvatting

Probleemstelling

Interpunctieherstel is een cruciale taak in de natuurlijke taalverwerking (NLP), vooral voor output van automatische spraakherkenning (ASR). Het ontbreken van leestekens beïnvloedt de leesbaarheid en de prestaties van downstream-taken zoals machinevertaling, samenvatting en sentimentanalyse aanzienlijk. Voor het Perzisch (Farsi) is dit probleem onderbelicht ondanks de hoge complexiteit van de taal.

Zoals geïllustreerd in het paper, kan een minimale wijziging in leestekens de betekenis van een zin volledig omkeren (bijvoorbeeld van een negatieve naar een positieve interpretatie). Bestaande Perzische studies lijden echter onder beperkingen:

• Gebrek aan grote, publiek beschikbare datasets die specifiek zijn opgezet voor interpunctieherstel.
• Bestaande datasets zijn vaak klein, domeinspecifiek of niet openbaar.
• Er is weinig onderzoek gedaan naar de beperkingen van moderne Large Language Models (LLMs) voor deze taak, met name hun neiging tot "over-correctie" (het onbedoeld wijzigen van woorden in plaats van alleen leestekens toe te voegen).

Methodologie

1. Dataset Constructie: PersianPunc
De auteurs hebben PersianPunc ontwikkeld, een grootschalig, hoogwaardig dataset met 17 miljoen unieke samples. De dataset is opgebouwd via een systematische aggregatie en filtering van zes verschillende bronnen:

• Formele teksten: Bijankhan-Peykare Corpus, Perzisch Medisch QA, en Perzisch Wikipedia.
• Informele teksten: Perzische Telegram-kanalen, Farsi Stories, en een Blog-dataset.

Het preprocessing-pipeline omvat:

• Normalisatie: Conversie van Engelse leestekens naar Perzische equivalenten (bijv. , naar ،), verwijdering van niet-Perzische karakters en normalisatie van witruimte.
• Kwaliteitsfiltering: Verwijdering van zinnen met URL's, emojis, of te veel niet-alphabetische tekens.
• Selectiecriteria: Alleen zinnen met minimaal 10 karakters en minimaal twee doel-leestekens (uit de set {., ،, ؟, !, ;, :}) werden behouden. Dit zorgt voor een focus op de uitdaging van interne zinsinterpunctie, wat essentieel is voor ASR-toepassingen.
• Deduplicatie: SHA-256 hash-gebaseerde verwijdering van dubbele zinnen.

De dataset is opgesplitst in een trainingsset (989k), validatieset (10k) en testset (1k), waarbij de verdeling over de bronnen behouden bleef.

2. Model Architectuur en Training
Het probleem wordt geformuleerd als een token-level sequence labeling taak.

• Model: Een fijngefineerde versie van ParsBERT (een monolinguale Perzische BERT-encoder).
• Output: Voor elk token wordt een van de vijf klassen voorspeld: EMPTY (geen leesteken), COMMA (،), QUESTION (؟), PERIOD (.), en COLON (:).
• Implementatie: Leestekens worden alleen toegewezen aan het eerste subwoord van een woord (volgens de WordPiece-tokenisatie), wat de voorspelling op woordniveau aligneert.
• Training: Geoptimaliseerd met AdamW, learning rate van $2 \times 10^{-5}$, batch size van 680 (via gradient accumulation), en 3 epochs.

3. Evaluatiemetrics
Naast standaard metrics (Precision, Recall, F1-score per klasse en macro/micro-averaged F1), wordt de Full Sentence Match (FSM) rate gebruikt. Deze metric is cruciaal om te detecteren of een model alleen leestekens toevoegt of ook ongewenste tekstwijzigingen (over-correctie) doorvoert.

Belangrijkste Resultaten

• Prestaties: Het fijngefineerde ParsBERT-model bereikte een macro-averaged F1-score van 91,33% en een micro-averaged F1-score van 97,28% op de testset.
  • De prestaties per leesteken waren: Period (98,71%), Colon (90,45%), Question mark (88,89%) en Comma (80,03%). De lagere score voor komma's wordt toegeschreven aan de contextuele ambiguïteit in het Perzisch.
• Vergelijking met LLMs: De auteurs vergeleken hun model met GPT-4o en GPT-4o-mini (zero-shot prompting).
  • Hoewel GPT-4o een redelijke F1-score behaalde (85,96%), scoorde het aanzienlijk lager op de FSM-rate (50,10%) vergeleken met ParsBERT (61,80%).
  • Over-correctie: GPT-4o toonde een neiging tot het verwijderen van woorden, het vervangen van informele termen door formele, of het corrigeren van vermeende spelfouten. Dit is problematisch voor ASR-pipelines waar de originele tekst exact moet worden behouden.
  • Efficiëntie: Het ParsBERT-model is aanzienlijk lichter en sneller, wat het geschikt maakt voor real-time toepassingen, terwijl LLMs hoge rekenkosten vereisen.

Bijdragen en Significantie

1. PersianPunc Dataset: De publicatie van een dataset van 17 miljoen samples, wat een kritieke kloof in Perzische NLP-resources opvult. Het biedt een robuust fundament voor training van modellen in diverse domeinen (formeel en informeel).
2. Methodologisch Kader: Een systematisch framework voor dataset-curatie, inclusief gedetailleerde preprocessing en kwaliteitsfilters, dat als blauwdruk kan dienen voor andere taalkundig rijke, maar resource-arme talen.
3. Validatie van BERT vs. LLMs: Het paper demonstreert dat gespecialiseerde, fijngefineerde BERT-modellen superieur zijn aan grote taalmodellen voor specifieke taken zoals interpunctieherstel. Ze vermijden de valkuil van over-correctie en zijn computerefficiënter.
4. Openbaarheid: De dataset, het trainingssubset en het fijngefineerde model zijn publiek beschikbaar gesteld om toekomstig onderzoek in Perzische NLP te faciliteren.

Conclusie
Dit werk biedt een schaalbare oplossing voor het herstel van Perzische interpunctie. Het benadrukt dat voor specifieke NLP-taken in resource-arme contexten, gespecialiseerde modellen vaak beter presteren dan generieke LLMs, vooral wanneer het behoud van de originele tekst (bijv. bij spraak-naar-tekst) van vitaal belang is.