Technische Samenvatting: CANDLE – Karakter-niveau Arabische Ruis-deduplicatie met een Lichtgewicht Encoder

Probleemdefinitie

Het artikel behandelt de uitdaging van karakter-niveau ruis-deduplicatie in Arabische tekst, specifiek gericht op het verwijderen van ongeldige opeenvolgende karakterherhalingen die veel voorkomen in informele sociale media-teksten. Hoewel schrijvers karakters vaak herhalen om nadruk of emotie uit te drukken (bijv. het verlengen van "sooooo" of Arabische equivalenten), kunnen deze herhalingen ook taalkundig valide en essentieel zijn voor de betekenis van een woord.

De kern van de moeilijkheid ligt in het onderscheid maken tussen ruisende verlenging (die verminderd moet worden) en valide morfologische herhaling (die behouden moet blijven). In het Arabisch bevat het woord voor "koninkrijk" (al-mamlaka) bijvoorbeeld een valide dubbele 'm', terwijl "koningin" (al-malika) dat niet heeft. Een naïef reductiesysteem dat alle herhalingen samenvoegt, zou de betekenis van valide woorden onjuist wijzigen. Bov加えて de validiteit van herhalingen in het Arabisch zelden meer dan twee opeenvolgende karakters overschrijdt, is de theoretische maximum vijf, wat de noodzaak creëert voor een systeem dat contextafhankelijke beslissingen kan nemen zonder te vertrouwen op rigide regels.

Methodologie

De auteurs stellen CANDLE voor, een lichtgewicht systeem dat karakter-deduplicatie frameert als een sequentie-uitlijningsprobleem in plaats van een classificatietaak.

1. Kernformulering: CTC-uitlijning

In tegen tegenstelling tot eerdere benaderingen die vertrouwen op handmatig gemaakte regels, woordenboeken of morfologische analysatoren, maakt CANDLE gebruik van Connectionist Temporal Classification (CTC).

• Input Transformatie: De inputtekst wordt eerst verwerkt met een reduce_to_2() operatie, die ervoor zorgt dat elk karakter precies twee keer voorkomt. Dit creëert een consistente inputstructuur waarbij de sequentielengte ongeveer dubbel de oorspronkelijke is.
• Uitlijningstaak: Het model leert deze verdubbelde inputsequentie uit te lijnen met de doelstelling "schone" sequentie (waarbij valide herhalingen worden behouden en ruisende herhalingen worden samengevoegd).
• Voordeel: Deze formulering voldoet aan de CTC-aanname dat de inputsequentielengte ($M$) groter is dan de outputsequentielengte ($N$), waardoor het model de uitlijning direct van data kan leren zonder expliciete grenslabels.

2. Modelarchitectuur en Training

• Basisarchitectuur: Het systeem wordt geïnitialiseerd met behulp van een vooraf getrainde karakter-gebaseerde BERT-architectuur (6 transformerlagen, $d_{model}=512$, 16 attention heads).
• Trainingsstrategie:
  • Classificatie Baseline: Een baseline-benadering werd getest waarbij het model elk karakter classificeert als "duplicaat" of "geen duplicaat" na een reduce_to_1() operatie. Dit leed onder klassenimbalans en slechte prestaties bij ambigue gevallen.
  • CTC Training: Het CTC-model werd getraind met een progressieve unfreezing-strategie. Aanvankelijk werd alleen de outputlaag getraind; vervolgens werden de laatste twee, dan drie, en uiteindelijk alle transformerlagen ontvrij gemaakt om convergentie op de moeilijkere uitlijningstaak te waarborgen.
• Model Distillatie: Om de inferentie-overhead te verminderen, werd een 6-laags "teacher"-model gedestilleerd naar een 2-laags "student"-model. De student werd geïnitialiseerd met de eerste en laatste lagen van de teacher en getraind met een combinatie van soft targets (KL-divergentie van de teacher) en hard targets (ground truth CTC loss).

3. Datasets

Het systeem werd geëvalueerd op drie verschillende benchmarks:

• NewsText: Een schone corpus van de Sabq krant, gebruikt om fouten in formeel geschreven tekst te meten (waar het model idealiter geen wijzigingen zou aanbrengen).
• AmbigText: Een handmatig gecureerde dataset van 273 zinnen met ambigue gevallen waar gereduceerde vormen naar meerdere valide woorden zouden kunnen mappen (bijv. "grootvader" vs. "vernieuwd").
• WildSAText: Een real-world dataset van 142.280 zinnen uit Saoedische fora, die ruisende, informele en dialectale Arabische teksten vertegenwoordigt.

Belangrijkste Resultaten

De CTC-gebaseerde aanpak presteerde aanzienlijk beter dan de classificatie-gebaseerde baseline over alle metrieken en datasets.

• Prestaties op Schone Tekst (NewsText): Het CTC-model behaalde een Sentence Error Rate (SER) van 5,37%, vergeleken met 63,79% voor de classificatie-baseline. Cruciaal is dat beide modellen 0% fout bereikten op zinnen zonder duplicaten, wat bevestigt dat ze reeds schone tekst niet wijzigen.
• Prestaties op Ambigue Tekst (AmbigText): Het CTC-model behaalde een SER van 23,08%, wat de classificatie-baseline (69,96%) ruim overtreft. Dit demonstreert het superieure vermogen van de uitlijningsformulering om context te benutten voor het oplossen van ambiguïteit.
• Prestaties op Real-World Tekst (WildSAText): Het CTC-model behaalde een algehele SER van 9,93%, vergeleken met 53,93% voor de baseline.
• Distillatie-efficiëntie: Het 2-laags gedestilleerde model behield een hoge prestatie, met SER's van 6,31% (NewsText), 25,27% (AmbigText) en 12,43% (WildSAText). Dit vertegenwoordigt een 3× reductie in modeldiepte met minimale prestatievermindering.

Downstream Impact: Tokenizer Fertility

Naast nauwkeurigheid benadrukt het artikel een praktisch downstream voordeel: verminderde tokenizer fertility. Door tekst te normaliseren voordat deze een Large Language Model (LLM) binnengaat, neemt het aantal tokens dat nodig is om de tekst te representeren af.

• Over diverse Arabische LLM tokenizers (inclusief JAIS, Gemma, Llama en Qwen), verminderde normalisatie de fertility scores met 4,8% tot 12,8% ten opzichte van de ruwe input.
• Deze reductie vertaalt zich direct naar lagere inferentiekosten en een efficiënter gebruik van context windows.

Betekenis en Bijdragen

Het paper claimt de volgende bijdragen:

1. Nieuwe Toepassing van CTC: Dit is de eerste bekende toepassing van Connectionist Temporal Classification op de specifieke taak van karakter-niveau duplicatie, waarbij normalisatie wordt geframed als een sequentie-uitlijningsprobleem.
2. Resource Efficiëntie: Het systeem werkt zonder handmatig gemaakte regels, woordenboeken of morfologische analysatoren, en vertrouwt uitsluitend op een lichtgewicht encoder.
3. Praktische Implementatie: Door middel van modeldistillatie demonstreren de auteurs dat een hoog-presterend model kan worden gecomprimeerd tot een 2-laags student, wat het geschikt maakt voor productieomgevingen.
4. Kostenreductie: Het werk legt een direct verband tussen tekstnormalisatie en verminderde LLM-inferentiekosten via verbeterde tokenisatie-efficiëntie.

Beperkingen

De auteurs erkennen twee primaire beperkingen:

• Zuivere Arabische Input: Het systeem gaat ervan uit dat de input alleen Arabische letters bevat. Het ondersteunt geen diakritische tekens, cijfers of speciale tekens, die door een specifieke preprocessing-fase moeten worden afgehandeld om de zinsstructuur niet te verstoren.
• Begrensde Herhaling: Het systeem gaat ervan uit dat valide herhalingen niet meer dan twee opeenvolgende karakters beslaan. Hierdoor kunnen zeldzame, maar valide Arabische woorden met drie of meer opeenvolgende identieke karakters, onjuist worden samengevoegd.