💬 NLP

When Informal Text Breaks NLI: Tokenization Failure, Distribution Shift, and Targeted Mitigations

Dit onderzoek toont aan dat informele tekst de NLI-prestaties van modellen zoals ELECTRA en RoBERTa voornamelijk ondermijnt door tokenisatiefouten bij emoji's en distributieve verschuivingen door ruiswoorden, maar dat een hybride aanpak van voorverwerking en data-augmentatie deze prestaties herstelt tot boven het niveau van GPT-4o-mini.

Oorspronkelijke auteurs: Avinash Goutham Aluguvelly

Gepubliceerd 2026-04-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Avinash Goutham Aluguvelly

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een slimme, getrainde hond hebt die heel goed is in het begrijpen van formele teksten, zoals krantenartikelen of officiële brieven. Deze hond (in dit geval een AI-model) heeft duizenden voorbeelden gezien van hoe mensen "netjes" schrijven. Maar wat gebeurt er als je hem een berichtje stuurt vol met emoji's, straattaal of woorden als "no cap" of "deadass"?

Volgens dit onderzoek gaat die slimme hond dan volledig de mist in. Het artikel van Avinash Goutham Aluguvelly legt uit waarom dit gebeurt en, nog belangrijker, hoe we het kunnen fixen.

Hier is de uitleg in gewone taal, met een paar leuke vergelijkingen:

1. Het Probleem: Twee Soorten "Ruis"

De onderzoekers hebben gekeken naar wat er gebeurt als je formele teksten verandert in informele taal (zoals op sociale media). Ze ontdekten dat er twee heel verschillende soorten problemen zijn, die ook twee heel verschillende oplossingen nodig hebben.

Soort A: De "Onleesbare Emoji" (Tokenization Failure)
Stel je voor dat je een boek leest, maar plotseling staan er in de tekst vreemde symbolen die de vertaler niet kent.

Wat er gebeurt: Als je woorden vervangt door emoji's (bijvoorbeeld "man" door een mannetje-emoji), kan de computer de tekst niet meer lezen. De "woordenlijst" van de computer (de tokenizer) kent deze emoji's niet. In plaats van het woord te lezen, ziet de computer een vraagteken ([UNK] = unknown).
Het gevolg: De computer raakt de inhoud kwijt voordat hij überhaupt kan nadenken. Het is alsof je iemand een brief geeft, maar de envelop is leeg.
De oplossing: Voorbewerken. Je moet de emoji's voordat ze bij de computer komen, terugzetten naar gewone tekst. Als je de computer eerst de vertaling geeft, kan hij het weer begrijpen.

Soort B: De "Nutteloze Woorden" (Distribution Shift)
Stel je voor dat je een gesprek voert met iemand die heel serieus is, maar jij begint ineens tussendoor "eh", "nou ja" of "no cap" te zeggen.

Wat er gebeurt: De computer kent deze woorden wel (ze staan in zijn woordenlijst), maar hij heeft ze nooit eerder gezien in een context waar het om logisch redeneren gaat. Omdat hij niet weet wat ze betekenen, denkt hij dat ze belangrijk zijn. Hij probeert er een logische conclusie uit te halen, wat hem in de war brengt.
Het gevolg: De computer denkt dat "no cap" betekent dat de zin een tegenstelling is, terwijl het gewoon een vullertje is.
De oplossing: Oefenen. Je moet de computer tijdens zijn training laten zien dat deze woorden erbij horen, maar dat ze niets te betekenen hebben. Als hij genoeg voorbeelden heeft gezien van "zin + no cap", leert hij die woorden te negeren.

2. De Grote Test: De "Kleine" vs. de "Grote" AI

De onderzoekers hebben twee modellen getest:

Een klein model (ELECTRA, 14 miljoen parameters).
Een groot model (RoBERTa, 355 miljoen parameters).

Ze vergelijkt ze ook met een super-slimme AI van Google (GPT-4o-mini) die ze niet hebben getraind, maar die gewoon "op zijn gevoel" (zero-shot) moet raden.

De verrassing: Het kleine model, zonder hulp, deed het slechter dan de grote Google-AI op informele teksten. De Google-AI had blijkbaar al veel informele taal gezien tijdens zijn training.
De oplossing werkt: Toen ze het kleine model de juiste training gaven (de combinatie van voorbewerken én oefenen), deed het kleine model het plotseling beter dan de grote Google-AI!
De les: Je hoeft niet per se een gigantisch, duur model te hebben. Als je het juiste "recept" (training) gebruikt, kan een klein model net zo goed of beter presteren.

3. De "Hybride" Oplossing: Het Beste van Beide Werelden

De onderzoekers ontdekten dat je beide problemen tegelijk kunt oplossen door een hybride aanpak te gebruiken:

Voorbewerken: Zet emoji's om naar tekst voordat de computer het ziet.
Oefenen: Laat de computer tijdens zijn training ook informele teksten zien, zodat hij leert wat hij moet negeren.

Het resultaat?

De nauwkeurigheid van het kleine model op informele teksten ging van ongeveer 76% naar 89%.
Het deed het op de formele teksten (de "schone" teksten) precies even goed als voorheen.
Het was dus een winst op alle fronten zonder nadeel.

Samenvattend in één zin:

Informele taal breekt AI op twee manieren: soms kan hij de tekens niet lezen (emoji's), en soms begrijpt hij de context van de woorden niet (slang). Door de tekst eerst op te poetsen én de AI extra te laten oefenen met die rare woorden, wordt hij weer even slim als een mens, zelfs als hij een klein model is.

De belangrijkste les voor ons: Als je een slimme machine wilt bouwen die echt begrijpt hoe mensen praten, moet je hem niet alleen leren lezen, maar hem ook leren omgaan met de rommelige, echte wereld.

Titel

Wanneer Informele Tekst NLI Verstoort: Tokenisatiefalen, Distributieverandering en Gerichte Mitigatie

1. Het Probleem

Natural Language Inference (NLI) modellen, getraind op formele datasets zoals SNLI en MultiNLI, presteren uitstekend op zorgvuldig bewerkte tekst (ongeveer 89-90% nauwkeurigheid). Echter, echte gebruikersdata is vaak informeel, bevat slang, emoji's en vultekens (zoals "no cap" of "tbh").

Het paper onderzoekt hoe deze informele oppervlaktevormen de nauwkeurigheid van NLI-modellen degraderen. De kernvraag is of modellen robuuste semantische representaties hebben of afhankelijk zijn van specifieke oppervlaktepatronen. De auteurs identificeren twee fundamenteel verschillende faalmechanismen:

Tokenisatiefalen: Het model kan de input niet verwerken omdat de tokeniser (tokenizer) de tekens niet herkent.
Distributieverandering: De tokens worden herkend, maar het model heeft geen trainingseenheid voor ze in de context van NLI, waardoor het ze onterecht als inhoudelijke woorden interpreteert.

2. Methodologie

Datasets en Modellen:

Datasets: SNLI (550k trainingsvoorbeelden) en MultiNLI (393k trainingsvoorbeelden).
Modellen:
- ELECTRA-small (14M parameters, WordPiece tokenizer, vocabulaire 30k).
- RoBERTa-large (355M parameters, BPE tokenizer, vocabulaire 50k byte-level).

Transformaties (Testset):
De auteurs passen vier transformaties toe op de testset (zonder de trainingsdata te wijzigen, tenzij bij augmentatie):

Slang: Vervanging van formele woorden door informele equivalenten (bijv. "going to" $\rightarrow$ "gonna").
Emoji: Vervanging van inhoudsworden (bijv. "man", "running") door semantisch gerelateerde emoji's.
Ruis (Noise): Toevoeging van Gen-Z vultekens aan de hypothees (bijv. "deadass", "no cap", "tbh").
Combinatie: Alle drie bovenstaande tegelijkertijd.

Mitigatiebenaderingen:
De auteurs testen drie strategieën om de prestaties te herstellen:

Augmentatie: Tijdens het trainen worden voorbeelden met 50% kans getransformeerd. Het model leert omgaan met informele vormen.
Preprocessing (Inferentie): Voor het tokeniseren wordt de tekst teruggezet naar de formele vorm (emoji's naar tekst, slang naar standaard, ruis verwijderd).
Hybride: Een combinatie van augmentatie tijdens training en preprocessing tijdens inferentie.

Benchmarks:
Vergelijking met zero-shot Large Language Models (GPT-4o-mini en GPT-3.5-turbo) en statistische tests (McNemar's test met Bonferroni-correctie).

3. Belangrijkste Bijdragen en Bevindingen

A. Verschillende Faalmechanismen

De paper onthult dat emoji's en ruis (noise) op totaal verschillende manieren falen:

Emoji's (Tokenisatiefalen):
- Bij ELECTRA (WordPiece) worden emoji's gemapt naar [UNK] (unknown token) omdat ze buiten de vocabulaire vallen. 93,6% van de voorbeelden bevat minstens één [UNK].
- Bij RoBERTa (BPE) ontstaan geen [UNK], maar de emoji's worden opgebroken in veel subwoorden (fragmentatie), wat de semantische signaalsterkte verlaagt.
- Gevolg: Het model verliest de inputinformatie voordat het de encoder bereikt.
Ruis (Distributieverandering):
- Woorden als "deadass" of "no cap" zitten wel in de vocabulaire (geen [UNK]).
- Het probleem is dat deze woorden nooit in de trainingsdata van SNLI/MultiNLI voorkomen. Het model probeert ze als inhoudelijke woorden te interpreteren, wat de inferentie verstoort.
- Gevolg: Het model geeft onterecht gewicht aan deze tokens, wat vaak leidt tot voorspellingen van "contradiction" (tegenspraak).

B. Effectiviteit van Mitigatie

De keuze van de mitigatie hangt af van het faalmechanisme:

Preprocessing werkt het beste voor Emoji's: Omdat het probleem bij de tokenisatie ligt, helpt het terugzetten van emoji's naar tekst voordat de tokenizer het ziet. Augmentatie kan niet helpen als de informatie al verloren is gegaan als [UNK].
Augmentatie werkt het beste voor Ruis: Omdat de tokens bekend zijn bij de tokenizer, moet het model leren dat deze woorden in de NLI-context geen semantisch gewicht dragen. Dit kan alleen door ze tijdens training te zien.
Hybride aanpak: Combineert beide voordelen. Voor ELECTRA is dit de overtuigende winnaar op alle varianten.

C. Schaal-effecten (Modelgrootte)

Ruis: RoBERTa-large (groot model) presteert aanzienlijk beter dan ELECTRA-small op ruis (daling van 9,0pp vs 3,4pp). Dit suggereert dat het grotere pre-training corpus van RoBERTa meer informele taal bevatte.
Emoji's: Modelgrootte helpt niet. Beide modellen lijden bijna evenveel onder emoji's (ongeveer 8pp daling), omdat dit een fundamenteel tokenisatieprobleem is dat niet opgelost wordt met meer parameters.

D. Vergelijking met LLM's (GPT-4o-mini)

Zonder mitigatie: Een fine-tuned ELECTRA-small presteert significant slechter dan GPT-4o-mini op getransformeerde data (p < 0.0001), ondanks dat het beter is op schone data. GPT-4o-mini heeft door zijn pre-training waarschijnlijk meer ervaring met informele taal.
Met Hybride training: De hybride ELECTRA-small (14M parameters) verslaat GPT-4o-mini op alle SNLI-varianten en bereikt statistische pariteit op MultiNLI. Dit toont aan dat robuustheid een kwestie van trainingskeuze is, niet noodzakelijk van modelgrootte.

4. Resultaten (Kerncijfers)

Slang: Veroorzaakt minimale degradatie (max 1,1pp), omdat slang vaak binnen de bestaande vocabulaire valt.
Emoji & Ruis: Veroorzaken dalingen tot 9pp op SNLI.
Hybride oplossing (ELECTRA op SNLI):
- Baseline op gecombineerde variant: 75,88%.
- Hybride op gecombineerde variant: 88,93%.
- Geen significante daling op schone tekst.
Trainingstabiliteit: Bij het trainen van RoBERTa-large met augmentatie was een warmup-fase noodzakelijk (ratio 0,06). Zonder warmup stortte het model in (tot willekeurige gokken, ~33% accuraatheid) door gradient-instabiliteit bij het introduceren van out-of-distribution data in de eerste batches.

5. Significantie en Conclusie

Het paper biedt een cruciaal inzicht in de kwetsbaarheden van NLI-modellen voor informele tekst:

Diagnose: Het is essentieel om te onderscheiden of een fout komt door tokenisatiefalen (emoji's) of distributieverandering (nieuwe woorden).
Oplossing: Er is geen "one-size-fits-all" oplossing. Een hybride aanpak (preprocessing + augmentatie) is de meest robuuste strategie.
Implicatie: Kleine, goed getrainde modellen kunnen met de juiste data-augmentatie en preprocessing concurreren met veel grotere, zero-shot LLM's op robuustheid, zonder dat er enorme rekenkracht nodig is.
Praktische toepassing: Voor systemen die met echte gebruikersdata werken, is het negeren van deze mitigaties niet verantwoord, gezien de grote prestatiedalingen op informele input.

De auteurs concluderen dat de "robustheidsgap" tussen formele benchmarks en real-world toepassing overbrugd kan worden door gerichte interventies in de trainings- en inferentiepijplijn, in plaats van alleen te vertrouwen op schaalvergroting.