💬 NLP

Neither Here Nor There: Cross-Lingual Representation Dynamics of Code-Mixed Text in Multilingual Encoders

Deze studie toont aan dat standaard meertalige modellen code-mixed tekst (Hindi-Engels) slecht vertegenwoordigen, maar dat een nieuwe post-training-uitlijning die de representaties dichter bij beide oorspronkelijke talen brengt, de interpretatie en prestaties bij downstream-taken significant verbetert.

Oorspronkelijke auteurs: Debajyoti Mazumder, Divyansh Pathak, Prashant Kodali, Jasabanta Patro

Gepubliceerd 2026-03-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Debajyoti Mazumder, Divyansh Pathak, Prashant Kodali, Jasabanta Patro

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: De Taal-Mix: Waarom AI soms verdwaalt in een bilinguale wereld

Stel je voor dat je een superintelligente robot hebt die alle talen van de wereld kent. Deze robot is getraind op boeken in het Engels en boeken in het Hindi. Hij is een meester in het begrijpen van beide talen apart. Maar wat gebeurt er als mensen in het echte leven praten? Ze mengen de talen vaak! Ze zeggen bijvoorbeeld: "Batman mujhe pta hai, humble tha" (Batman, ik weet het, was bescheiden). Dit noemen we code-mixing.

De onderzoekers van dit paper hebben gekeken hoe deze robot (de AI) omgaat met zo'n gemengde zin. En ze ontdekten een paar verrassende dingen.

1. De Vergeten Eilandjes

Stel je de kennis van de AI voor als een grote kaart.

Het Engels is een groot, stevig eiland.
Het Hindi is een ander groot, stevig eiland.
De AI heeft een brug gebouwd tussen deze twee eilanden. Als je een Engelse zin zegt, weet de AI precies welke Hindi-zin daar bij hoort.

Maar wat is er met de gemengde zinnen (zoals Hinglish)?
De onderzoekers ontdekten dat deze gemengde zinnen niet op de brug liggen, maar op een wazig eilandje in de oceaan, ver weg van zowel het Engelse als het Hindi-eiland. De AI weet niet precies waar hij deze zinnen moet plaatsen. Ze voelen zich "niet hier, noch daar" (vandaar de titel Neither Here Nor There).

2. De Foutieve Reparatie

De onderzoekers dachten: "Laten we de AI extra trainen met duizenden van deze gemengde zinnen, zodat hij ze beter begrijpt."
Het resultaat? De AI werd heel goed in het begrijpen van de gemengde zinnen, maar op een vreemde manier.

De gemengde zinnen werden nu heel dicht bij het Engelse eiland getrokken.
Maar de brug tussen het Engelse eiland en het Hindi-eiland werd zwakker! De AI vergat een beetje hoe goed hij de twee pure talen aan elkaar kon koppelen.

Het was alsof je een tolk traint om alleen maar naar het Engels te luisteren als iemand in het gemengde dialect praat, waardoor hij de nuance van het Hindi verliest.

3. De Magische Sleutel: Het Devanagari-script

De onderzoekers keken dieper in de "hersenen" van de AI. Ze zagen dat de AI de gemengde zinnen vooral interpreteerde via het Engels. Het Hindi-woord in de zin werd vaak genegeerd of als een klein extraatje gezien.

Maar toen ze keken naar het Hindi in het oorspronkelijke schrift (Devanagari, niet in het Latijnse alfabet zoals "mujhe"), zagen ze iets moois:

Het Engelse woord gaf de AI de hoofdstructuur van de zin.
Het Hindi in het oorspronkelijke schrift gaf de AI extra zekerheid. Het was alsof het Hindi een tweede mening gaf die de twijfel wegnam. Zonder dit Hindi-script was de AI onzekerder over wat de zin betekende.

4. De Oplossing: De Drie-Weg-Brug

Op basis van deze bevindingen bedachten de onderzoekers een nieuwe manier om de AI te trainen. Ze bouwden geen brug tussen twee eilanden, maar een driehoek:

Engels
Hindi (in het oorspronkelijke schrift)
De Gemengde Zin

Ze leerden de AI dat deze drie vormen allemaal naar dezelfde betekenis verwijzen. Ze moesten allemaal dicht bij elkaar in de "kennisruimte" van de AI zitten.

Het resultaat?

De AI werd weer goed in het koppelen van Engels en Hindi.
De gemengde zinnen kregen een stevige plek in het midden, verbonden met beide talen.
De AI werd slimmer in taken zoals het herkennen van gevoelens (positief/negatief) of het vinden van haatdragende taal in deze gemengde teksten.

Samenvatting in één zin

Deze paper laat zien dat als je AI's leert om taal-mixen te begrijpen, je ze niet alleen moet laten kijken naar de dominante taal (Engels), maar je ze ook moet leren om de kracht van het oorspronkelijke script (Hindi) te gebruiken, zodat ze een evenwichtige brug bouwen tussen alle vormen van taal.

Probleemstelling

Meertalige encoder-gebaseerde taalmodellen (zoals mBERT en XLM-R) worden veelvuldig ingezet voor de analyse van code-mixed tekst (tekst die woorden uit meerdere talen binnen één zin combineert, zoals Hinglish: Hindi-Engels). Ondanks hun wijdverbreide gebruik, is er verrassend weinig bekend over hoe deze modellen code-mixed input intern representeren en of deze representaties een betekenisvolle connectie hebben met de constituent-talen (de afzonderlijke talen waaruit de code-mix bestaat).

Bestaand onderzoek richt zich voornamelijk op de uitlijning van monolinguale zinnen over verschillende talen heen. Het is echter onduidelijk hoe multilinguale encoders code-mixed input positioneren ten opzichte van hun monolinguale tegenhangers. De auteurs stellen dat code-mixed tekst een natuurlijke testomgeving biedt om deze uitlijning te bestuderen, maar dat de huidige modellen deze input mogelijk niet optimaal integreren.

Methodologie

1. Dataset Constructie:
De auteurs hebben een unificerend trilinguaal corpus samengesteld bestaande uit parallelle zinnen in drie vormen:

EN: Monolinguale Engels.
HI: Monolinguale Hindi (in Devanagari-script).
CM: Hindi-Engels code-mixed tekst (in Roman-script, vaak "Hinglish" genoemd).
Dit corpus is opgebouwd uit bestaande bronnen (CM-En Parallel, PHINC, LinCE) en aangevuld met vertalingen via Google Translate en IndicTrans2, resulterend in 21.139 zintripels.

2. Analyse van Representatiedynamiek:
De auteurs evalueren diverse multilinguale modellen (mBERT, XLM-R en hun code-mixed aangepaste varianten uit de 'Hing'-familie) met behulp van drie interpretabiliteitstechnieken:

Centered Kernel Alignment (CKA): Om de gelijkenis tussen representatieruimtes op verschillende lagen van het netwerk te meten.
Token-level Saliency: Om te analyseren welke taal (Engels of Hindi) de meeste invloed heeft op de beslissingen van het model bij code-mixed input.
Entropie-gebaseerde onzekerheidsreductie: Om te kwantificeren hoeveel informatie de constituent-talen bijdragen aan het verduidelijken van de code-mixed representatie.

3. Geoptimaliseerde Post-training:
Gebaseerd op de bevindingen introduceren de auteurs een trilinguale post-training uitlijningsfase. Ze voegen een nieuwe verliesfunctie toe ( $L_{align}$ ) die semantisch equivalente zinnen in Engels, Hindi en code-mixed tekst dichter bij elkaar brengt in de gedeelde embedding-ruimte. Dit wordt gecombineerd met de standaard pre-training doelen (zoals Masked Language Modeling).

4. Evaluatiemetric:
Ze introduceren de Cross-Lingual Alignment Score (CLAS), een metric die rekening houdt met:

Gemiddelde bidirectionele ophaalprecisie (retrieval accuracy).
Directionele bias (asymmetrie tussen A→B en B→A).
Variatie in prestaties tussen de verschillende taalparen.

Belangrijkste Bevindingen

Zwakke Ankerpunten: Standaard multilinguale modellen aligneren Engels en Hindi goed, maar code-mixed representaties blijven losjes verbonden met beide talen. Ze bevinden zich vaak in een "perifere" subruimte.
Trade-off bij Aanpassing: Continue pre-training op code-mixed data verbetert de uitlijning tussen Engels en code-mixed tekst aanzienlijk, maar verslechtert de uitlijning tussen de oorspronkelijke monolinguale talen (Engels en Hindi). Dit creëert een compromis tussen code-mixed aanpassing en monolinguale consistentie.
Engels-dominantie: Interpretatie-analyses tonen aan dat modellen code-mixed tekst voornamelijk door een Engels-dominante semantische ruimte verwerken. De token-saliency is veel hoger voor Engelse woorden.
Complementaire Signalen: Hoewel Engels dominant is, biedt native-script Hindi (Devanagari) complementaire signalen die de representatieve onzekerheid verlagen. Dit suggereert dat het scriptniveau (Devanagari vs. Roman) een cruciale rol speelt in de representatiegeometrie.
Script-afhankelijkheid: Het behoud van Hindi in Devanagari-script tijdens training leidt tot betere uitlijning met code-mixed tekst dan wanneer Hindi ook in Roman-script wordt getraind.

Resultaten en Oplossing

De auteurs toonden aan dat hun voorgestelde trilinguale post-training uitlijningsfase de negatieve effecten van de standaard code-mixed aanpassing kan oplossen:

Balans: Het herwint de uitlijning tussen Engels en Hindi terwijl de uitlijning met code-mixed tekst behouden blijft of verbetert.
CLAS Verbetering: De CLAS-score neemt aanzienlijk toe (bijvoorbeeld van 14,20 naar 50,97 voor mBERT), wat aangeeft dat de uitlijning over alle drie de taalparen (EN-HI, EN-CM, HI-CM) meer gebalanceerd en minder directioneel bevooroordeeld wordt.
Downstream Taken: Modellen getraind met deze methode presteren beter op downstream taken zoals sentimentanalyse en haatdragende taal detectie voor code-mixed tekst. Ze tonen een hogere consistentie in voorspellingen, ongeacht of de testdata in Engels, Hindi of code-mixed vorm wordt aangeboden.

Significantie

Dit werk is significant omdat het voor het eerst systematisch de interne representatiedynamiek van code-mixed tekst in multilinguale modellen ontleedt. De studie onthult dat standaard aanpassingsmethoden vaak ten koste gaan van de onderliggende monolinguale kennis.

De belangrijkste bijdrage is het bewijs dat het expliciet uitlijnen van representaties over de constituent-talen en de code-mixed variant heen (via trilinguale supervisie) leidt tot robuustere en meer evenwichtige meertalige modellen. Dit biedt een praktische richtlijn voor het ontwikkelen van NLP-systemen voor code-mixed scenario's, waarbij men niet hoeft te kiezen tussen het begrijpen van de mix of de onderliggende talen, maar beide kan optimaliseren. De bevindingen suggereren bovendien dat het behoud van native scripts (zoals Devanagari) essentieel is voor het verankeren van representaties in de meertalige ruimte.