Technische Samenvatting: Taalrollen ontrafelen bij meertalige LLM-taakuitvoering

1. Probleemstelling

Meertalige Large Language Models (LLM's) worden steeds vaker ingezet in workflows waarbij de instructietaal, de taal van de broninhoud en de vereiste responstaal niet overeenkomen. Hoewel bestaande benchmarks de taaldekking en evaluatie van instructievolging hebben uitgebreid, behandelen ze taal doorgaans als een monolithische variabele of slagen ze er niet in om de specifieke rollen van instructie, inhoud en respons binnen één evaluatieontwerp te isoleren. Bijgevolg blijft het, wanneer een model faalt, onduidelijk of de fout voortkomt uit een misverstand van de taak, verwerking van de inhoud, realisatie in de doeltaal, het volgen van beperkingen, of interacties tussen deze factoren. Dit artikel adresseert de behoefte aan een gecontroleerd diagnostisch kader om meertalige taakuitvoering te evalueren als een gestructureerde interactie tussen drie onderscheiden taalrollen: $(L_{instr}, L_{content}, L_{resp})$.

2. Methodologie: MTM-Bench

De auteurs introduceren MTM-Bench (Multilingual Triplet Mismatch Benchmark), een gecontroleerde benchmark ontworpen om deze rollen te ontrafelen.

Bouw van de Benchmark

• Ontwerp: De benchmark maakt gebruik van een volledig gekruist ontwerp met Engels (EN), Spaans (ES) en Chinees (ZH). Het somt alle $3^3 = 27$ mogelijke taaltriplets op.
• Taalfamilies: De benchmark bestaat uit 2.430 instanties per model verdeeld over drie onderscheiden taalfamilies, die elk een specifieke uitvoeringsuitdaging richten:
  1. Semantische Omkering (Familie A): Taken waarbij het model een onderliggende houding (bijv. ironie, sarcasme) moet identificeren die in tegenspraak is met de oppervlaktebewoording.
  2. Extractie van Eindtoestand (Familie B): Taken met korte administratieve teksten met updates, waarbij de uiteindelijke geldige waarde moet worden geëxtraheerd (bijv. een herschikte tijd of contactgegevens) terwijl strikte uitvoerformaten worden nageleefd.
  3. Taalzuiverheid met Realisatie van Updates (Familie C): Taken waarbij het model een statusupdate (bijv. een kamerwijziging) moet beschrijven in de doeltaal, waarbij structurele kaders strikt worden gelokaliseerd terwijl specifieke toegestane eigennamen (bijv. "Zoom", "Teams") worden toegestaan.
• Gecontroleerde Variabelen: Basisitems worden herschreven in plaats van vertaald om semantische stabiliteit te waarborgen over alle 27 tripletvarianten. Metadata, namen en antwoordformaten worden vastgehouden waar ze de taak definiëren, terwijl lexicaal materiaal wordt gelokaliseerd volgens de specifieke taalpositie.

Evaluatieprotocol

De evaluatie maakt gebruik van ontlede metrieken om verschillende faalmodi te scheiden:

• Semantische Correctheid (SC): Meet of de output de beoogde betekenis vastlegt (bijv. correcte polariteit voor omkering, correcte eindwaarde voor extractie).
• Taalcorrectheid (LC): Een binair oordeel over of de respons voldoet aan de vereiste responstaal ($L_{resp}$), waarbij cijfers en toegestane eigennamen als taalneutraal worden behandeld.
• Beperkingscorrectheid (CC): Controleert expliciete uitvoerbeperkingen (bijv. "alleen uitvoer", "één zin").
• Verontreinigingsratio (CTR): Een continue maat voor materiaal in de niet-doeltaal in de output.
• Gecombineerd Succes (JS): De geaggregeerde metriek gedefinieerd als $JS = SC \times LC \times CC$, waarbij alle drie de vereisten als gezamenlijk noodzakelijk worden behandeld.

Scoren wordt gevalideerd via een gerichte menselijke audit die grensgevallen en routine-outputs omvat, met een componentniveau-overridepercentage van 18,2% voor gerichte gevallen, wat suggereert dat de automatische pijplijn de meeste routinegevallen consistent afhandelt.

3. Belangrijkste Bijdragen

1. Herformulering van Meertalige Uitvoering: Het artikel herformuleert meertalige taakuitvoering als een evaluatieprobleem gebaseerd op triplets, waarbij instructie-, inhouds- en responstalen onafhankelijk worden gevarieerd in plaats van ze te behandelen als één niet-gedifferentieerde variabele.
2. Volledig Gekruiste Benchmark: Het biedt een gecontroleerde benchmark die 27 taaltriplets en drie taalfamilies bestrijkt, gescoord met een ontleed protocol dat semantische correctheid, taalvolging en beperkingstevredenheid isoleert.
3. Rol-specifieke Diagnostiek: Het volledig gekruiste ontwerp maakt marginale vergelijkingen mogelijk die geaggregeerde benchmarks niet kunnen isoleren, en onthult dat degradatie is georganiseerd door de rol die een taal inneemt, en niet enkel door het aantal mismatches.

4. Resultaten

De auteurs evalueerden 20 frontier- en open-weight LLM's (inclusief de families Claude, GPT, Gemini, DeepSeek, Qwen en LLaMA) op de volledige benchmark.

Algemene Prestaties

• Gecombineerd Succes: Varieerde van 0,537 tot 0,840 over de modellen heen (gemiddeld 0,745).
• Componentmetrieken: Individuele metrieken waren hoger (gemiddelde LC: 0,905, SC: 0,893, CC: 0,880), wat aangeeft dat het gelijktijdig voldoen aan alle drie de vereisten aanzienlijk moeilijker is dan het voldoen aan ze in isolatie.
• Modelvariatie: De algemene rangschikking reduceerde niet tot één enkele componentmetriek; modellen die uitblonken in semantische correctheid faalden soms in het voldoen aan beperkingen, en omgekeerd.

Belangrijkste Bevindingen over Taalrollen

• Dominantie van Responstaal: De responstaal is de dominante variatieas. Gecombineerd succes daalde aanzienlijk wanneer de responstaal Spaans ($\Delta = -0,108$) of Chinees ($\Delta = -0,113$) was in vergelijking met Engels. Daarentegen hadden variaties in instructie- of inhoudstaal verwaarloosbare effecten ($\Delta < 0,03$).
• Aantal Mismatches versus Rolpositie: Het artikel daagt de hypothese uit dat het aantal mismatches een monotoon voorspeller van moeilijkheid is. "Alleen-respons"-mismatch (één mismatch) en "Volledige mismatch" (drie mismatches) leverden vergelijkbare prestatieniveaus op (0,694 versus 0,705). Dit suggereert dat zodra de responstaal afwijkt van de voorgaande context, extra mismatches in instructie of inhoud weinig verklarende kracht toevoegen aan de moeilijkheid.
• Taalspecifieke Bottlenecks:
  • Semantische Omkering: Hoge semantische correctheid, maar beperkt door realisatie in de responstaal, met name voor Chinese responsen.
  • Extractie van Eindtoestand: Hoge taalcorrectheid, maar frequente fouten in het voldoen aan beperkingen (bijv. schending van "alleen uitvoer"-regels).
  • Taalzuiverheid: Hoge beperkingstevredenheid, maar lagere semantische correctheid vanwege moeilijkheden bij het realiseren van updates zonder informatie weg te laten of te vervormen.

5. Betekenis en Claims

Het artikel claimt dat meertalige evaluatie de rol moet volgen die elke taal speelt in plaats van verschillende configuraties samen te voegen tot één geaggregeerde score.

• Diagnostische Waarde: Het volledig gekruiste ontwerp onthult dat degradatie is georganiseerd door de rol die een taal inneemt. De rol van responstaal is de primaire bron van variatie, terwijl instructie- en inhoudrollen kleinere, minder consistente rollen spelen.
• Niet-monotoon Moeilijkheidsniveau: De bevinding dat het aantal mismatches geen monotoon voorspeller van moeilijkheid is, suggereert dat de cognitieve of architecturale last van meertalige uitvoering niet simpelweg additief is. De overgang van een monolinguale context naar een mismatchende responstaal vormt de voornaamste hindernis.
• Beperkingen: De auteurs merken bescheiden op dat deze bevindingen gecontroleerd zijn binnen de EN/ES/ZH-instelling en specifieke taalfamilies (korte, administratieve en omkeringsscenario's). De resultaten moeten worden geïnterpreteerd als een gecontroleerde diagnostische sonde in plaats van een universele claim over alle meertalige taakuitvoering of bredere prestaties op domeinniveau. De benchmark is ontworpen voor rol-specifieke diagnostiek in plaats van het schatten van brede prestaties op domeinniveau.

Kortom, MTM-Bench toont aan dat succesvolle meertalige taakuitvoering meer vereist dan algemene vlotheid; het vereist het specifieke vermogen om antwoorden te realiseren in een doeltaal die kan verschillen van zowel de instructie als de broninhoud, een vaardigheid waarmee huidige modellen onevenredig veel worstelen in vergelijking met het begrijpen of verwerken van de andere taalrollen.