Parallel Universes, Parallel Languages: A Comprehensive Study on LLM-based Multilingual Counterfactual Example Generation

Titel

Parallelle Werelden, Parallelle Talen: Een Omvattende Studie over LLM-gebaseerde Meertalige Contrafactuele Voorbeeldgeneratie

1. Probleemstelling

Contrafactuele voorbeelden zijn minimaal bewerkte invoeren die ervoor zorgen dat een model zijn voorspelling verandert. Ze zijn cruciaal voor het verklaren van het gedrag van modellen (XAI). Hoewel Large Language Models (LLMs) uitstekend zijn in het genereren van contrafactuele voorbeelden in het Engels en over indrukwekkende meertalige vaardigheden beschikken, blijft de effectiviteit van deze modellen bij het genereren van meertalige contrafactuele voorbeelden onduidelijk.

Bestaande methoden zijn bijna uitsluitend getest op Engelse datasets. Eerdere analyses hebben echter aangetoond dat er systematische gedragsverschillen bestaan tussen Engelse en niet-Engelse contexten. Dit betekent dat Engelse contrafactuele voorbeelden niet volstaan om het volledige gedrag van meertalige modellen te begrijpen. De centrale vraag is: Hoe goed kunnen LLMs hoge kwaliteit meertalige contrafactuele verklaringen genereren?

2. Methodologie

De auteurs hebben een uitgebreide studie uitgevoerd met de volgende opzet:

• Modellen: Drie open-source, instructie-finetuned LLMs van verschillende groottes werden gebruikt:
  • Qwen2.5-7B
  • Gemma3-27B
  • Llama3.3-70B
• Datasets: Twee meertalige classificatietaken werden gebruikt:
  • XNLI: Natuurlijke taal-inferentie (NLI) in 14 talen.
  • SIB200: Topic-classificatie in 205 talen.
• Geselecteerde Talen: Engels, Arabisch, Duits, Spaans, Hindi en Swahili (deze dekken een spectrum van hoog- tot laag-resource talen en verschillende scripts).
• Generatiestrategieën: Er werden twee benaderingen vergeleken:
  1. Direct Generated Counterfactuals (DG-CFs): Het LLM genereert het contrafactuele voorbeeld direct in de doeltaal via een drie-staps proces (identificeren van belangrijke woorden, vinden van vervangingen, substitueren).
  2. Translation-Based Counterfactuals (TB-CFs): Het LLM genereert eerst een contrafactueel voorbeeld in het Engels, waarna hetzelfde model dit vertaalt naar de doeltaal.
• Evaluatiemetrics:
  • Label Flip Rate (LFR): Het percentage gevallen waarin de voorspelling van het model succesvol verandert.
  • Textual Similarity (TS): Hoe dicht het contrafactuele voorbeeld bij de originele invoer staat (gemeten via SBERT).
  • Perplexity (PPL): Maatst voor de vlotheid en natuurlijkheid van de tekst.
• Data Augmentation: De gegenereerde voorbeelden werden gebruikt voor Counterfactual Data Augmentation (CDA) om te testen of dit de prestaties en robuustheid van een meertalig BERT-model verbetert.

3. Belangrijkste Bijdragen en Resultaten

A. Kwaliteit van Contrafactuele Voorbeelden

• Directe Generatie vs. Vertaling: TB-CFs (via vertaling) bereiken over het algemeen een hogere Label Flip Rate (LFR) dan DG-CFs. Dit betekent dat ze vaker succesvol de modelvoorspelling veranderen. Echter, dit gaat ten koste van de kwaliteit: TB-CFs vereisen aanzienlijk meer tekstuele wijzigingen en hebben een lagere vlotheid (hogere perplexity) dan direct gegenereerde voorbeelden.
• Talenverschillen: Hoog-resource Europese talen (Engels, Duits, Spaans) presteren over het algemeen beter in termen van LFR dan laag-resource talen (Arabisch, Hindi, Swahili). Engels blijft de beste taal voor contrafactuele generatie, maar zelfs TB-CFs in andere talen halen de kwaliteit van de originele Engelse voorbeelden niet.
• Hindi: Opvallend genoeg behaalde Hindi de beste vlotheidscores (laagste perplexity) over alle modellen heen, ondanks dat het een laag-resource taal is.

B. Cross-linguale Bewerkingspatronen

• De studie toont aan dat de bewerkingspatronen voor Engels, Duits en Spaans opvallend vergelijkbaar zijn. LLMs passen vergelijkbare strategieën toe op deze talen, waarschijnlijk vanwege hun structurele en lexische gelijkenissen.
• Voor talen als Swahili en Arabisch wijken de bewerkingsstrategieën sterk af, wat resulteert in lagere cross-linguale consistentie.

C. Foutanalyse

De auteurs identificeerden vier hoofdtypen fouten die consistent voorkomen in meertalige contrafactuele voorbeelden:

1. Copy-Paste: Het model geeft de originele invoer terug zonder wijzigingen. Dit komt het vaakst voor bij SIB200 en in laag-resource talen.
2. Negatie: Het model voegt simpelweg een ontkenning toe (bijv. "niet") zonder de diepere semantiek te veranderen, wat vaak niet leidt tot een labelwissel.
3. Inconsistentie: Het gegenereerde voorbeeld bevat logische tegenstrijdigheden met de originele context.
4. Taalverwarring: Het model genereert het voorbeeld in de verkeerde taal (vaak Engels), zelfs als een andere taal was gevraagd. Dit komt veel voor bij Arabisch en Swahili.

D. Impact op Data Augmentation (CDA)

• Meertalige vs. Cross-linguale CDA: Meertalige CDA (trainen op contrafactuele voorbeelden in alle doeltalen) presteert over het algemeen beter dan cross-linguale CDA (trainen alleen op Engelse voorbeelden), vooral voor laag-resource talen.
• Beperkingen: Ondanks de theoretische voordelen, leiden de imperfecties in de gegenereerde contrafactuele voorbeelden (zoals copy-paste en taalverwarring) tot beperkte winst in modelprestaties en robuustheid. In sommige gevallen, vooral bij kleinere modellen of specifieke datasets (zoals SIB200), kan het toevoegen van deze data de prestaties zelfs verslechteren door ruis in de labels.

4. Significantie en Conclusie

Dit paper is de eerste uitgebreide studie die de capaciteiten van LLMs om meertalige contrafactuele verklaringen te genereren, systematisch analyseert. De belangrijkste conclusies zijn:

1. LLMs zijn niet perfect meertalig: Hoewel ze contrafactuele voorbeelden kunnen genereren, zijn er significante kwaliteitsverschillen tussen talen. De "Engelse bias" in trainingsdata beïnvloedt de kwaliteit in andere talen.
2. Vertaling is geen panacee: Het vertalen van Engelse contrafactuele voorbeelden verbetert de validiteit (LFR), maar introduceert nieuwe fouten en vermindert de vlotheid. Het is geen optimale oplossing voor hoogwaardige meertalige XAI.
3. Gemeenschappelijke strategieën: Er zijn universele principes voor het verstoren van teksten, maar deze worden niet consistent toegepast over alle talen heen.
4. Toekomstige richtingen: De auteurs suggereren dat post-training methoden (zoals MAPO) nodig zijn om de kwaliteit te verbeteren en dat menselijke evaluaties noodzakelijk zijn om de bruikbaarheid van deze verklaringen volledig te beoordelen.

De studie benadrukt dat het vertrouwen op automatisch gegenereerde meertalige contrafactuele voorbeelden voor data-augmentatie of modelverklaringen voorzichtig moet gebeuren, gezien de hoge mate van fouten, met name in laag-resource talen.