Parallel Universes, Parallel Languages: A Comprehensive Study on LLM-based Multilingual Counterfactual Example Generation

Titolo

Universi Paralleli, Lingue Parallele: Uno Studio Completo sulla Generazione di Esempi Controfattuali Multilingue basata su LLM

1. Il Problema

Gli esempi controfattuali (input minimamente modificati che causano un cambiamento nella previsione di un modello) sono fondamentali per spiegare il comportamento dei modelli di intelligenza artificiale (spiegabilità). Sebbene i Large Language Models (LLM) eccellano nella generazione di controfattuali in inglese e mostrino competenze multilingue, la loro efficacia nella generazione di controfattuali di alta qualità in lingue diverse dall'inglese rimane una questione aperta.
Le analisi esistenti hanno rivelato variazioni sistematiche nel comportamento dei modelli tra contesti inglesi e non inglesi, suggerendo che approcci basati solo sull'inglese sono insufficienti. Tuttavia, non è chiaro se gli LLM possano generare spiegazioni controfattuali affidabili e fluide in lingue a bassa risorsa o con strutture tipologiche diverse.

2. Metodologia

Gli autori hanno condotto uno studio empirico esaustivo su due dataset multilingue e sei lingue (Inglese, Arabo, Tedesco, Spagnolo, Hindi, Swahili).

• Dataset:
  • XNLI: Per il compito di inferenza linguistica naturale (NLI).
  • SIB200: Per il compito di classificazione di argomenti (topic classification).
• Modelli Generativi: Sono stati utilizzati tre LLM open-source di dimensioni crescenti: Qwen2.5-7B, Gemma3-27B e Llama3.3-70B.
• Strategie di Generazione:
  1. Generazione Diretta (DG-CFs): Gli LLM generano controfattuali direttamente nella lingua target utilizzando prompt one-shot Chain-of-Thought.
  2. Generazione basata su Traduzione (TB-CFs): Gli LLM generano prima il controfattuale in inglese, che viene poi tradotto nella lingua target dallo stesso modello.
• Metriche di Valutazione Automatica:
  • Label Flip Rate (LFR): Percentuale di istanze in cui la modifica ha effettivamente cambiato la previsione del modello.
  • Similarità Testuale (TS): Misurata tramite embedding SBERT multilingue per valutare quanto il testo modificato sia vicino all'originale.
  • Perplessità (PPL): Valutata con un modello mGPT per misurare la fluidità del testo generato.
• Analisi degli Errori: Classificazione manuale e automatica degli errori di generazione.
• Data Augmentation (CDA): Valutazione dell'impatto dell'uso di questi controfattuali per l'addestramento di modelli BERT multilingue, confrontando l'augmentation cross-lingua (solo inglese) con quella multilingua.

3. Contributi Chiave

1. Valutazione Comparativa DG vs. TB: Lo studio confronta sistematicamente la generazione diretta con quella basata sulla traduzione in sei lingue.
2. Pattern di Modifica Cross-lingua: Analisi della similarità delle modifiche applicate in lingue diverse per alterare la semantica.
3. Catalogazione degli Errori: Identificazione e categorizzazione di quattro tipi principali di errori ricorrenti nella generazione multilingue.
4. Impatto sull'Addestramento (CDA): Dimostrazione empirica di come i controfattuali generati influenzino la robustezza e le prestazioni dei modelli, specialmente per le lingue a bassa risorsa.

4. Risultati Principali

• Qualità della Generazione:

  • I controfattuali basati su traduzione (TB-CFs) ottengono un Label Flip Rate (LFR) più elevato rispetto a quelli generati direttamente (DG-CFs), ma richiedono modifiche sostanzialmente maggiori e mostrano una fluidità inferiore.
  • Tuttavia, nemmeno i TB-CFs raggiungono la qualità dei controfattuali originali inglesi.
  • Le lingue europee ad alta risorsa (Inglese, Tedesco, Spagnolo) tendono ad avere un LFR più alto rispetto alle lingue a bassa risorsa (Arabo, Hindi, Swahili), sebbene lo Swahili mostri risultati sorprendenti su SIB200 con modelli grandi.
  • L'Hindi mostra costantemente la migliore fluidità (bassa perplessità), mentre l'Arabo tende a richiedere modifiche più estese e presenta una fluidità inferiore.

• Similarità delle Modifiche (Edit Similarity):

  • Le modifiche applicate in Inglese, Tedesco e Spagnolo mostrano una alta similarità strutturale e lessicale, suggerendo che le perturbazioni cross-lingua seguono principi strategici comuni per queste lingue.
  • Al contrario, Arabo e Swahili mostrano pattern di modifica significativamente diversi, spesso con strategie meno coerenti.

• Analisi degli Errori:
  Sono stati identificati quattro errori principali:

  1. Copy-Paste: Il modello restituisce l'input originale senza modifiche (il problema più pervasivo, specialmente su SIB200 e in lingue come Hindi/Swahili).
  2. Negazione: L'uso eccessivo e superficiale di negazioni (es. aggiungere "non") che non alterano sufficientemente il significato profondo.
  3. Inconsistenza: Introduzione di affermazioni logicamente contraddittorie rispetto al contesto originale.
  4. Confusione Linguistica: Il modello genera il testo nella lingua sbagliata (spesso inglese) invece di quella target, un problema frequente per lingue a bassa risorsa.

• Data Augmentation (CDA):

  • L'augmentation multilingue (usando controfattuali nella lingua target) porta generalmente a miglioramenti delle prestazioni superiori rispetto all'augmentation cross-lingua (solo inglese), specialmente per le lingue a bassa risorsa.
  • Tuttavia, i guadagni sono limitati dalla qualità imperfetta dei controfattuali generati. L'inclusione di esempi con errori (come copy-paste o etichette errate) può degradare le prestazioni o la robustezza del modello.
  • Filtrare gli errori (es. copy-paste) prima dell'augmentation porta a miglioramenti significativi, specialmente per lingue come Hindi e Swahili.

5. Significato e Implicazioni

Questo lavoro è fondamentale perché:

• Sfida l'egemonia dell'inglese: Dimostra che le strategie di spiegazione sviluppate per l'inglese non si trasferiscono automaticamente o perfettamente ad altre lingue.
• Definisce i limiti attuali: Evidenzia che, sebbene gli LLM siano potenti, la generazione di spiegazioni controfattuali di alta qualità in contesti multilingue è ancora ostacolata da bias nei dati di addestramento e difficoltà nel seguire istruzioni complesse in lingue a bassa risorsa.
• Guida per il futuro: Suggerisce che per migliorare l'XAI (Explainable AI) multilingue non basta tradurre, ma sono necessari metodi di generazione nativi o post-training specifici (come MAPO) e un'attenta pulizia dei dati generati prima del loro utilizzo nell'addestramento.
• Impatto pratico: Fornisce linee guida per chi utilizza LLM per generare dati sintetici o spiegazioni in contesti globali, avvertendo dei rischi di allucinazioni linguistiche e incoerenze logiche.

In sintesi, il paper conclude che mentre i controfattuali multilingue sono promettenti, la loro qualità è attualmente "imperfetta" e il loro utilizzo diretto per l'augmentation dei dati richiede cautela e filtraggio rigoroso per evitare di introdurre rumore nei modelli.