Evaluating Cross-lingual Knowledge Consistency in Code-Mixed vis-a-vis Indian Languages using IndicKLAR

Riepilogo Tecnico: Valutazione della Coerenza della Conoscenza Cross-linguale nelle Lingue Indiane Code-Mixed utilizzando IndicKLAR

Enunciato del Problema
I Large Language Models (LLM) presentano un significativo "divario di coerenza cross-linguale", in cui richiamano in modo affidabile conoscenze fattuali in lingue ad alta risorsa come l'inglese, ma falliscono frequentemente quando la stessa query viene posta in lingue a bassa risorsa. Questa disparità costituisce un ostacolo critico per il dispiegamento equo dell'IA in regioni linguisticamente diversificate come l'India, che riconosce 22 lingue programmate. I benchmark esistenti si concentrano prevalentemente su input monolingue puliti o su coppie di lingue ad alta risorsa, ignorando largamente la realtà della comunicazione code-mixed (intercalazione di inglese e lingue indiane) comune nelle interazioni digitali quotidiane. Inoltre, le valutazioni precedenti spesso si basano sulla traduzione delle uscite del modello in inglese tramite sistemi esterni, il che può oscurare il fatto che l'output a bassa risorsa fosse intrinsecamente fedele.

Metodologia
Per colmare queste lacune, gli autori introducono INDIKLAR, un'estensione Indic del benchmark KLAR-CLC. La metodologia coinvolge tre componenti principali:

1. Costruzione del Benchmark (INDIKLAR):

   • Ambito: Copre 18 delle 22 lingue programmate indiane.
   • Varianti: Per 11 di queste lingue (dove era disponibile la copertura linguistica), gli autori hanno costruito varianti code-mixed intercalando parole di contenuto inglese nella struttura grammaticale della lingua nativa.
   • Allineamento: Il dataset fornisce un allineamento a tre vie per 11 lingue: (1) Indiana nativa (monolingue), (2) Code-Mixed e (3) Inglese. Le restanti 7 lingue hanno un allineamento a due vie (Nativa e Inglese).
   • Verifica: Sia le varianti monolingue che quelle code-mixed hanno subito una verifica della qualità umana da parte di parlanti nativi o quasi-nativi per garantire fluidità e naturalezza.
   • Scala: Ogni configurazione linguistica contiene 2.619 istanze che coprono 20 categorie fattuali.

2. Configurazione Sperimentale:

   • Modelli: La valutazione è stata condotta su nove modelli open-weight appartenenti a tre famiglie (Llama 3.1/3.2, Gemma 3, Qwen 2.5), con un range da 1B a 14B parametri.
   • Metriche: Lo studio misura l'Accuratezza (correttezza delle previsioni) e la Coerenza Cross-Linguale (CLC) (sovrapposizione delle previsioni corrette tra coppie di lingue).
   • Strategie di Prompting: Gli autori hanno confrontato sistematicamente diverse strategie per colmare il divario di prestazioni:
     • Baseline: Prompting diretto nella lingua sorgente.
     • Strategie a 2 Passi: Chiamate di inferenza separate per la conversione (in code-mixed, inglese o script romano traslitterato) seguite dalla risposta.
     • Strategie a 1 Passo: Generazione congiunta di conversione e risposta.
     • Translate-in-Thought (TinT): Una nuova strategia a singolo passo in cui al modello viene istruito di convertire internamente l'input (in inglese o code-mixed) ed emettere solo la risposta finale, senza generare testo intermedio.

3. Analisi:

   • Lo studio analizza le traiettorie delle prestazioni da Nativo $\to$ Code-Mixed $\to$ Inglese.
   • Include un caso di studio di interpretabilità utilizzando l'analisi del rango per livello per osservare come la rappresentazione interna del token della risposta corretta del modello evolva attraverso i livelli.

Contributi Chiave

• Benchmark INDIKLAR: Il primo benchmark ad accoppiare query fattuali monolingue Indic con controparti code-mixed sotto verifica di madrelingua a questa scala, consentendo una valutazione allineata tra input in inglese, nativi e code-mixed.
• Translate-in-Thought (TinT): Introduzione di una strategia di prompting implicito a singolo passo che elicita la traduzione interna senza output intermedi espliciti, offrendo guadagni di prestazioni con una latenza di inferenza inferiore rispetto ai metodi multi-step.
• Identificazione del "Punto di Inversione" (Flip Point): La scoperta che il confine tra previsione errata e corretta (il "punto di inversione") risiede coerentemente tra la configurazione nativa a bassa risorsa e quella code-mixed, piuttosto che tra code-mixed e inglese.

Risultati

• Il Divario Nativo-Inglese: I divari di accuratezza nella lingua nativa rispetto all'inglese possono raggiungere circa 0,50, in particolare per modelli più piccoli e lingue come l'Assamese e il Telugu.
• Efficacia del Code-Mixed: Gli input code-mixed riducono significativamente questo divario, portando le prestazioni entro ~0,05 dall'accuratezza a livello inglese senza alcuna intervento a livello di modello (riaddestramento).
• Prestazioni del Prompting:
  • TinT mostra guadagni statisticamente significativi rispetto alla baseline attraverso le lingue e le famiglie di modelli.
  • Efficienza: Le varianti TinT raggiungono questi guadagni con un tempo di inferenza significativamente inferiore (ad esempio, ~0,09s per campione per Llama-3.1-8B) rispetto alle strategie multi-step.
  • Scalabilità: L'efficacia di TinT scala con la dimensione del modello; modelli più grandi (ad esempio 8B–14B) dimostrano capacità di traduzione latente più forti. I modelli più piccoli (<1,5B) talvolta faticano con la riformulazione, sebbene Gemma-3-1B abbia mostrato un miglioramento costante.
• Famiglie Linguistiche: Le lingue indo-ariane hanno generalmente visto guadagni maggiori da TinT (+18% di accuratezza) rispetto alle lingue dravidiche (+14%), sebbene TinT abbia migliorato le prestazioni nella maggior parte delle categorie.
• Posizione del Punto di Inversione: Sia che sia indotto dalla forma superficiale dell'input (Nativo vs Code-Mixed) o dalla conversione interna (Nativo vs TinT), la transizione da previsione errata a corretta avviene tra le configurazioni nativa e code-mixed.
• Ablazione: Le varianti code-mixed hanno superato le varianti di romanizzazione pura (traslitterazione), suggerendo che indizi lessicali bilingui significativi (ancore inglesi) sono più critici della sola uniformità dello script.

Significato e Affermazioni
Il documento afferma che il code-mixing agisce come un ponte potente per la coerenza della conoscenza cross-linguale, consentendo ai modelli di sfruttare capacità di ragionamento in inglese più forti preservando al contempo la semantica a bassa risorsa. L'introduzione di Translate-in-Thought (TinT) dimostra che i modelli possiedono una capacità di traduzione latente che può essere elicita tramite prompting alone, senza la necessità di costosi riaddestramenti o sistemi di traduzione esterni.

Gli autori sottolineano che la scoperta del "punto di inversione" suggerisce che il principale modo di fallimento per il richiamo di conoscenze a bassa risorsa non è una mancanza di conoscenza, ma piuttosto la difficoltà di accedere a tale conoscenza attraverso lo script nativo. Spostando l'input in uno stato code-mixed o internamente tradotto, i modelli possono accedere alla stessa conoscenza che possiedono per l'inglese.

Limitazioni
Gli autori notano diverse limitazioni:

• Generazione Sintetica: Le varianti code-mixed sono state generate tramite API GPT e verificate da umani, ma potrebbero non catturare appieno la diversità dialettale del code-mixing del mondo reale.
• Copertura: Quattro lingue programmate (Bodo, Kashmiri, Manipuri/Meitei, Santali) sono state escluse a causa della qualità limitata dei sistemi di traduzione e dell'accesso agli annotatori.
• Generalizzazione: I risultati si basano su un benchmark specifico di richiamo fattuale (KLAR-CLC) e potrebbero non generalizzarsi ad altri compiti NLP come il ragionamento o la generazione aperta.
• Scala del Modello: Gli esperimenti sono stati limitati a modelli fino a 14B parametri; le tendenze per modelli più grandi rimangono una questione aperta.
• Interpretabilità: L'analisi meccanicistica (rango per livello) è stata condotta su un singolo modello (Llama-3.1-8B-Instruct) e dovrebbe essere considerata come illustrativa piuttosto che esaustiva.