Are you speaking my languages? On spoken language adherence in multimodal LLMs

Sintesi Tecnica: Sull'aderenza alla lingua parlata nei modelli LLM multimodali

Definizione del Problema
Sebbene il riconoscimento automatico del parlato (ASR) basato su Large Language Model (LLM) consenta una trascrizione multilingue e un code-switching flessibili e zero-shot, questi modelli identificano frequentemente in modo errato la lingua target, in particolare in segmenti brevi o rumorosi. Questa "mancanza di aderenza alla lingua" degrada la fedeltà della trascrizione, introducendo errori che distorcono il significato e compromettono i compiti a valle, come la traduzione automatica e l'analisi del sentiment. Oltre agli errori funzionali, il testo in una lingua straniera errata crea un'esperienza utente negativa, potendo apparire dilettantesca o culturalmente insensibile. La sfida centrale consiste nel guidare il modello verso la lingua attesa utilizzando il contesto dell'utente (indizi/hint) senza vincolare rigidamente la capacità del modello di gestire il code-switching o segnali imperfetti.

Metodologia
Gli autori propongono un approccio sistematico per affrontare l'aderenza alla lingua, comprendendo la formalizzazione, la misurazione e tre distinte strategie di mitigazione.

1. Formalizzazione e Metrica (LAVR):
   Il documento definisce una "Violazione dell'Aderenza alla Lingua" quando l'insieme delle lingue ($L_{hyp}$) rilevate nell'output generato non è un sottoinsieme delle lingue di riferimento ($L_{ref}$) presenti nell'audio. Per quantificare ciò, gli autori introducono il Language Adherence Violation Rate (LAVR).

   • Definizione Operativa: La "Lingua" è definita dal suo script canonico. Una violazione si verifica se l'output ASR contiene caratteri incoerenti con l'ortografia standard della lingua target (ad esempio, una 'ç' in un output tedesco).
   • Ambito: La punteggiatura ASCII di base e le cifre sono trattate come neutrali. La metrica privilegia il richiamo (recall) per caratteri inaspettati che attirerebbero l'attenzione dell'utente, accettando un compromesso in cui potrebbe mancare errori sistematici (come la perdita di umlaut) se non sono presenti caratteri "sorprendenti".

2. Strategie di Mitigazione:
   Lo studio valuta tre strategie non mutuamente esclusive per migliorare l'aderenza mantenendo la flessibilità:

   • Zero-Shot Prompting (ZS): Sfruttare l'apprendimento in-context fornendo indizi linguistici nel prompt. Gli autori hanno testato tre stili di prompt (P1, P2, P3) e hanno selezionato P3 ("Trascrivi questo segmento di parlato. Può contenere un mix di e altre lingue") per la sua robustezza contro indizi errati.
   • Supervised Fine-Tuning (SFT): Addestrare il modello con prompt di aderenza alla lingua per interiorizzare il comportamento desiderato. I dati di addestramento includevano un mix di indizi corretti, indizi distrattori (lingue errate), indizi misti e scenari senza indizi per garantire la robustezza.
   • Chain-of-Thought (CoT): Un passaggio di ragionamento in cui il modello è costretto a identificare e dichiarare esplicitamente la lingua parlata prima di trascrivere. Ciò restringe lo spazio di campionamento per il compito di trascrizione.

3. Configurazione Sperimentale:

   • Dataset: Dataset monolingue (query reali degli utenti) e dataset di code-switching sintetizzati (inglese accoppiato con francese, hindi o coreano).
   • Baseline: Gemini Flash Lite 2.0, un LLM profondo basato su transformer.
   • Scenari di Valutazione: Sono stati testati quattro scenari di prompt: senza indizio (no-hint), corretto (oracolo ideale), distrattore (lingua errata) e mix (corretto + distrattore).
   • Metriche: LAVR e Word Error Rate (WER).

Risultati Chiave
L'analisi comparativa tra inglese, francese, hindi e coreano (sia monolingue che in code-switching) ha prodotto i seguenti risultati:

• Impatto degli Indizi Linguistici: La presenza di almeno un indizio linguistico corretto (condizioni "corretto" o "mix") ha superato significativamente le condizioni "senza indizio" e "distrattore" in tutti i metodi e le metriche. Ciò sottolinea l'importanza critica di una stima della lingua a monte accurata.
• Confronto tra Strategie:
  • Forniti di identici indizi linguistici, le tre strategie (ZS, SFT, CoT) hanno dimostrato livelli di prestazione ampiamente comparabili.
  • Lo Zero-Shot Prompting si è rivelato efficace quanto gli approcci più intensivi dal punto di vista computazionale come SFT e CoT.
  • Degradazione di SFT e CoT: Entrambi i modelli SFT e CoT hanno mostrato un WER elevato nella condizione "senza indizio" rispetto alla baseline. Gli autori attribuiscono ciò al "catastrophic forgetting" (oblio catastrofico), poiché la baseline è stata pesantemente addestrata su dati "senza indizio", mentre i modelli sottoposti a fine-tuning hanno visto una proporzione ridotta (10%) di tali dati durante l'addestramento.
• Resilienza ai Distrattori: L'inclusione di una lingua distrattore insieme a un indizio corretto (condizione "mix") ha avuto un impatto negativo trascurabile, performando significativamente meglio rispetto alla mancanza totale di indizi. Al contrario, fornire solo un indizio distrattore ha generalmente portato a prestazioni inferiori rispetto allo scenario "senza indizio".

Significatività e Rivendicazioni
Il documento sostiene di fornire la prima valutazione sistematica dell'aderenza alla lingua nei modelli LLM multimodali per l'ASR, introducendo una metrica standardizzata (LAVR) per quantificare queste violazioni.

Il contributo primario è la dimostrazione che lo zero-shot prompting è efficace quanto il fine-tuning o il ragionamento Chain-of-Thought per mantenere l'aderenza alla lingua, a condizione che siano disponibili segnali linguistici accurati. Gli autori concludono che il fattore più impattante per ottimizzare le prestazioni del sistema non è la complessità della strategia di mitigazione, ma piuttosto l'accuratezza dell'indizio linguistico stesso. Di conseguenza, il documento raccomanda l'implementazione di meccanismi a monte (come modelli dedicati di Language ID o analisi dei metadati) per predire le lingue parlate con alta confidenza, piuttosto che affidarsi esclusivamente a cambiamenti architettonici lato modello per correggere segnali mancanti o errati.