Sintesi Tecnica: Grounding o Guessing? Segnali Visivi per il Rilevamento delle Allucinazioni nella Traduzione della Lingua dei Segni

1. Definizione del Problema

La traduzione della lingua dei segni (Sign Language Translation, SLT) è un compito unico di video-a-testo in cui la modalità visiva costituisce la lingua sorgente stessa, piuttosto che un contesto ausiliario. Una modalità di errore critica nei moderni sistemi di SLT, in particolare quelli che utilizzano architetture gloss-free e backbone di Large Language Models (LLM), è l'allucinazione. In questo contesto, l'allucinazione è definita come la generazione di token di contenuto che non sono supportati dalle prove del video firmato.

Sebbene i recenti modelli gloss-free abbiano risolto i problemi di scalabilità eliminando la necessità di costose annotazioni intermedie dei gloss, essi introducono una nuova vulnerabilità: il decoder tende a fare affidamento pesantemente sui prior linguistici piuttosto che sull'input visivo quando le rappresentazioni visive sono ambigue o di bassa qualità. Ciò risulta in traduzioni fluide ma fattualmente errate. Gli esistenti metodi di rilevamento delle allucinazioni, che si basano su segnali intrinseci al testo (ad es. confidenza, entropia, perplessità), non riescono a distinguere tra un token predetto con sicurezza in base a schemi linguistici e uno predetto con sicurezza in base a effettive prove visive.

2. Metodologia

Gli autori propongono una nuova misura di affidabilità basata sull'uso del grounding, che quantifica l'entità con cui i token generati si affidano all'evidenza video rispetto ai prior linguistici. Il metodo opera a livello di token e si aggrega a livello di frase utilizzando l'analisi controfattuale.

2.1 Intuizione Centrale

Ad ogni step di decodifica, un modello o ancora il prossimo token al segnale video (grounding) o lo indovina dai prior linguistici (guessing). Il metodo proposto misura questa dipendenza confrontando il comportamento del modello sotto il vero input video rispetto a scenari controfattuali in cui l'input visivo viene alterato.

2.2 Componenti del Segnale

Il punteggio di affidabilità è derivato da due classi di evidenze:

1. Sensibilità Basata sulle Feature (Affidamento Interno):

   • Sensibilità dello Stato Nascosto: Misura il cambiamento direzionale (distanza angolare normalizzata) negli stati nascosti del decoder quando l'input video viene rimosso (mascherato) rispetto a quando è presente. Un angolo maggiore indica un più forte affidamento sul video.
   • Utilizzo della Cross-Attention: Aggrega la massa di attenzione diretta dai token del decoder alle posizioni dell'encoder video. La differenza tra l'attenzione sotto il video pulito e il video mascherato indica l'entità del grounding visivo.

2. Segnali Controfattuali (Evidenza Esterna):

   • Il sistema esegue tre passaggi di decodifica paralleli condizionati allo stesso prefisso:
     1. Clean (Pulito): Con il vero video ($x$).
     2. No-Video (Nessun Video): Con l'encoder visivo disabilitato ($\emptyset$).
     3. Mismatched (Disallineato): Con un video sfuocato o non correlato ($x'$).
   • Margini di Probabilità: Il metodo calcola le differenze di log-probabilità e logit tra il passaggio "clean" e il più forte scenario controfattuale (la massima probabilità dei passaggi "no-video" o "mismatched").
   • Vantaggi: Calcola i guadagni di probabilità assoluti ($\Delta_{clean}$ e $\Delta_{mis}$) per determinare se il video corretto migliori attivamente la predizione rispetto alle alternative.

2.3 Fusione e Aggregazione

• Livello di Token: Una fusione lineare dei segnali basati sulle feature e dei segnali controfattuali, passata attraverso una funzione di attivazione sigmoidale, produce un punteggio di affidabilità a livello di token ($r_t$).
• Livello di Frase: I punteggi dei token vengono aggregati utilizzando il tail-10 pooling (media dei valori più bassi del 10% dei punteggi di affidabilità dei token). Questo si concentra sulle parti meno affidabili della frase, che sono più indicative del rischio di allucinazione.
• Integrazione: L'affidabilità basata sul grounding viene combinata con i baseline standard solo testuali (confidenza, perplessità, entropia) in una variante "META" per creare un estimatore del rischio di allucinazione completo.

3. Contributi Chiave

• Prima Investigazione delle Allucinazioni nella SLT: Questo lavoro è il primo a investigare e caratterizzare esplicitamente le allucinazioni specificamente all'interno del dominio della Traduzione della Lingua dei Segni.
• Metrica di Grounding Usage: Introduzione di una nuova misura di affidabilità che quantifica il grounding visivo, distinguendo tra token generati tramite evidenza visiva e token indovinati tramite prior linguistici.
• Framework Controfattuale: Progettazione di un framework di scoring utilizzando perturbazioni controfattuali (mascheramento e disallineamento del video) per catturare sia i cambiamenti interni dello stato del modello che gli spostamenti di probabilità esterni.
• Validazione Empirica: Dimostrazione che i segnali basati sul grounding superano i baseline solo testuali nella rilevazione delle allucinazioni e forniscono informazioni complementari quando combinati con le misure di incertezza linguistica.

4. Risultati Sperimentali

Il metodo è stato valutato su due benchmark: PHOENIX-2014T (Lingua dei Segni Tedesca) e CSL-Daily (Lingua dei Segni Cinese), utilizzando sia modelli basati su gloss (TwoStream-SLT) che modelli gloss-free (SpaMo).

• Correlazione con l'Allucinazione: Esiste una forte correlzione negativa tra il proposto punteggio di affidabilità e la metrica CHAIR (Caption Hallucination Assessment with Image Relevance). All'aumentare del grounding usage, il tasso di allucinazione diminuisce.
• Prestazioni di Rilevamento: Il metodo basato sul grounding supera significativamente i baseline solo testuali (confidenza, perplessità, entropia) nella rilevazione binaria delle allucinazioni.
  • Su CSL-Daily (Gloss-Free), il metodo di grounding ha raggiunto un AUC di 0.951 e un'accuratezza di 0.970, rispetto a circa 0.953 AUC e 0.868 di accuratezza per il miglior baseline solo testuale (Confidence).
  • La variante combinata META ha ottenuto le prestazioni più elevate, raggiungendo un AUC di 0.963 e un'accuratezza di 0.883 su CSL-Daily (Gloss-Free).
• Prestazioni di Regressione: Il punteggio di affidabilità predice efficacemente il tasso continuo di CHAIR, raggiungendo una correlazione di Spearman di $\rho = -0.680$ su CSL-Daily (Gloss-Free).
• Generalizzazione: I pesi di affidabilità addestrati su un dataset/famiglia di modelli si trasferiscono in modo robusto ad altri, sebbene le prestazioni degradino leggermente quando si passa dai modelli basati su gloss a quelli gloss-free a causa delle differenze nella granularità della tokenizzazione e nella prevalenza delle allucinazioni.
• Stress Test: Sotto degradazioni visive (rumore Gaussiano, perdita di frame), il punteggio di affidabilità diminuisce, confermando la sua sensibilità alla qualità dell'informazione visiva.
• Gloss-Free vs. Gloss-Based: L'analisi rivela che i modelli gloss-free allucinano più frequentemente perché sottoutilizzano sistematicamente l'informazione visiva, ricorrendo ai prior linguistici. Le distribuzioni a livello di token mostrano che i modelli gloss-free hanno margini di log-probabilità inferiori e angoli di sensibilità dello stato nascosto minori rispetto ai modelli basati su gloss.

5. Significato e Rivendicazioni

Il documento sostiene che il rilevamento delle allucinazioni nella generazione multimodale non può essere spiegato completamente dai soli segnali intrinseci al testo. Nella SLT, dove l'input visivo è la lingua sorgente, distinguere tra "indovinare" (fare affidamento sui prior linguistici) e "ancorare" (fare affidamento sull'evidenza visiva) è critico.

Gli autori stabiliscono che:

1. L'Affidabilità è uno Strumento Pratico: La misura proposta fornisce uno strumento riutilizzabile e interpretabile per diagnosticare le allucinazioni nella SLT senza richiedere traduzioni di riferimento.
2. Complementarità: I segnali di grounding visivo forniscono informazioni complementari alle misure di incertezza basate sul testo. Combinarli produce il framework di rilevamento più robusto.
3. Causa Radice degli Errori Gloss-Free: Il ricorso sistematico ai prior linguistici nei modelli gloss-free è il driver principale dei loro tassi di allucinazione più elevati. La mancanza di supervisione intermedia dei gloss permette al decoder di deviare dall'evidenza visiva.
4. Lavoro Fondamentale: Questa ricerca getta le basi per un rilevamento più robusto delle allucinazioni nella generazione multimodale, disfacendo esplicitamente il contributo del grounding visivo dalla fluidità linguistica.

Il documento conclude che un modello multimodale robusto deve trovare un equilibrio tra indovinare (per la fluidità) e ancorare (per la correttezza fattuale), e che misurare esplicitamente questo equilibrio è essenziale per sistemi di SLT affidabili.