Targeted Linguistic Analysis of Sign Language Models with Minimal Translation Pairs

1. Enunciato del Problema

I modelli di traduzione dalla lingua dei segni (SL) hanno recentemente migliorato le prestazioni in compiti come il riconoscimento di segni isolati e la traduzione continua. Tuttavia, esiste un divario critico nella comprensione di quanto bene questi modelli catturino specifici fenomeni linguistici intrinseci alle lingue dei segni.

A differenza delle lingue parlate, le lingue dei segni si basano su molteplici canali articolatori:

• Manuali: Forme delle mani, movimenti e posizioni.
• Non manuali: Espressioni facciali (sopracciglia, bocca), movimenti della testa e postura del corpo.

Le metriche di valutazione attuali (ad esempio, BLEU, BLEURT) sono misure di similarità globale che non riescono a rilevare se un modello è effettivamente sensibile a specifici indizi linguistici (ad esempio, distinguere una domanda da un'affermazione basandosi esclusivamente su un innalzamento delle sopracciglia). Rimane incerto se i modelli all'avanguardia (SOTA) utilizzino efficacemente gli indizi non manuali o se facciano affidamento in modo sproporzionato sugli indizi manuali, rischiando di perdere informazioni grammaticali cruciali codificate nel volto e nel corpo.

2. Metodologia

A. Costruzione del Dataset: ASL-MTP

Gli autori introducono ASL Minimal Translation Pairs (ASL-MTP), un dataset di benchmark progettato per valutare le capacità linguistiche fini-granulari nei modelli di traduzione dall'ASL all'inglese.

• Fonte: Derivato dal dataset ASLLRP (2.048 enunciati in ASL annotati linguisticamente).
• Struttura: Contiene 1.275 coppie video-frase. Per ogni video in ASL, il dataset fornisce:
  1. Una traduzione Corrispondente (grammaticalmente corretta e semanticamente accurata rispetto al video).
  2. Una traduzione Non Corrispondente (inglese grammaticalmente corretto, ma semanticamente errato riguardo al specifico fenomeno linguistico nel video).
• Fenomeni Coperti: Il dataset mira a 9 specifici fenomeni linguistici, categorizzati in base ai loro indizi primari:
  • Solo manuali: Numeri, Dattilologia, Classificatori.
  • Manual + Non manuali: Negazione, Domande Wh-, Condizionali.
  • Dominanti non manuali: Domande Polar (distinte dalle dichiarative esclusivamente dall'innalzamento delle sopracciglia).

B. Metrica di Valutazione: Analisi della Sorpresa (Surprisal)

Invece di generare traduzioni complete e confrontarle con i riferimenti, gli autori utilizzano un'analisi basata sulla sorpresa:

1. Input: Il modello è condizionato sul video in ASL ($F$).
2. Misurazione: Il modello calcola la probabilità logaritmica condizionata (sorpresa) sia per la frase corrispondente ($a$) che per quella non corrispondente ($u$).
   $$\Delta \text{Surprisal} = S(u) - S(a)$$
3. Accuratezza: Un modello è considerato aver padroneggiato un fenomeno se $\Delta \text{Surprisal} > 0$ (cioè, se trova la frase non corrispondente significativamente più sorprendente/improbabile di quella corrispondente). L'accuratezza è la proporzione di coppie in cui questa condizione è soddisfatta. Una prestazione casuale è del 50%.

C. Modello di Studio di Caso: SHUBERT+ByT5

Gli autori analizzano SHUBERT+ByT5, un modello open-source all'avanguardia.

• Architettura: SHUBERT (un encoder video auto-supervisionato addestrato su 1.000 ore di ASL) combinato con ByT5 (un modello di traduzione testuale).
• Canali di Input: L'encoder elabora quattro canali distinti: Viso (occhi/bocca), Mano Sinistra, Mano Destra e Postura del Corpo.
• Strategia di Ablazione degli Indizi: Per testare la sensibilità agli indizi, gli autori eseguono due tipi di ablazione:
  1. Ablazione al momento dell'Inferenza: Mascheramento di regioni specifiche (mani, viso, corpo) nei frame del video di input durante i test.
  2. Allevamento Controllato (Ablazione al momento dell'Addestramento): Addestramento di nuove varianti del modello in cui canali specifici sono permanentemente mascherati durante la fase di addestramento per escludere effetti "fuori distribuzione".

3. Contributi Chiave

1. Dataset ASL-MTP: Il primo dataset di coppie minime progettato specificamente per la traduzione dalla lingua dei segni, focalizzato sulla sensibilità specifica ai fenomeni piuttosto che sulla qualità generale della traduzione.
2. Framework di Analisi Mirata: Una metodologia per quantificare la sensibilità del modello a specifici indizi linguistici (manuali vs non manuali) utilizzando le differenze di sorpresa, che è più diagnostica dei punteggi BLEURT standard.
3. Evidenza Empirica di Bias: Un'analisi completa che rivela come anche i modelli SOTA mostrino un forte bias verso gli indizi manuali e spesso falliscano nell'utilizzare indizi non manuali critici, nonostante siano addestrati su dati multicanale.

4. Risultati Chiave

Prestazioni sui Fenomeni (Tutti gli Indizi)

• Il modello performa sopra il caso (50%) su 8 sottoinsiemi su 11 (inclusi Numeri, Dattilologia e Domande Wh-).
• Caso di Fallimento: Il modello performa significativamente sotto il caso su Domande Polar vs. Affermative. Mostra un forte bias verso la generazione di frasi dichiarative, fallendo nel riconoscere che un innalzamento delle sopracciglia (l'unico indizio in questi stimoli specifici) indica una domanda.

Risultati dell'Ablazione degli Indizi

• Forte Affidamento sulle Mani: Quando i canali delle mani sono mascherati (condizione No Hands), le prestazioni crollano drasticamente per i fenomeni pesanti sulle mani (Numeri, Dattilologia, Classificatori) e spesso scendono a livelli casuali.
• Insensibilità agli Indizi Non Manuali:
  • Mascherare il viso o il corpo (No Face, No Body) ha poco o nessun impatto negativo sui fenomeni che teoricamente dipendono da essi (ad esempio, Domande Polar, Condizionali, Negazione).
  • L'accuratezza del modello su questi fenomeni rimane simile alla linea di base "Tutti gli Indizi" anche quando gli indizi non manuali critici vengono rimossi.
  • Ciò suggerisce che il modello non sta imparando a estrarre informazioni grammaticali dai movimenti del viso/corpo, anche quando tali indizi sono presenti durante l'addestramento.

Confronto con Metriche Standard

• BLEURT vs. Sorpresa: Le metriche di traduzione standard (BLEURT) non sono riuscite a rilevare l'insensibilità del modello agli indizi non manuali. I punteggi BLEURT sono rimasti relativamente stabili attraverso le ablazioni, mentre l'accuratezza basata sulla sorpresa ha mostrato un chiaro degrado o mancanza di sensibilità. Ciò conferma che le metriche globali mascherano fallimenti linguistici specifici.

Allevamento Controllato

• L'addestramento di modelli con canali ablati (ad esempio, nessun dato sul viso durante l'addestramento) non ha migliorato significativamente le prestazioni sui fenomeni non manuali rispetto all'ablazione al momento dell'inferenza. Ciò conferma che il fallimento nell'utilizzare gli indizi non manuali è una limitazione fondamentale dell'architettura attuale/obiettivo di addestramento, non solo un problema di disallineamento della distribuzione.

5. Significato

• Potere Diagnostico: Il paper dimostra che le metriche di traduzione standard sono insufficienti per valutare i modelli di lingua dei segni. L'analisi delle coppie minime è essenziale per scoprire se i modelli comprendono davvero la struttura linguistica delle lingue dei segni.
• Limitazioni del Modello: Lo studio rivela un difetto critico nei modelli SOTA attuali: trattano la lingua dei segni principalmente come un problema di "gesti delle mani", ignorando largamente il peso grammaticale dei marcatori non manuali (espressioni facciali, postura del corpo).
• Direzioni Future: Gli autori chiedono che i futuri modelli siano progettati esplicitamente per integrare gli indizi non manuali in modo più efficace. ASL-MTP fornisce un benchmark standardizzato per tracciare i progressi in quest'area e incoraggia lo sviluppo di benchmark simili per altre lingue dei segni.

In sintesi, mentre i modelli attuali stanno migliorando nella traduzione della lingua dei segni, lo stanno facendo affidandosi pesantemente sugli indizi manuali e fallendo spesso nel catturare le complesse regole grammaticali multicanale che definiscono le lingue dei segni, in particolare quelle codificate nel viso e nel corpo.