Target-Side Paraphrase Augmentation for Sign Language Translation with Large Language Models

Sintesi Tecnica: Aumento della Parafrasi sul Lato Target per la Traduzione della Lingua dei Segni con Grandi Modelli Linguistici

Definizione del Problema

La traduzione della lingua dei segni (SLT) affronta colli di bottiglia significativi a causa della scarsità di corpora paralleli su larga scala video-segno/testo e della presenza di vocabolari target a coda lunga, dove molte parole compaiono solo poche volte. Sebbene siano stati fatti progressi recenti, una traduzione robusta rimane difficile a causa della complessità multimodale delle espressioni firmate e della scarsità di dati. Le strategie di aumento dei dati esistenti nella SLT si sono concentrate prevalentemente sul lato dei segni (ad esempio, tramite modelli produttivi o generativi), lasciando sottoutilizzato il lato del testo target. Inoltre, le metriche standard di sovrapposizione lessicale come il BLEU spesso non riescono a catturare i miglioramenti semantici quando i modelli generano parafrasi valide ma lessicalmente distinte dalle frasi di riferimento.

Metodologia

Gli autori propongono un approccio di aumento sul lato target in cui l'input dei segni rimane fisso, ma il testo di riferimento viene riscritto in varianti semanticamente fedeli utilizzando un Grande Modello Linguistico (LLM).

1. Architettura del Modello: Lo studio impiega un Transformer basato su pose in stile Signformer. Invece di fotogrammi video grezzi, il modello utilizza punti chiave (keypoints) 2D dello scheletro estratti tramite MediaPipe Holistic (coprendo 33 landmark corporei, 21 per mano e subset facciali). Questa rappresentazione enfatizza il movimento articolatorio pur sopprimendo le variazioni di sfondo e di illuminazione, consentendo una valutazione efficiente delle risorse dell'effetto di aumento.
2. Aumento dei Dati Basato su LLM:
   • Per ogni coppia video–frase $(V, T)$, GPT-4o genera $N=3$ parafrasi ($T'_1, T'_2, T'_3$).
   • I prompt sono strutturati per imporre l'output in formato JSON, preservando esplicitamente tempo, registro e contenuto proposizionale, pur consentendo una variazione lessicale e sintattica controllata.
   • Filtraggio: Per prevenire la deriva semantica, le parafrasi vengono filtrate utilizzando un punteggio di similarità media ($\bar{s}$) derivato da quattro misure di forma superficiale (Jaccard a livello di carattere, Jaccard a livello di parola, Levenshtein normalizzato e sovrapposizione di trigrammi). Le varianti vengono mantenute solo se $0.3 \leq \bar{s}(T, T'_i) \leq 0.95$, scartando i duplicati esatti e le varianti che alterano il significato.
3. Programma di Addestramento: Gli autori utilizzano un programma di addestramento in due fasi:
   • Fase 1 (Pre-training): Il modello viene pre-addestrato sul corpus aumentato (originali più tre parafrasi per istanza).
   • Fase 2 (Fine-tuning): Il modello viene sottoposto a fine-tuning esclusivamente sui riferimenti originali per riallineare il decoder alla specifica formulazione di riferimento.
   • Questo programma mira ad ampliare la distribuzione del decoder durante il pre-training e a recentrarlo sullo stile di riferimento durante il fine-tuning.

Contributi Chiave

1. Strategia di Aumento Innovativa: Questo è il primo studio ad applicare l'aumento della parafrasi sul lato target generata da LLM specificamente per la SLT. Gli autori rilasciano tre dataset aumentati che coprono le lingue dei segni tedesca (DGS), greca (GSL) e argentina (LSA).
2. Valutazione Comprensiva del Dataset: Lo studio valuta l'approccio attraverso tre dataset con caratteristiche distinte:
   • PHOENIX14T (DGS): Diversità lessicale moderata con condizioni di registrazione naturali.
   • GSL: Registrazioni altamente controllate e ripetitive con bassa variabilità.
   • LSA-T: Video del mondo reale con una severa scarsità a coda lunga (50% di parole singole).
3. Protocollo di Valutazione Semantica: Gli autori introducono una valutazione LLM-as-a-Judge (utilizzando GPT-5.2) per misurare la fedeltà semantica, affrontando i limiti delle metriche di sovrapposizione lessicale come il BLEU.

Risultati

L'impatto dell'aumento varia significativamente in base alle caratteristiche del corpus:

• PHOENIX14T: L'aumento ha migliorato il BLEU-4 da 9.56 a 10.33. Più importante, il punteggio di fedeltà semantica dell'LLM-as-a-Judge è aumentato del 45.0% (da 2.51 a 3.65). L'analisi indica che l'esposizione parafrastica aiuta il decoder a generalizzare oltre i template memorizzati.
• GSL: Il baseline era quasi saturo (94.38 BLEU). L'aumento ha leggermente ridotto il BLEU a 92.22, poiché il modello produceva output semanticamente validi che differivano lessicalmente dal singolo riferimento. Tuttavia, la fedeltà semantica è comunque migliorata del 13.6% (da 7.72 a 8.77), confermando che le metriche lessicali sottostimano i guadagni in scenari con baseline elevata.
• LSA-T: Le prestazioni sono rimaste stagnanti (BLEU-4 ~1.18–1.19). Gli autori osservano che la riscrittura sul lato target non può affrontare la fondamentale scarsità di dati sul lato dei segni inerente a questo dataset.

Significato e Rivendicazioni

Il documento afferma che l'aumento tramite LLM sul lato target non è uniformemente benefico; la sua efficacia dipende dalla posizione del corpus lungo lo spettro tra formulico e a coda lunga scarsa.

• Per diversità moderata (PHOENIX14T): L'approccio migliora con successo sia le metriche lessicali che la fedeltà semantica.
• Per alta saturazione (GSL): L'approccio rivela guadagni che le metriche standard non colgono, sebbene non possa migliorare i baseline quasi perfetti.
• Per estrema scarsità (LSA-T): L'approccio evidenzia i limiti dell'aumento sul lato testuale quando il collo di bottiglia primario è la scarsità dei dati dei segni.

Gli autori concludono che, sebbene il metodo sia promettente, il lavoro futuro dovrebbe esplorare la combinazione dell'aumento del testo target con l'aumento del lato dei segni, utilizzare molteplici riferimenti per la valutazione e testare LLM open-source per isolare i benefici del principio di aumento dal generatore specifico utilizzato.