Sintesi Tecnica: Aumento del Corpus per la Traduzione della Lingua dei Segni tramite Video Stitching Guidato da LLM

Problematica

La traduzione della lingua dei segni (SLT) mira a convertire video in lingua dei segni in testo in lingua parlata. Sebbene i grandi dataset debolmente allineati abbiano permesso la scalabilità e i metodi gloss-free abbiano ridotto la dipendenza dalla annotazione esperta, coppie parallele di alta qualità tra video e testo della lingua dei segni rimangono scarse. Questa scarsità limita la generalizzazione su vocabolari a coda lunga e costruzioni inedite. Gli approcci esistenti di aumento dei dati affrontano ostacoli significativi: lo stitching a livello di feature è legato a encoder specifici, i metodi a livello di scheletro richiedono passaggi di rendering per essere utilizzabili da modelli RGB, e la generazione di video realistici rimane una sfida aperta. Inoltre, valutazioni controllate recenti (ad es. Sincan et al.) suggeriscono che molti miglioramenti riportati nella SLT gloss-free svaniscano sotto condizioni rigorose, con il maggior guadagno verificato rispetto a un baseline di soli +0,98 BLEU-4.

Metodologia

Gli autori propongono una pipeline di aumento del corpus che genera coppie video-testo RGB sintetiche senza richiedere corpora video esterni, modelli generativi di video o ulteriori annotazioni umane. La pipeline si basa esclusivamente su un corpus di addestramento esistente con gloss annotati e su un Large Language Model (LLM). Il processo consiste in tre fasi:

1. Estrazione di Clip per Gloss: Utilizzando la segmentazione per allineamento forzato CTC (basata su Zuo et al.), il sistema estrae clip a livello di frame per i singoli gloss dai video di addestramento esistenti. Ciò crea un database video "indicizzato per gloss" senza annotazioni temporali manuali.
2. Generazione Gloss–Frase Guidata da LLM: Un LLM ancorato al corpus genera nuove coppie gloss-frase. Per prevenire la deriva del vocabolario e garantire la coerenza del dominio (notiziari meteo tedeschi), l'LLM riceve:
   • Il vocabolario completo dei gloss Phoenix.
   • 500 esempi campionati casualmente dal corpus come contesto.
   • Coppie "ancora" selezionate tramite una strategia di minor utilizzo per garantire la copertura della distribuzione di addestramento.
     Le sequenze generate vengono filtrate per rimuovere corrispondenze esatte, sottosequenze di frasi esistenti e duplicati, garantendo contenuti linguistici genuinamente nuovi.
3. Assemblaggio del Video: Le sequenze sintetiche sono assemblate campionando casualmente frasi dal pool generato e assegnandole a clip.
   • Selezione del Segnante: Per le frasi generate dall'LLM, un segnante viene campionato uniformemente tra quelli che hanno registrato clip per ogni gloss presente nella sequenza.
   • Assegnazione delle Clip: Le clip sono selezionate casualmente dalle occorrenze disponibili per il segnante assegnato.
   • Gestione delle Transizioni: I frame di transizione sono campionati dalla distribuzione empirica degli intervalli inter-gloss nel dataset reale. Notevolmente, gli autori escludono esplicitamente l'ottimizzazione delle transizioni basata su L2 (smoothing dei confini), ritenendola controproducente.

Il dato sintetico risultante consiste in coppie video-testo RGB standard, rendendolo indipendente dall'architettura e direttamente consumabile da modelli SLT basati su RGB o convertibile in rappresentazioni pose/feature.

Contributi Chiave

1. Pipeline Scalabile e Indipendente dall'Architettura: Un metodo per espandere i corpora SLT utilizzando solo le annotazioni dei gloss esistenti e un LLM, producendo coppie video-testo RGB compatibili con qualsiasi architettura basata su RGB a valle.
2. Significativo Guadagno di Performance in Condizioni Controllate: All'interno del rigoroso framework di valutazione stabilito da Sincan et al., l'aumento proposto ottiene un miglioramento di +2,92 BLEU-4 rispetto al baseline GFSLT-VLP riprodotto (21,38 → 24,30). Questo guadagno è ottenuto senza alterare l'architettura del modello, l'obiettivo di addestramento o gli iperparametri.
3. Verifica della Fonte del Guadagno: Gli autori dimostrano che il miglioramento non è un artefatto di un aumento degli step di gradiente. Un baseline di dati reali "doppiamente campionati" (pareggiato per computazione) ha ottenuto 21,17 BLEU-4, statisticamente indistinguibile dal baseline con soli dati reali, confermando che il contenuto sintetico stesso guida la performance.
4. Risultati Empirici Controintuitivi:
   • Danno alla VLP: L'introduzione di dati sintetici cuciti (stitched) durante la Pre-training Vision-Language (VLP) causa il collasso delle performance a valle, nonostante il miglioramento degli obiettivi di pretraining. Gli autori suggeriscono che l'encoder visivo apprenda rappresentazioni che si adattano alle discontinuità sintetiche ma falliscono nel generalizzare sulla segnalazione continua reale.
   • Smoothing delle Transizioni: Ottimizzare le transizioni tra le clip per la fluidità visiva (tramite distanza L2) danneggia la performance di fine-tuning. Gli autori propongono che i confini bruschi possano agire come una forma di regolarizzazione implicita, costringendo il modello a fare affidamento sul contenuto visivo centrale piuttosto che su indizi temporali di confine.

Risultati

• Risultati Primari (200 Epoche): Il modello aumentato ha raggiunto 24,30 BLEU-4 e 46,09 ROUGE-L, rispetto ai 21,38 BLEU-4 e 41,69 ROUGE-L del baseline.
• Ablazione sul Contenuto LLM: Sostituire le frasi generate dall'LLM con le frasi originali di Phoenix (mantenendo l'assegnazione casuale delle clip) ha causato un calo delle performance a 20,04 BLEU-4, scendendo al di sotto del baseline senza aumento. Ciò conferma che il contenuto linguistico nuovo, e non solo la variazione visiva, è il principale motore del guadagno.
• Analisi della Contaminazione: Le sequenze di gloss sintetiche non hanno mostrato una vicinanza maggiore ai set di sviluppo o di test rispetto alle frasi reali di addestramento (punteggi max-BLEU-4 inferiori), escludendo la fuga di dati (leakage) dalla valutazione.

Significatività

Il paper sostiene che gli approcci centrati sui dati, specificamente l'iniezione di coppie sintetiche linguisticamente diverse, siano un leva più efficace per migliorare la SLT rispetto a modifiche architettoniche o strategie di pretraining che introducono discontinuità visive. Dimostrando un guadagno di quasi +3 BLEU-4 in un contesto controllato dove altri metodi non sono riusciti a mostrare miglioramenti significativi, il lavoro evidenzia il potenziale della generazione di dati guidata da LLM per superare la scarsità di dati paralleli di alta qualità della lingua dei segni. Le conclusioni riguardanti gli effetti dannosi dello smoothing visivo e della pre-training VLP con dati sintetici offrono una guida critica per le future strategie di aumento, suggerendo che preservare le discontinuità "naturali" possa essere benefico per la robustezza del modello.