ViPo-MLLM: Visual-Pose Multimodal LLM for Gloss-Free Sign Language Translation

Sintesi Tecnica: ViPo-MLLM per la Traduzione della Lingua dei Segni Gloss-Free

Problema
La traduzione della lingua dei segni (SLT) mira a colmare le lacune comunicative convertendo i video in lingua dei segni in frasi parlate. Mentre i primi sistemi si affidavano ad approcci "basati su gloss" utilizzando annotazioni simili a parole come intermedi, questi metodi soffrono di alti costi di annotazione, limitata scalabilità e strutture sintattiche rigide. La SLT "gloss-free" (senza gloss), che traduce direttamente i video in testo fluido senza l'uso di gloss intermedi, è un'alternativa promettente ma rimane una sfida. Gli esistenti metodi gloss-free spesso si affidano a caratteristiche monodali o a rappresentazioni debolmente fuse, fallendo nel catturare i dettagli articolatori fini (mani, corpo, segnali facciali) e le dipendenze temporali a lungo raggio necessarie per una traduzione accurata. Inoltre, la fusione ingenua di dati visivi e di pose spesso non riesce ad allineare efficacemente queste modalità.

Metodologia: ViPo-MLLM
Gli autori propongono ViPo-MLLM (Visual-Pose Multimodal LLM), un framework progettato per integrare caratteristiche RGB spazio-temporali e segnali di pose umane attraverso un meccanismo di attenzione cross-modale. L'architettura opera come segue:

1. Estrazione delle Caratteristiche:

   • Caratteristiche RGB Spazio-Temporali ($Z_s$): Estratte utilizzando un encoder USTM pre-addestrato (basato su stadi di Swin Transformer con adapter temporali). L'encoder è congelato e le teste specifiche per il compito (MS-TCN, BiLSTM) vengono scartate per evitare bias temporali, producendo rappresentazioni a livello di frame.
   • Caratteristiche di Pose ($Z_p$): Estratte utilizzando OpenPose per stimare la posa di tutto il corpo e delle mani in modo dettagliato. Invece di heatmap, le caratteristiche intermedie sono aggregate spazialmente per frame per creare vettori a dimensionalità fissa.

2. Fusione Multimodale:

   • Modellazione Temporale Intra-Modale (IMTM): Sia $Z_s$ che $Z_p$ sono proiettate in uno spazio condiviso e processate da una TCN (Rete Convoluzionale Temporale) 1D a 2 strati condivisa per catturare la dinamica temporale locale all'interno di ciascuna modalità.
   • Modellazione Temporale Cross-Modale (CMTM): Gli output dei blocchi IMTM vengono concatenati e passati attraverso un modulo di Cross-Modal Attention (CMA) a 4 strati. Questo blocco consente la modellazione temporale globale e cattura le dipendenze tra le modalità visiva e di pose.
   • Proiezione: La rappresentazione fusa viene proiettata tramite un MLP per corrispondere alla dimensione di embedding del Large Language Model (LLM).

3. Modellazione del Linguaggio e Addestramento:

   • Costruzione del Prompt: Le caratteristiche fuse visual-pose sono concatenate con un prompt strutturato contenente istruzioni del compito ed esempi few-shot (ad esempio, traduzioni in spagnolo/francese/inglese) per condizionare l'LLM.
   • Obiettivi di Apprendimento: Il modello è addestrato end-to-end utilizzando una combinazione di due perdite (loss):
     • Loss Contrastiva: Allinea una rappresentazione globale del video (aggregata dalle caratteristiche fuse) con la rappresentazione globale dell'embedding del testo di ground-truth.
     • Loss di Cross-Entropy: Standard loss di modellazione del linguaggio in cui l'LLM genera la traduzione target basandosi sull'input congiunto del prompt e delle caratteristiche fuse.
   • Fine-Tuning: Il backbone dell'LLM (mT0-XL) è sottoposto a fine-tuning utilizzando LoRA (Low-Rank Adaptation).

Contributi Chiave
Il documento delinea quattro contributi primari:

1. Framework ViPo-MLLM: Un'architettura innovativa che integra segnali RGB spazio-temporali e di pose tramite attenzione cross-modale per la SLT gloss-free.
2. Strategia di Fusione Esplicita: Un meccanismo specifico di fusione video-pose (IMTM + CMTM) che modella quando e come l'informazione della posa influenza la traduzione, catturando sia le dipendenze locali che quelle globali.
3. Analisi Esaustiva: Esperimenti estesi che dimostrano i ruoli complementari delle informazioni di pose e delle caratteristiche visive spazio-temporali nella SLT gloss-free.
4. Prestazioni State-of-the-Art: Raggiungimento di nuovi risultati migliori sui dataset di riferimento, mantenendo la competitività con i metodi basati su gloss.

Risultati Sperimentali
Il modello è stato valutato su due dataset: PHOENIX14T (Lingua dei Segni Tedesca) e CSL-Daily (Lingua dei Segni Cinese).

• PHOENIX14T: ViPo-MLLM ha ottenuto un punteggio BLEU-4 di 27.10 e un ROUGE-L di 51.50, superando gli esistenti metodi debolmente supervisionati e completamente gloss-free (ad es., VAP, ConSLT, MMSLT). È rimasto competitivo con gli approcci basati su gloss nonostante non utilizzi annotazioni di gloss.
• CSL-Daily: Il modello ha ottenuto un BLEU-4 di 25.85 e un ROUGE-L di 54.53, stabilendo un nuovo stato dell'arte per i metodi gloss-free e pareggiando le prestazioni dei modelli basati su gloss.

Approfondimenti dall'Ablazione

• Modalità: La combinazione di caratteristiche RGB e di pose ha superato significativamente l'uso di una singola modalità. L'apprendimento contrastivo ha ulteriormente potenziato l'allineamento semantico per entrambe.
• Profondità della CMA: Le prestazioni hanno raggiunto il picco con una profondità della CMA di 4; strati più profondi (ad es., 8) hanno portato a un degrado delle prestazioni, probabilmente a causa di over-smoothing o overfitting.
• Scelta dell'LLM: I modelli più grandi della famiglia mT0 (mT0-XL) hanno prodotto risultati migliori rispetto alle varianti più piccole.
• Prompting: I prompt istruttivi (guida diretta del compito) hanno prodotto le migliori prestazioni, mentre i prompt interrogativi o di role-playing hanno ridotto l'accuratezza.

Significatività
Il documento afferma che ViPo-MLLM dimostra che l'addestramento gloss-free può eguagliare o superare le prestazioni degli approcci con supervisione di gloss. Sfruttando efficacemente i segnali di pose e l'attenzione cross-modale, il metodo proposto cattura con successo il movimento fine e i pattern temporali a lungo raggio critici per la traduzione senza il costo proibitivo dell'annotazione dei gloss. Il lavoro valida l'efficacia dell'integrazione del prompting strutturato e dell'allineamento contrastivo all'interno di un framework di LLM multimodale per la traduzione della lingua dei segni. Il lavoro futuro suggerisce di esplorare modalità aggiuntive e rappresentazioni di pose leggere per la scalabilità in tempo reale.