UniCUE: Unified Recognition and Generation Framework for Chinese Cued Speech Video-to-Speech Generation

Il paper presenta UniCUE, il primo framework unificato che genera direttamente l'audio dal video della Lingua dei Segni Cued (CS) cinese senza passare per il testo, superando i limiti delle pipeline tradizionali grazie a un'architettura che integra compiti di riconoscimento e generazione supportata dal nuovo dataset su larga scala UniCUE-HI.

L'essenziale

Immagina di essere in una stanza piena di persone che parlano, ma alcune di loro non sentono nulla. Per comunicare, usano un sistema speciale chiamato Linguaggio dei Segni Visivi (o Cued Speech): combinano i movimenti delle labbra con gesti specifici delle mani per "disegnare" i suoni dell'aria. È come se le loro mani fossero un secondo set di labbra che aiuta a distinguere suoni che sembrano identici (come la "p" e la "b").

Il problema è che per chi non sente, questo linguaggio è perfetto, ma per chi sente (e non sa leggere i gesti), è come guardare un film muto con sottotitoli in una lingua che non capisci.

Gli scienziati di questo studio hanno creato UniCUE, un "traduttore magico" che fa qualcosa di rivoluzionario: trasforma direttamente i video di questi gesti in voce parlata, senza passare per la scrittura.

Ecco come funziona, spiegato con delle metafore semplici:

1. Il Problema: La vecchia catena di montaggio

Prima di UniCUE, se volevi trasformare questi gesti in voce, dovevi usare due macchine separate collegate da un nastro trasportatore:

1. Macchina A (Il Traduttore): Guarda il video e scrive quello che viene detto (es. "Ciao, come stai?").
2. Macchina B (Il Cantante): Prende quel testo scritto e lo canta/parla.

Il difetto: Se la Macchina A sbaglia una lettera (legge "Ciao" come "Chio"), la Macchina B canta "Chio". Inoltre, il testo scritto è statico, mentre i gesti sono dinamici. Il risultato era spesso robotico e fuori tempo.

2. La Soluzione: UniCUE, il "Direttore d'Orchestra Unico"

UniCUE non usa due macchine separate. È un unico sistema intelligente che fa tutto insieme, come un direttore d'orchestra che ascolta gli strumenti e dirige l'orchestra in tempo reale.

Ecco i suoi tre "superpoteri":

• Il "Cacciatore di Movimenti" (Pose-Aware Visual Processor):
  Immagina di guardare un video. I nostri occhi vedono tutto, ma a volte si confondono tra i vestiti, lo sfondo e il movimento. UniCUE ha un occhio speciale che ignora il "rumore" e si concentra solo sulla mappa scheletrica (i punti chiave delle mani e della bocca). È come se avesse una lente che rende invisibile tutto tranne i gesti essenziali, permettendogli di capire esattamente quando e come si muove la mano rispetto alla bocca.

• Il "Ponte Semantico" (Semantic Alignment Pool):
  Questo è il cuore intelligente. UniCUE impara due cose contemporaneamente:

  1. Capire: "Quel gesto significa la lettera 'S'?"
  2. Creare: "Come devo far suonare la voce per quella 'S'?"
     Invece di scrivere la lettera "S" su un foglio, UniCUE crea un ponte diretto tra il gesto della mano e il suono della voce. È come se il gesto stesso fosse la chiave che apre la porta del suono, senza bisogno di scrivere la parola prima. Questo evita che gli errori si accumulino.

• L'Adattatore "VisioPhonetic" (Il Traduttore di Lingue):
  Il sistema di "capire" parla una lingua fatta di immagini e movimenti, mentre il sistema di "creare voce" parla una lingua fatta di onde sonore. L'Adattatore è un piccolo traduttore istantaneo che prende i dettagli fini dei gesti (come la posizione esatta delle dita) e li trasforma in istruzioni perfette per il sintetizzatore vocale, assicurandosi che la voce esca al momento giusto e con il tono giusto.

3. La Nuova Biblioteca (Il Dataset UniCUE-HI)

Per insegnare a questo "traduttore magico", gli scienziati hanno costruito una nuova biblioteca di video. Prima, avevano solo video di persone che sentivano bene e facevano i gesti. Hanno aggiunto persone che non sentono affatto (che usano il linguaggio nella vita reale).
È come se avessero insegnato a un robot non solo a parlare con chi ha l'orecchio perfetto, ma anche a capire le sfumature di chi ha difficoltà a parlare o a muovere le labbra in modo diverso.

Perché è importante?

Prima, se una persona non udente parlava con i gesti, un normale uditore doveva aspettare che un computer scrivesse il testo e poi lo leggesse (o lo trasformasse in voce robotica). Era lento e spesso sbagliato.

Con UniCUE:

• È immediato: Il video diventa voce in tempo reale.
• È naturale: La voce ha il ritmo e l'emozione giusta perché il sistema "capisce" il gesto, non solo lo legge.
• È inclusivo: Funziona bene anche con le persone che non sentono, rendendo le conversazioni vere e proprie, non solo scambi di dati.

In sintesi, UniCUE è come dare una voce magica a chi usa i gesti, permettendo a chiunque di ascoltare e capire senza dover prima imparare a leggere il linguaggio dei segni.

Sommario tecnico

Titolo

UniCUE: Framework Unificato per il Riconoscimento e la Generazione di Video in Lingua dei Segni Cued Speech (CS) verso Sintesi Vocale

1. Il Problema

La Lingua dei Segni Cued Speech (CS) è un sistema che combina movimenti delle labbra e codifica manuale (forme e posizioni delle mani) per fornire indizi fonemici visivi precisi, facilitando la percezione del parlato per le persone con disabilità uditiva.
Il compito di CSV2S (Cued Speech Video-to-Speech) mira a convertire i video CS in segnali vocali intelligibili. Tuttavia, le soluzioni esistenti presentano gravi limitazioni:

• Approccio a Pipeline (CSR + TTS): La maggior parte dei metodi attuali trasforma prima il video in testo (Riconoscimento CS o CSR) e poi usa un sistema Text-to-Speech (TTS). Questo approccio introduce propagazione degli errori (se il riconoscimento è errato, anche la voce lo sarà) e disallineamento temporale, poiché il testo intermedio perde le sfumature spaziotemporali fine del video originale.
• Generazione Diretta (End-to-End): I tentativi di generare audio direttamente dal video (senza testo intermedio) falliscono spesso a causa della complessità multimodale (bocca + mani) e della scarsità di dati CS disponibili, specialmente per utenti con disabilità uditive.
• Mancanza di Dati: I dataset esistenti sono limitati a parlanti normoudenti, non riflettendo le esigenze reali degli utenti target (persone sorde o con ipoacusia).

2. Metodologia: UniCUE

Gli autori propongono UniCUE, il primo framework unificato che esegue la generazione diretta di voce dai video CS senza passare attraverso un testo intermedio, integrando il compito di comprensione (CSR) per guidare la generazione.

L'architettura si basa su tre componenti chiave:

1. Pose-Aware Visual Processor (Elaboratore Visivo Consapevole della Posizione):

   • A differenza dei metodi precedenti che trattano video e pose separatamente, questo modulo fonde i flussi di video (movimenti delle labbra) e mappe di posa (movimenti delle mani) in una rappresentazione mista.
   • Utilizza un encoder visivo condiviso (ResNet + Transformer) per modellare le dipendenze spaziotemporali a lungo raggio, gestendo efficacemente il fenomeno "mano-precede" (dove i segnali manuali anticipano i movimenti labiali).

2. Semantic Alignment Pool (Pool di Allineamento Semantico):

   • Questo modulo allinea le rappresentazioni visive (video e posa) con il contenuto linguistico (testo) tramite contrastive learning.
   • Mappa le caratteristiche visive e le trascrizioni in uno spazio latente condiviso, migliorando la coerenza semantica e fornendo un segnale di supervisione fine-granulare per la generazione.

3. VisioPhonetic Adapter (VPA - Adattatore Visio-Fonetico):

   • Funziona come un ponte tra il compito di riconoscimento (CSR) e il generatore di voce basato su Diffusion Models (LDM).
   • Trasforma le rappresentazioni visive semantiche in codici condizionanti compatibili con il modello di diffusione, permettendo al generatore di audio di utilizzare le informazioni fonetiche fine estratte dal video per produrre un'uscita temporaneamente allineata e linguisticamente fedele.

Flusso di Addestramento:
Il framework addestra simultaneamente due percorsi:

• CSR (Riconoscimento): Trasforma il video in sequenze di token testuali per affinare la comprensione visiva.
• CSV2S (Generazione): Utilizza le stesse caratteristiche visive (trasformate dal VPA) come condizione per un modello di diffusione latente che genera lo spettrogramma vocale.

3. Contributi Chiave

• Framework Unificato: Introduzione del primo sistema che unisce comprensione e generazione per il CSV2S, superando i limiti delle pipeline separate.
• Nuovo Dataset (UniCUE-HI): Costruzione di un dataset su larga scala in cinese mandarino contenente 11.282 video da 14 parlanti (cuers), inclusi sia individui normoudenti che 8 individui con disabilità uditiva. Questo colma un vuoto critico nella ricerca, permettendo di addestrare e testare modelli su utenti reali.
• Architettura Innovativa: Sviluppo di componenti specifici (Pose-Aware Processor, Semantic Alignment Pool, VPA) che gestiscono l'asincronia mano-bocca e la complessità multimodale.
• Prestazioni SOTA: Dimostrazione che l'approccio unificato supera i metodi separati in accuratezza, qualità e sincronizzazione.

4. Risultati

Gli esperimenti sono stati condotti sul nuovo dataset UniCUE-HI, confrontando UniCUE con metodi SOTA (CSR+TTS, modelli lip-reading come LipVoicer, e approcci diretti).

• Accuratezza Linguistica: UniCUE ha ottenuto un Word Error Rate (WER) significativamente inferiore rispetto ai metodi diretti e alle pipeline combinate.
  • Per parlanti normoudenti: WER di 0.205 (vs 0.374 del metodo diretto).
  • Per parlanti con disabilità uditive: WER di 0.248 (vs 0.422 del metodo diretto).
• Sincronizzazione Temporale: Ha mostrato i migliori punteggi in LSE-C (confidenza di sincronizzazione) e LSE-D (distanza temporale), indicando un allineamento perfetto tra il movimento delle labbra/mani e l'audio generato.
• Qualità dell'Audio: Ha superato i baselines nelle metriche di intelligibilità (STOI) e naturalità (DNSMOS).
• Studio Utente: Un sondaggio su 20 volontari ha confermato che UniCUE è percepito come significativamente più intelligibile, naturale e sincronizzato rispetto alle alternative.
• Efficienza: Il framework unificato riduce il tempo di inferenza del 40% rispetto alla pipeline combinata CSR+TTS.

5. Significato e Impatto

Il lavoro di UniCUE rappresenta un passo fondamentale per l'accessibilità tecnologica:

1. Inclusività Reale: La creazione di un dataset che include persone con disabilità uditive permette di sviluppare sistemi che funzionano realmente per il pubblico target, non solo in condizioni di laboratorio con parlanti normoudenti.
2. Superamento del "Collo di Bottiglia" del Testo: Eliminando la dipendenza da un riconoscimento testuale intermedio, il sistema riduce gli errori e preserva le sfumature emotive e temporali del parlato originale, essenziale per conversazioni naturali in tempo reale.
3. Nuovo Paradigma Multimodale: Dimostra che integrare compiti di comprensione (riconoscimento) e generazione (sintesi) in un'unica architettura può migliorare drasticamente le prestazioni in compiti complessi di traduzione multimodale, aprendo la strada a futuri sistemi di comunicazione assistiva più avanzati.

In sintesi, UniCUE trasforma la comunicazione per le persone con disabilità uditive fornendo un sistema in grado di "ascoltare" e "parlare" direttamente attraverso la lingua dei segni cued, con una fedeltà e una naturalezza senza precedenti.