SIGNER: Temporally Grounded Sign Language Generation via Time-Resolved Conditioning

Riepilogo Tecnico: SIGNER - Generazione della Lingua dei Segni Temporalmente Radicata tramite Condizionamento a Risoluzione Temporale

Definizione del Problema

La Generazione della Lingua dei Segni (SLG), o generazione da testo a segno, mira a colmare il divario comunicativo tra i segnanti e i non segnanti sintetizzando sequenze di gesti basate su testi in linguaggio parlato. A differenza dei compiti generativi generali (ad esempio, text-to-image), la SLG è vincolata da rigorosi requisiti linguistici:

1. Ordine Lessicale: La lingua dei segni trasmette il significato attraverso una sequenza di gesti allineati con unità simili a parole chiamate gloss. Questi segmenti devono apparire nell'ordine lessicale corretto per preservare il significato inteso.
2. Accuratezza Semantica: Ogni gesto deve riflettere fedelmente il gloss specifico che rappresenta.

I metodi esistenti spesso falliscono nel soddisfare questi vincoli, producendo segni con ordini lessicali errati e segmenti semanticamente ambigui o discordanti. Gli autori identificano la causa principale nelle strategie di condizionamento a fusione globale. Nei approcci precedenti (ad esempio, utilizzando la cross-attention sull'intera sequenza), i segnali di condizionamento (caratteristiche di testo o gloss) sono condivisi tra tutti i passi temporali. Ciò indebolisce il radicamento temporale (temporal grounding)—la precisa corrispondenza temporale tra un gloss specifico e il suo segmento di segno realizzato—portando alla confusione temporale dei segnali lessicali e alla miscelazione dei semantici.

Metodologia: SIGNER

Gli autori propongono SIGNER, un framework progettato per imporre il radicamento temporale attraverso un condizionamento a risoluzione temporale. L'architettura è composta da tre componenti principali:

1. Apprendimento dello Spazio Latente del Movimento (PVQ-VAE)

Per migliorare l'espressività di mani e volto, gli autori utilizzano un Part-Aware Vector Quantized Variational Autoencoder (PVQ-VAE).

• Rappresentazione: Il movimento in input viene decomposto in quattro parti: corpo, mano sinistra, mano destra e volto.
• Codifica: Ogni parte è elaborata da un encoder e un decoder convoluzionale 1D dedicato con il proprio codebook.
• Quantizzazione: Il movimento continuo viene mappato in token discreti tramite quantizzazione vettoriale, che vengono poi utilizzati come target per il processo di diffusione.

2. Costruzione del Condizionamento Temporale-Gloss

Per fornire segnali a risoluzione temporale, il sistema costruisce una sequenza di condizionamento allineata con la dimensione temporale:

• Text-to-Gloss: Il testo in input viene convertito in una sequenza di gloss utilizzando un modello text-to-gloss pre-esistente.
• Stima della Durata: Un MLP appreso predice la durata (in frame) per ogni gloss.
• Costruzione della Sequenza: Gli embedding dei gloss vengono ripetuti in base alle loro durate stimate per formare una sequenza a risoluzione temporale $S$. Ciò assicura che la semantica specifica di ogni gloss sia esplicitamente assegnata a specifiche finestre temporali.

3. Condizionamento a Risoluzione Temporale con Fusione Temporale Locale (LTF)

L'innovazione principale è il modulo di Fusione Temporale Locale (LTF), che sostituisce i meccanismi di fusione globale (come la standard cross-attention) durante il processo di denoising della diffusione.

• Architettura: Il denoiser elabora le parti del corpo indipendentemente, eccetto per un modulo di Inter-Part Attention (IPA) che facilita movimenti coordinati tra corpo, mani e volto tramite cross-attention.
• Meccanismo LTF: Invece di attendere a tutti i token di gloss globalmente, l'LTF integra il condizionamento temporale-gloss all'interno di una finestra temporale locale vincolata.
  • Utilizza l'Adaptive Layer Normalization (AdaLN) per modulare le caratteristiche in base al condizionamento del gloss specifico all'indice del token corrente.
  • Una convoluzione 1D aggrega il contesto temporale locale.
• Effetto: Questo design ancora la semantica dei gloss ai rispettivi indici di token, prevenendo la miscelazione dei segnali linguistici nel tempo e imponendo il corretto ordine lessicale.

Il modello viene addestrato utilizzando un obiettivo di diffusione discreta standard, minimizzando la log-verosimiglianza negativa dei token di verità fondamentale condizionati dalla sequenza temporale-gloss.

Contributi Chiave

1. Framework SIGNER: Un framework di generazione della lingua dei segni che implementa il condizionamento a risoluzione temporale per imporre l'ordine lessicale e l'accuratezza semantica.
2. Fusione Temporale Locale (LTF): Un nuovo modulo di fusione che integra i condizionamenti temporali-gloss localmente durante il denoising. Esso preserva il radicamento temporale limitando il condizionamento ai vicinati locali, prevenendo così la sovramiscelazione semantica comune negli approcci di fusione globale.
3. Accuratezza Semantica Migliorata: Imponendo la località temporale, il metodo mitiga l'ambiguità dei segmenti di segno, garantendo che ogni gesto rifletta fedelmente il suo gloss intenzionale.

Risultati Sperimentali

Gli autori hanno valutato SIGNER su due dataset su larga scala: Phoenix-2014T (tedesco) e CSL-Daily (cinese).

• Prestazioni allo Stato dell'Arte: SIGNER supera i metodi precedenti (inclusi MoMask, NAT-EA e SOKE) su entrambi i dataset in tutte le metriche.
  • Accuratezza del Movimento: Ha ottenuto un errore di posizione articolare (DTW-JPE) inferiore.
  • Fedeltà Linguistica: Ha migliorato significativamente il Word Error Rate (WER) per la back-translation sign-to-gloss, e ha ottenuto punteggi BLEU-4 e ROUGE più elevati per la back-translation sign-to-text.
• Studi di Ablazione:
  • LTF vs. Global Fusion: Sostituire l'LTF con la cross-attention globale o con strati completamente connessi ha comportato cali di prestazioni sostanziali, confermando la necessità dell'aggregazione temporale locale.
  • Inter-Part Attention (IPA): L'integrazione dei flussi di attenzione tra corpo, mani e volto (B→H, H→B, B→F) ha prodotto i risultati migliori, evidenziando l'importanza di una articolazione coordinata.
  • Robustezza: Il sistema è rimasto robusto alle variazioni nella scelta del modello text-to-gloss e a moderate perturbazioni nelle durate stimate dei gloss.
• Qualità del Movimento: SIGNER ha dimostrato una superiore fluidità del movimento, ottenendo la velocità di picco e lo scatto (jerk) di picco più bassi (indicando transizioni più fluide) rispetto ai baseline.
• Analisi Qualitativa: I confronti visivi hanno mostrato che, mentre i metodi precedenti spesso producevano segni con ordini lessicali errati o segmenti irrilevanti, SIGNER ha generato segni accurati nell'ordine corretto.

Significato e Rivendicazioni

L'articolo sostiene che il limite primario degli attuali metodi di SLG sia la fusione globale dei segnali di condizionamento, che indebolisce il radicamento temporale. Introducendo il condizionamento a risoluzione temporale tramite LTF, SIGNER affronta direttamente questa limitazione.

Gli autori affermano che il loro lavoro dimostra che preservare il radicamento temporale durante la generazione è critico per ottenere un corretto ordine lessicale e l'accuratezza semantica. Dimostrano che l'incorporazione delle sole sequenze di gloss (come fatto in alcuni lavori precedenti) è insufficiente se il meccanismo di condizionamento rimane globalmente fuso. Il successo di SIGNER suggerisce che l'allineamento temporale esplicito tra la semantica dei gloss e i segmenti di segno è un requisito fondamentale per un'alta qualità nella generazione della lingua dei segni.

L'articolo si conclude con modestia, riconoscendo che, sebbene SIGNER funzioni bene, attualmente si affida a modelli text-to-gloss pre-esistenti. Il lavoro futuro potrebbe esplorare l'ottimizzazione congiunta del text-to-gloss e della generazione dei segni per ridurre questa dipendenza, particolarmente per nuove lingue dei segni.