What's the Point? Spatial Grammar & Index Resolution for Sign Language Processing

Sintesi Tecnica: Qual è il punto? Grammatica Spaziale e Risoluzione dell'Indice per il Riconoscimento della Lingua dei Segni

Problema
Le attuali pipeline di Riconoscimento della Lingua dei Segni (SLR) e Traduzione (SLT) si basano prevalentemente sulla supervisione di sequenze di gloss o di testo. Questo approccio assume una corrispondenza lineare tra i segni e un lessico finito e discreto, modellando la lingua come una sequenza di token lessicali. Tuttavia, questo framework sottostima le costruzioni non lessicali e produttive, che costituiscono circa il 40% del discorso spontaneo dei segni. Un caso critico di questa lacuna è l'indicizzazione spaziale (gesti di puntamento), dove i firmatari assegnano entità del discorso a loci spaziali per stabilire un riferimento. Nonostante l'indicizzazione costituisca il 10-15% del contenuto dei segni, essa è scarsamente recuperata dai modelli allo stato dell'arte addestrati su obiettivi lessicali. Questi modelli non riescono a (i) distinguere in modo affidabile l'indicizzazione da segni lessicalmente simili e (ii) mantenere la coerenza referenziale attraverso le frasi, poiché l'indicizzazione si basa sullo stato del discorso e sul contesto spaziale piuttosto che su forme lessicali fisse.

Metodologia
Gli autori propongono un framework modulare in due fasi per scomporre la risoluzione del riferimento spaziale in rilevamento dell'indice e collegamento dell'entità del discorso, trattando l'indicizzazione come un compito di predizione strutturata piuttosto che come un sottoprodotto del riconoscimento del gloss.

1. Rappresentazione della Posa: I documenti in input sono rappresentati come segmenti localizzati temporalmente allineati ai confini del gloss, codificati tramite pose del corpo e delle mani (SMPL e WiLoR) tramite un encoder SL-GCN.
2. Rete di Proposta dell'Indice (IPN): Una testa di classificazione leggera predice se un segmento realizza un segno di indicizzazione. L'IPN è addestrato su corpora linguisticamente curati (BSLCP, MDGS) con annotazioni di indicizzazione a livello di gloss. Per mitigare i falsi positivi che si propagano nel collegamento dell'entità, il modello è ottimizzato per un'alta precisione utilizzando una perdita pesata per classe e una soglia di alta confidenza ($\tau = 0.90$).
3. Memoria di Collegamento dell'Entità (ELM): Le menzioni dell'indice rilevate sono elaborate sequenzialmente. L'ELM mantiene una memoria a crescita dinamica delle entità del discorso. Esso proietta gli embedding dei segmenti in uno spazio di collegamento, aumentato da caratteristiche geometriche (direzione del puntamento, locus spaziale, traiettoria). Il modello calcola i punteggi di compatibilità tra la menzione corrente e gli slot di entità esistenti (o uno slot nullo per nuove entità) utilizzando un Perceptron Multistrato (MLP). Le rappresentazioni delle entità sono aggiornate tramite interpolazione controllata (gated interpolation). La supervisione per il collegamento dell'entità è generata automaticamente utilizzando una pipeline di Large Language Model (LLM) che assegna ID di cluster ai trascritti in base a vincoli strutturali.
4. Integrazione al Tempo di Inferenza: L'IPN e l'ELM fungono da esperti ausiliari per un modello SLR congelato (CSLR2). All'inferenza, vengono iniettati due bias:
   • Boost di Rilevamento ($w_{IPN}$): Aumenta il peso del logit dei token relativi al puntamento per i segmenti identificati come indicizzazione.
   • Prior di Collegamento dell'Entità ($w_{ELM}$): Biassia le predizioni basandosi sul token di puntamento di consenso dell'entità assegnata, promuovendo la coerenza tra le menzioni ripetute.

Contributi Chiave

1. Dimostrazione Empirica di Sottomodellazione: Gli autori dimostrano che, nonostante costituiscano una parte significativa del discorso, l'indicizzazione spaziale è scarsamente recuperata dai modelli CSLR incentrati sul lessico (l'IoU dell'Indice scende al 6,1% nei baseline).
2. Framework di Addestramento e Valutazione: Un framework curato per la consapevolezza dell'indice utilizzando corpora di puntamento annotati manualmente e un protocollo di valutazione specifico che isola le prestazioni dell'indicizzazione dalle prestazioni lessicali generali.
3. Approccio di Modellazione in Due Fasi: Una nuova pipeline che separa il rilevamento locale dell'indice (IPN) dal tracciamento dell'entità a livello di discorso (ELM), consentendo l'annotazione automatica e la modellazione di strutture non lessicali.
4. Integrazione di Esperti Ausiliari: Un metodo per aumentare i modelli SLR congelati al tempo di inferenza, migliorando il recupero dell'indicizzazione senza riaddestrare il backbone.

Risultati

• Prestazioni Baseline: Sul set di test BOBSL-CSLR, il modello baseline CSLR2 raggiunge un Word Error Rate (WER) complessivo del 69,5%, ma fallisce nel recuperare i token di indicizzazione, con un $WER_{Index}$ che raggiunge il 98,4% e un Index IoU del 6,1%.
• Rilevamento dell'Indice: L'IPN generalizza bene tra i dataset (BSLCP e MDGS), con l'addestramento congiunto che migliora la robustezza. La sintonizzazione per l'alta precisione riduce la dispersione lessicale (classificare erroneamente segni non di indice come puntamento).
• Collegamento dell'Entità: L'ELM raggiunge una Entity Cluster Accuracy (ECA) di 0,65 sui dati di test. Sebbene l'addestramento congiunto migliori la struttura del cluster, l'addestramento solo su BSLCP ha prodotto migliori prestazioni di SLR a valle grazie a un migliore allineamento delle etichette.
• Miglioramento del SLR a Valle: L'integrazione dell'IPN e dell'ELM come bias al tempo di inferenza riduce il $WER_{Index}$ dal 96,2% al 59,6% e il $WER_{All}$ complessivo dal 70,5% al 68,3%. Fondamentalmente, questo miglioramento nel recupero dell'indicizzazione non degrada le prestazioni lessicali ($WER_{Lex}$ rimane stabile a circa il 77,1%).
• Tassi di Recupero: Il sistema completo aumenta il recupero dei token di indice del ground-truth dal 6,1% (baseline) al 71,2%, con l'ELM che fornisce guadagni costanti rispetto al solo rilevamento.

Significatività e Rivendicazioni
Il documento sostiene che l'indicizzazione spaziale sia una lacuna strutturale negli attuali pipeline SLR incentrati sul lessico che non può essere risolta semplicemente scalando i modelli lessicali. Modellando esplicitamente l'indicizzazione come un processo in due fasi di rilevamento e tracciamento del discorso, gli autori stabiliscono un baseline per la modellazione della lingua dei segni consapevole dell'indice. Il lavoro dimostra che i componenti consapevoli del discorso possono integrare i sistemi di riconoscimento esistenti come esperti ausiliari "plug-and-play", migliorando il recupero di strutture non lessicali senza richiedere il riaddestramento congiunto del backbone di riconoscimento. Gli autori osservano che questo approccio affronta un limite strutturale specifico e che il lavoro futuro dovrebbe estendere questo trattamento ad altre costruzioni produttive (es. segni descrittivi, cambio di ruolo) e migliorare la supervisione a livello di discorso.

Limitazioni Riconosciute
Gli autori riconoscono alcune limitazioni:

• Spostamento del Dominio (Domain Shift): L'addestramento su dati conversazionali di firmatari Deaf e la valutazione su trasmissioni interpretate introduce spostamenti nello stile del firmatore e nei pattern referenziali.
• Qualità dell'Annotazione: Le etichette di ground-truth in benchmark come BOBSL si basano sulla segmentazione automatica e possono essere incomplete, limitando l'affidabilità della valutazione quantitativa.
• Metriche di Valutazione: Le attuali metriche per i token di puntamento non referenziali ($g_{GIS}$) misurano la presenza del token piuttosto che l'accuratezza referenziale, servendo come limite inferiore dell'errore semantico.
• Vincoli Architetturali: Gli errori di rilevamento derivano da occlusione e coarticolazione, mentre il collegamento dell'entità si basa su una supervisione generata da LLM senza segnali visivi, il che può introdurre rumore in documenti lunghi. Il sistema opera solo al tempo di inferenza, limitando la capacità del backbone di apprendere rappresentazioni dirette consapevoli dell'indice.