Stack Transformer Based Spatial-Temporal Attention Model for Dynamic Sign Language and Fingerspelling Recognition

Per milioni di persone in tutto il mondo, la capacità di comunicare non è scontata. Quando la perdita dell'udito crea una barriera, la lingua dei segni diventa il ponte vitale, un linguaggio visivo-spaziale dove il significato è costruito attraverso la forma delle mani, i movimenti del corpo e le espressioni facciali. Per decenni, i ricercatori hanno cercato di costruire computer in grado di comprendere questo linguaggio, sperando di creare una traduzione fluida tra le comunità sorde e udenti. La sfida risiede nella complessità dei dati: un segno non è solo l'immagine statica di una mano, ma una sequenza fluida di movimenti che coinvolge l'intero busto. I primi tentativi di insegnare questo linguaggio alle macchine si sono basati su telecamere per catturare video, ma gli approcci più promettenti recenti si sono concentrati sullo scheletro stesso: la mappa invisibile di articolazioni e ossa che definisce il movimento umano. Eliminando lo sfondo e concentrandosi solo sulla geometria del corpo, gli scienziati speravano di creare sistemi robusti rispetto ai cambiamenti di illuminazione e alle preoccupazioni sulla privacy. Tuttavia, gli strumenti utilizzati per interpretare queste mappe scheletriche si sono scontrati con un limite. Tradizionalmente, essi si sono basati su regole fisse riguardanti il modo in cui le parti del corpo sono connesse, assumendo che la mano sia correlata solo al polso, e il polso al gomito. Questa struttura rigida funziona bene per movimenti semplici, ma fatica quando un segno richiede che le mani interagiscano con la testa o quando l'intero corpo si muove in modo coordinato e complesso.

Un team di ricercatori dell'Università di Aizu in Giappone, insieme a colleghi della Corea del Sud e del Bangladesh, ha proposto un nuovo modo per risolvere questo problema. Invece di costringere il computer a seguire una mappa pre-disegnata di come il corpo sia connesso, hanno costruito un sistema che impara a vedere l'immagine completa in un colpo solo. Chiamano la loro creazione "Stacked Spatio-Temporal Attention Network" (Rete di Attenzione Spazio-Temporale Stratificata). Immaginate un sistema che non guarda solo un singolo fotogramma di un video, ma osserva l'intera sequenza di movimento guardando contemporaneamente come ogni singola articolazione si relazioni con tutte le altre, indipendentemente da quanto siano distanti sul corpo. Questo approccio abbandona le vecchie regole rigide in favore di un metodo flessibile che calcola le relazioni in modo dinamico. I ricercatori hanno testato questa nuova architettura su tre set di dati distinti: una grande collezione di parole della Lingua dei Segni Americana (ASL) e due set più piccoli dedicati al fingerspelling — l'alfabeto di segni utilizzato nel giapponese e nel coreano. I risultati sono stati sorprendenti. Nei test di fingerspelling giapponese e coreano, il nuovo modello ha raggiunto un'accuratezza quasi perfetta, identificando correttamente i segni quasi ogni volta. Ancora più significativamente, sul grande dataset della Lingua dei Segni Americana, il modello ha superato tutti gli altri metodi che utilizzano solo dati scheletrici, inclusi quelli che erano stati addestrati utilizzando tecniche di pre-addestramento massicce e complesse.

Il segreto di questo successo risiede nel modo in cui il modello elabora le informazioni. I sistemi tradizionali trattano spesso il corpo come una catena, dove l'informazione passa da un'articolazione all'altra, richiedendo molti passaggi per connettere la mano alla testa. Il nuovo modello, invece, utilizza un meccanismo che gli permette di guardare tutte le articolazioni contemporaneamente e comprendere istantaneamente quali stiano lavorando insieme. Lo fa in due fasi per ogni momento temporale: prima, analizza le relazioni spaziali tra le articolazioni all'interno di un singolo fotogramma, comprendendo la forma della posa; poi, analizza le relazioni temporali, collegando quella forma alle forme che sono venute prima e dopo. Ciò consente al computer di afferrare le sottili e coordinate dinamiche di un segno senza bisogno di una mappa fissa che lo guidi. I ricercatori hanno addestrato questo sistema da zero, il che significa che non hanno fornito milioni di altre immagini o video per imparare concetti generali prima. Hanno semplicemente mostrato i dati della lingua dei segni e il modello ha imparato i pattern da solo. Questa è una distinzione cruciale, poiché suggerisce che il modello è altamente efficiente, capace di apprendere compiti complessi senza l'elevato costo computazionale del massiccio pre-addestramento.

Lo studio è stato rigoroso, testando il sistema su oltre 21.000 video dal dataset della Lingua dei Segni Americana e centinaia di video dai set giapponese e coreano. I ricercatori sono stati attenti a garantire che il modello non stesse semplicemente memorizzando le persone specifiche nei video di addestramento; hanno suddiviso i dati in modo che il modello venisse testato su persone che non aveva mai visto prima. Nei test di fingerspelling giapponese, il modello ha raggiunto un'accuratezza massima del 99,34%, e nei test coreani ha raggiunto il 95,16%. Sul più grande dataset della Lingua dei Segni Americana, ha raggiunto un'accuratezza massima dell'82,95% per i 100 segni più comuni, superando i record precedenti detenuti da sistemi che si affidavano a metodi di addestramento più complicati. I ricercatori hanno notato che, mentre altri sistemi richiedono spesso migliaia di ore di pre-addestramento su dati non correlati per raggiungere livelli simili di prestazione, il loro modello ha ottenuto questi risultati imparando direttamente dai dati della lingua dei segni. Ciò indica che l'architettura è naturalmente ben adatta al compito, catturando l'intricata danza del movimento umano con straordinaria chiarezza.

Ci sono, naturalmente, dei confini a ciò che questo studio ha accomplito. I ricercatori si sono concentrati esclusivamente sui dati scheletrici, il che significa che il sistema non guarda il colore della pelle, l'abbigliamento o lo sfondo. Questa è una scelta deliberata per proteggere la privacy e garantire che il sistema funzioni in vari ambienti, ma significa anche che il modello potrebbe non catturare sfumature che un osservatore umano vedrebbe in un video completo. Inoltre, lo studio si è concentrato su segni isolati — parole o lettere singole — piuttosto che su flussi continui di conversazione. Sebbene il modello abbia dimostrato di poter riconoscere queste unità individuali con alta precisione, il salto verso la comprensione di una conversazione completa e fluida rimane una sfida futura. Gli autori hanno anche riconosciuto che, per i segni puramente statici, dove la mano non si muove, un sistema più semplice che guarda un singolo fotogramma potrebbe essere più veloce, sebbene il loro modello sia riuscito comunque a superare tali approcci più semplici in termini di accuratezza.

Le implicazioni di questo lavoro vanno oltre il semplice miglioramento dei tassi di riconoscimento. Dimostrando che un sistema flessibile, basato sull'attenzione, può superare i modelli rigidi basati su grafi senza richiedere un massiccio pre-addestramento, i ricercatori hanno aperto una nuova strada per il modo in cui le macchine comprendono il movimento umano. Suggerisce che la chiave per comprendere azioni complesse e dinamiche non è forzarle in una struttura fissa, ma permettere al sistema di scoprire le connessioni da solo. Mentre il campo avanza, i prossimi passi comporteranno probabilmente la combinazione di questo efficiente approccio basato sullo scheletro con altre fonti di dati, come il video, per creare strumenti di comunicazione ancora più potenti. Per ora, questo lavoro rappresenta una prova significativa del fatto che, quando permettiamo alle macchine di guardare l'immagine completa, possono imparare a comprendere il linguaggio delle mani con una chiarezza che prima era fuori portata.