Vision-Based Real-Time Sign Language Recognition: A Comparative Benchmark of Landmark Tracking and Deep Sequential Architectures

Per milioni di persone sorde o ipoudenti, la lingua dei segni non è solo una collezione di gesti; è una lingua completa e ricca, con la propria grammatica, struttura e sfumatura. Essa si basa sulla forma precisa della mano, sull'angolo del polso e sul movimento delle dita per trasmettere significato. Eppure, per la stragrande maggioranza delle persone udenti, questi segnali visivi rimangono un libro chiuso, creando una barriera persistente nelle scuole, nei luoghi di lavoro e nella vita quotidiana. Per decenni, gli scienziati hanno cercato di costruire macchine in grado di leggere questi segni, sperando di colmare il divario. I primi tentativi richiedevano spesso l'uso di guanti speciali dotati di sensori o attrezzature ingombranti che tracciassero ogni movimento delle articolazioni. Sebbene accurati, questi strumenti erano poco pratici per l'uso quotidiano, troppo costosi per la maggior parte delle persone e scomodi da indossare per lunghi periodi. L'obiettivo è sempre stato quello di trovare un modo per permettere a una normale fotocamera, come quella integrata in un laptop o in uno smartphone, di comprendere i segni manuali senza chiedere all'utente di cambiare il proprio comportamento o di trasportare attrezzature extra.

Questa sfida è diventata recentemente più risolvibile grazie a un cambiamento nel modo in cui i computer "vedono" il mondo. Invece di cercare di analizzare ogni singolo pixel di un'immagine video — un compito computazionalmente pesante e facilmente confuso da cambiamenti nell'illuminazione o dal disordine dello sfondo — i ricercatori si stanno concentrando sullo scheletro della mano. Immaginate un programma per computer che ignori il colore della pelle o della camicia che la persona indossa e che, invece, identifichi istantaneamente ventuno punti specifici sulla mano, dal polso alle punte delle dita. Questi punti agiscono come una mappa semplificata della forma della mano. Tracciando come questi punti si muovono e si relazionano tra loro, un computer può comprendere quale segno venga fatto senza la necessità di elaborare l'intera immagine. Questo approccio, noto come tracciamento dei landmark (punti di riferimento), promette di rendere il riconoscimento della lingua dei segni veloce, economico e accessibile su dispositivi comuni.

In uno studio recente, un ricercatore presso l'Università di Ingegneria e Tecnologia di Lahore si è proposto di testare esattamente quanto bene questa idea funzioni nel mondo reale. L'obiettivo non era costruire un singolo sistema perfetto, ma confrontare dieci diversi modi per insegnare a un computer a riconoscere questi landmark manuali. Il ricercatore ha raccolto una vasta collezione di dati video, composta da 120.000 fotogrammi di persone che comunicano in lingua dei segni. Questo dataset includeva le ventisei lettere dell'alfabeto, le dieci dita e alcuni gesti speciali per spazi e punti, tutti eseguiti da venticinque volontari diversi. Questi volontari variavano per età, genere e dimensione della mano, garantendo che il test fosse equo e realistico. Il ricercatore ha poi inserito questi dati in dieci diversi tipi di modelli informatici. Alcuni erano metodi statistici classici e semplici, esistenti da decenni, mentre altri erano reti di deep learning complesse e moderne, progettate per imitare il modo in cui il cervello umano elabora le sequenze di informazioni.

I risultati hanno rivelato una verità sorprendente riguardo al rapporto tra velocità e complessità. I modelli più sofisticati, che utilizzavano reti neurali profonde per analizzare le immagini video grezze o il movimento della mano nel tempo, erano effettivamente molto accurati. Un modello basato sulle immagini identificava correttamente i segni quasi il 99,8% delle volte. Tuttavia, questi potenti modelli comportavano un costo elevato: erano lenti. Richiedevano una potenza di calcolo significativa e impiegavano diversi millisecondi per prendere una decisione, il che è percepibile quando si cerca di avere una conversazione in tempo reale. Al contrario, i modelli più semplici, che guardavano solo le coordinate dei ventuno punti della mano, erano incredibilmente veloci. Uno di questi modelli, basato su una tecnica chiamata gradient boosting, ha raggiunto un'accuratezza del 99,5% effettuando una decisione in soli 0,3 millisecondi. Questa velocità significava che il sistema poteva girare fluidamente su un normale laptop, elaborando il video a oltre novanta fotogrammi al secondo, una velocità superiore a quella che l'occhio umano può percepire.

Il risultato più critico riguardava quanto bene questi sistemi funzionassero di fronte a una nuova persona mai vista prima. Nel mondo reale, un interprete della lingua dei segni deve comprendere uno sconosciuto, non solo la persona con cui si è esercitato. Quando i ricercatori hanno testato i modelli su firmatari che non facevano parte dei dati di addestramento, i complessi modelli basati sulle immagini hanno avuto difficoltà significative, con un calo dell'accuratezza di quasi l'8%. Sembravano fare troppo affidamento sull'aspetto specifico delle mani che avevano memorizzato. I modelli più semplici, basati sui landmark, sono stati invece molto più resilienti. La loro accuratezza è scesa solo di circa il cinque per cento, dimostrando che concentrandosi sulla geometria della mano piuttosto che sul suo aspetto, potevano generalizzare meglio su nuove persone. Ciò suggerisce che, per uno strumento pratico e quotidiano, l'approccio più semplice non è solo più veloce, ma anche più affidabile nel gestire la diversità delle mani umane.

Lo studio ha anche esaminato l'intero processo, dal momento in cui una telecamera cattura un'immagine al momento in cui un computer pronuncia la parola riconosciuta. Cronometrando ogni passaggio, dal tracciamento della mano alla normalizzazione dei dati fino alla previsione finale, il ricercatore ha confermato che l'intera pipeline può girare in tempo reale. Il tempo totale dalla visione di un segno al riconoscimento dello stesso è stato di circa undici millisecondi per il modello più veloce. Questa velocità è sufficiente per stare al passo con la lingua dei segni naturale, permettendo al computer di assemblare lettere in parole e frasi senza ritardi. Il sistema ha gestito con successo anche l'assemblaggio di queste lettere in testo, con pochissimi errori di ortografia o formazione delle parole, dimostrando che la tecnologia è pronta per passare da un esperimento di laboratorio a un'applicazione utilizzabile.

Sebbene lo studio offra una strada chiara da seguire, il ricercatore è stato attento a definire i limiti di quanto raggiunto. Il sistema è progettato specificamente per lo spelling (diteggiamento) — ovvero per comporre parole lettera per lettera — e non comprende ancora il flusso complesso e continuo delle intere frasi in lingua dei segni, che coinvolge espressioni facciali e postura del corpo. È stato inoltre notato che in condizioni di oscurità estrema o quando le dita sono pesantemente ostruite dalla visuale, la capacità della telecamera di tracciare i punti della mano può vacillare. Nonostante questi confini, il lavoro fornisce un solido punto di riferimento per il settore. Dimostra che, eliminando i dati visivi superflui e concentrandosi sulla geometria essenziale della mano, possiamo costruire sistemi che siano non solo accurati, ma anche abbastanza veloci da vivere nelle nostre tasche e sulle nostre scrivanie. Il percorso verso un mondo in cui la lingua dei segni sia compresa istantaneamente da tutti potrebbe non richiedere i supercomputer più potenti, ma piuttosto il modo giusto di guardare la mano stessa.