La lingua dei segni è una conversazione ricca e visiva che si basa sul movimento preciso delle mani, sulla forma delle dita e sull'orientamento del corpo. Affinché i computer possano comprendere questo linguaggio, devono agire come un secondo paio di occhi, osservando una persona che comunica con i segni e traducendo quei gesti in parole. Per anni, i ricercatori hanno cercato di insegnare questa abilità alle macchine utilizzando normali telecamere video. Queste telecamere catturano la scena visiva, ma incontrano difficoltà quando la visuale è imperfetta. Se una mano si muove troppo velocemente, sfuoca; se passa davanti a un altro oggetto, scompare; se la luce cambia o lo sfondo è affollato, il computer perde traccia dei dettagli importanti. Ciò rende difficile per una macchina distinguere tra due segni che appaiono simili ma hanno significati diversi.

Per risolvere questo problema, gli scienziati si sono rivolti anche ai sensori indossabili, piccoli dispositivi applicati sul corpo che misurano direttamente il movimento. Questi sensori possono percepire la curvatura di un dito o la rotazione di un polso, fornendo una registrazione chiara del movimento anche quando una telecamera non riesce a vedere chiaramente. Tuttavia, i sensori da soli perdono il contesto visivo, come la posizione verso cui la mano punta rispetto al corpo del segnante. La sfida è stata quella di combinare questi due modi di vedere — l'occhio visivo di una telecamera e il senso fisico di un sensore — in un unico sistema che sia più affidabile di ciascuno dei due preso singolarmente. Un team di ricercatori della Tianjin University of Technology e della Hebei University of Technology ha costruito un tale sistema, creando un metodo che fonde i dati video e quelli dei sensori indossabili per riconoscere parole isolate della lingua dei segni con un'accuratezza straordinaria, anche quando la qualità del video è scarsa.

I ricercatori hanno iniziato costruendo un nuovo dataset progettato specificamente per testare quanto bene un computer possa riconoscere i segni quando le condizioni visive sono difficili. Hanno reclutato cinque volontari e hanno chiesto loro di eseguire cento segni isolati differenti, come parole singole o brevi frasi. Ogni volontario ha ripetuto ogni segno dieci volte, creando un totale di cinquemila campioni. Durante la registrazione, i volontari indossavano una configurazione speciale che includeva piccoli sensori sul braccio superiore, sull'avambraccio e sulla mano. Questi sensori misuravano il movimento inerziale degli arti e la flessione delle dita. Allo stesso tempo, una normale telecamera USB registrava il video. Il team si è assicurato che il video e i dati dei sensori fossero perfettamente sincronizzati, il che significa che ogni fotogramma del video corrispondeva esattamente all'istante corrispondente dei dati del sensore. L'ambiente di registrazione è stato allestito per includere problemi visivi comuni, come variazioni di luce, sfocatura da movimento e parti della mano nascoste, per simulare le sfide del mondo reale.

Per insegnare al computer a comprendere questi dati, i ricercatori hanno sviluppato un sistema con due "cervelli" separati che lavoravano insieme. Il primo cervello si concentrava interamente sul video. Utilizzava un modello visivo sofisticato per analizzare trentadue fotogrammi del video per ogni segno, esaminando come le mani si muovevano nello spazio e come cambiava la postura del corpo. Questo modello era progettato per estrarre la storia visiva del segno, cercando schemi nel movimento e nella forma. Il secondo cervello si concentrava interamente sui sensori indossabili. Elaborava i dati grezzi dei sensori di flessione e dei tracker di movimento, che registravano esattamente come le dita si piegavano e come le braccia si muovevano. Per aiutare questo cervello a comprendere il flusso del tempo, il sistema calcolava la differenza tra un momento di movimento e il successivo, permettendogli di percepire la velocità e la direzione del gesto. Questo ramo dei sensori è stato costruito per essere leggero ed efficiente, capace di apprendere i compliessi schemi del movimento umano dai numeri grezzi.

Una volta che entrambi i cervelli avessero formulato la propria ipotesi su quale segno venisse eseguito, il sistema doveva decidere a quale ipotesi credere. I ricercatori hanno scoperto che le due fonti di informazione spesso discordavano. A volte la telecamera vedeva un segno chiaramente, ma i sensori erano confusi da un movimento simile. Altre volte, i sensori sapevano esattamente cosa stava accadendo perché il movimento era distinto, anche se il video era sfocato o la mano era parzialmente nascosta. Per gestire questo, il team ha creato un metodo per fondere le due ipotesi. Non si sono limitati a fare la media delle due risposte. Invece, hanno regolato la confidenza di ogni ipotesi in base a quanto il sistema si sentisse sicuro riguardo a quel tipo specifico di dato. Hanno poi combinato le probabilità regolate utilizzando un peso specifico scelto per ottenere il miglior risultato possibile. Questo processo ha permesso al sistema finale di fare maggiore affidamento sui dati dei sensori quando il video non era chiaro, e di fare maggiore affidamento sul video quando il dato del movimento era ambiguo.

I risultati di questo approccio sono stati sorprendenti. Quando i ricercatori hanno testato il sistema su nuove persone che non facevano parte del gruppo di addestramento, il sistema basato solo sul video ha dato la risposta corretta circa il sessantotto per cento delle volte. Il sistema basato solo sui sensori ha performato molto meglio, dando la risposta corretta circa il novantacinque per cento delle volte. Ciò ha confermato che i sensori indossabili fornivano un segnale molto più stabile per il riconoscimento di questi segni specifici rispetto al video, specialmente nelle difficili condizioni visive create dal team. Tuttavia, il sistema fuso, che combinava entrambe le fonti, è stato ancora più efficace. Ha raggiunto un'accuratezza del novantasette per cento, identificando correttamente il segno in quasi ogni caso. Questo miglioramento significava che il sistema commetteva molti meno errori rispetto alla versione basata solo sui sensori, correggendo errori che i soli sensori non potevano risolvere.

Il team ha anche esaminato attentamente gli errori che il sistema fuso commetteva ancora. Hanno scoperto che gli errori rimanenti si verificavano principalmente tra coppie di segni che sono naturalmente molto simili, come i segni che utilizzano la stessa forma della mano ma puntano in direzioni leggermente diverse, o segni che si basano su sottili differenze nella flessione delle dita. Questi sono i tipi di distinzioni che sono difficili da fare per qualsiasi essere umano senza un'attenzione meticolosa, tanto meno per una macchina. L'analisi ha dimostrato che quando il video e i sensori concordavano, il sistema era quasi sempre corretto. Quando discordavano, il metodo di fusione utilizzava con successo la fonte più affidabile per correggere l'errore. Ciò ha dimostrato che i due tipi di dati erano veramente complementari: i sensori fornivano una base robusta di movimento, mentre il video aggiungeva i dettagli visivi necessari per distinguere tra i segni più simili.

Questo lavoro suggerisce che il futuro del riconoscimento della lingua dei segni potrebbe non dipendere da un singolo tipo di tecnologia. Invece, combinare la prospettiva visiva di una telecamera con le misurazioni fisiche dirette di sensori indossabili crea un sistema resiliente alle imperfezioni della registrazione nel mondo reale. Sebbene l'attuale studio fosse limitato a un piccolo gruppo di volontari e a un set specifico di segni, il metodo ha dimostrato che è possibile costruire uno strumento di riconoscimento che funzioni bene anche quando il feed video è degradato. I ricercatori hanno osservato che, affinché questa tecnologia sia utile per tutti, il lavoro futuro dovrà includere più persone con diversi stili di segnalazione e testare il sistema in una varietà più ampia di ambienti. Per ora, lo studio fornisce una chiara strada da seguire, mostrando che quando le macchine ricevono sia gli occhi che il senso del tatto, possono comprendere la comunicazione umana con un livello di precisione che nessuno dei due sensi potrebbe raggiungere da solo.