A Hybrid CNN–MLP Model Using Confidence-Gated Fusion Framework for Real-Time Indian Sign Language Recognition

La comunicazione è un bisogno umano fondamentale, eppure per milioni di persone sorde o con ipoacusia, il ponte verso il mondo esterno rimane spesso interrotto. La lingua dei segni funge da linguaggio completo e ricco per queste comunità, ma senza un sistema di traduzione universale, il divario tra chi usa i segni e chi non li usa persiste. Negli ultimi anni, gli scienziati si sono rivolti ai computer per costruire questo ponte, insegnando alle macchine a "vedere" i gesti delle mani e a tradurli in parole parlate o scritte. Questo campo si basa su due modi principali di vedere. Un approccio tratta la mano come una fotografia, analizzando la forma, il colore e la consistenza della pelle e delle dita per indovinarne il significato. L'altro approccio ignora completamente l'immagine, concentrandosi invece sulla precisa geometria della mano, mappando la posizione esatta di articolazioni e polpastrelli come un insieme di coordinate. Sebbene ciascun metodo abbia i suoi punti di forza, entrambi faticano quando il mondo reale diventa caotico. Un sistema basato sulla telecamera potrebbe fallire se la luce cambia o se lo sfondo è affollato, mentre un sistema basato sulla geometria potrebbe perdere dettagli sottili che distinguono un segno dall'altro.

In uno studio recente, ricercatori del Galgotias College of Engineering & Technology in India hanno proposto una soluzione che combina questi due distinti modi di vedere per creare un traduttore più affidabile per la lingua dei segni indiana. Invece di costringere un computer a scegliere tra l'aspetto della mano o la sua struttura, il team ha costruito un sistema ibrido che utilizza entrambi simultaneamente. Hanno creato due separati "cervelli" digitali: uno addestrato a riconoscere i gesti guardando le immagini delle mani, e un altro addestrato a riconoscerli leggendo le coordinate matematiche dei punti di riferimento della mano. L'innovazione non risiede solo nell'avere due modelli, ma nel modo in cui lavorano insieme. I ricercatori hanno progettato un meccanismo di commutazione intelligente che agisce come un guardiano. Durante l'operazione in tempo reale, il sistema controlla costantemente quanto il modello basato sull'immagine sia fiducioso nella sua ipotesi. Se il modello basato sull'immagine è incerto a causa di una scarsa illuminazione, il sistema delega automaticamente il modello basato sulla geometria, che è prioritario per la sua robustezza alle variazioni ambientali. Se la geometria è poco chiara, si affida all'immagine. Questa decisione dinamica viene poi regolarizzata nel tempo per garantire che l'output finale non sfarfalli o non salti erraticamente da una lettera all'altra.

Il team ha testato il loro sistema utilizzando una vasta collezione di immagini statiche delle mani che rappresentavano l'alfabeto e alcuni comandi specifici, per un totale di 87.000 foto. Hanno addestrato il loro modello di lettura delle immagini utilizzando un'architettura leggera nota come MobileNetV2, progettata per essere abbastanza veloce per l'uso in tempo reale, e hanno addestrato il loro modello di lettura della geometria utilizzando una rete neurale standard che elabora i 21 punti chiave della mano rilevati da uno strumento chiamato MediaPipe. Quando hanno messo alla prova i singoli modelli, i risultati sono stati rivelatori. Il modello basato sull'immagine era incredibilmente accurato, raggiungendo quasi il 100% di precisione nei test controllati, ma mostrava segni di incertezza di fronte alle condizioni variabili di un feed video dal vivo. Il modello basato sulla geometria era leggermente meno accurato da solo, con un punteggio di circa il 97%, ma rimaneva notevolmente costante indipendentemente dallo sfondo o dall'illuminazione.

Quando i ricercatori hanno fuso questi due approcci, il risultato è stato un sistema che privilegia la stabilità rispetto alla pura prestazione massima. Il modello ibrido ha raggiunto un'accuratezza del 95% nei test, una cifra che, pur essendo leggermente inferiore al massimo teorico del modello basato solo sull'immagine, si è dimostrata molto più costante nella pratica. Nei test in tempo reale, il sistema ibrido ha mantenuto un livello di confidenza vicino al 100%, eliminando efficacementamente l'esitazione e gli errori che affliggevano i sistemi a modello singolo. Lo studio ha scoperto che permettendo ai due modelli di selezionare la risposta in base alle soglie di confidenza e poi regolarizzando i risultati su una breve finestra temporale, il sistema poteva gestire le condizioni variabili dell'ambiente. Questo approccio ha ridotto con successo le classificazioni errate osservate nel modello basato solo sulla geometria, mantenendo al contempo previsioni stabili, dimostrando l'efficacia della combinazione di caratteristiche visive e basate sui landmark.

I ricercatori concludono che questo framework ibrido offre una via pratica per gli strumenti di comunicazione assistiva. Riconoscendo che nessun metodo è perfetto in ogni situazione, e creando un sistema in grado di fare affidamento dinamicamente sul metodo più affidabile in ogni momento, hanno creato un riconoscitore di gesti abbastanza robusto per l'uso nel mondo reale. Il lavoro dimostra che combinare l'aspetto visivo con la struttura geometrica, gestiti da un processo decisionale basato sulla confidenza, produce uno strumento che è non solo accurato, ma anche stabile e affidabile, portando la promessa di una comunicazione fluida tra udenti e sordi un passo più vicina alla realtà.