Bidirectional Deaf-Hearing Communication: a Modular Service- Oriented System Combining Multi-Purpose Artificial Intelligence and 3D Avatar Rendering

Per secoli, la barriera fondamentale tra sordi e udenti è stata una semplice discrepanza sensoriale: un gruppo comunica attraverso il linguaggio visivo delle mani e del volto, mentre l'altro si affida al suono delle voci. Sebbene la tecnologia abbia da tempo permesso di tradurre le parole parlate in testo per i sordi, e il testo in parlato per gli udenti, colmare il divario in una conversazione in tempo reale è rimasto ostinatamente difficile. La sfida non è solo quella di convertire un linguaggio in un altro, ma di gestire due modi del tutto diversi di esperire il mondo. Gli individui sordi utilizzano la lingua dei segni, un sistema complesso dove il significato è trasportato dalla forma di una mano, dal movimento di un braccio, dalla posizione del corpo e dall'espressione di un volto. Gli individui udenti, al contrario, parlano con suoni che viaggiano attraverso l'aria. Quando una persona sorda fa un segno, un computer deve guardare il video, comprendere i movimenti specifici e trasformarli in parole. Quando una persona udente parla, un computer deve prendere quelle parole, scomporle nella sequenza corretta di segni e poi mostrarle alla persona sorda. Fare entrambe le cose istantaneamente, senza un ritardo che interrompa il flusso della conversazione, richiede un sistema che sia sia incredibilmente veloce che incredibilmente intelligente.

Un team di ricercatori in Portogallo ha costruito un nuovo sistema progettato per risolvere esattamente questo problema, creando un ponte digitale che permetta a persone sorde e udenti di parlare l'una con l'altra il più naturalmente possibile. Chiamano la loro creazione SLaDIS, una piattaforma modulare che agisce come un traduttore universale per la conversazione a due vie. Invece di cercare di forzare tutto in un unico, massiccio programma, i ricercatori hanno suddiviso il sistema in tre parti distinte che lavorano insieme come una staffetta ben organizzata. La prima parte osserva le mani e il volto della persona sorda, la seconda parte ascolta le parole della persona udente e le trasforma in segni, e la terza parte è lo schermo dove avviene la conversazione. Mantenendo queste parti separate ma connesse, il sistema può gestire il lavoro pesante della computer vision e dell'intelligenza artificiale senza rallentare la conversazione.

Il viaggio inizia quando una persona sorda vuole parlare. Essa comunica il suo messaggio attraverso una telecamera su un telefono cellulare o un computer. Il sistema non cerca di memorizzare ogni singolo pixel del video, il che sarebbe troppo lento e richiederebbe troppi dati. Invece, utilizza uno strumento specializzato per trovare i punti chiave sul corpo della persona: le articolazioni delle dita, i gomiti, le spalle e gli angoli della bocca. Traccia questi punti mentre si muovono, creando una mappa semplificata del gesto. Questa mappa viene poi immessa in un modello di deep learning, un tipo di intelligenza artificiale addestrata su migliaia di esempi di Lingua dei Segni Portoghese. Il modello osserva la sequenza di movimenti e identifica i segni specifici che vengono fatti, trasformando il movimento visivo in un elenco di parole. Poiché la lingua dei segni spesso omette piccole parole di collegamento o utilizza una struttura di frase diversa rispetto al linguaggio parlato, il sistema passa quindi questo elenco di parole a un modello linguistico di grandi dimensioni. Questo secondo livello di intelligenza agisce come un editor premuroso, riorganizzando le parole, aggiungendo la grammatica necessaria e levigando la frase affinché abbia perfetto senso per un udente. Il risultato è una frase chiara e naturale che appare sullo schermo per il partecipante udente da leggere o ascoltare.

Il processo funziona all'inverso quando la persona udente vuole rispondere. Essa digita o pronuncia il proprio messaggio, e il sistema lo traduce immediatamente nelle specifiche glosse, o blocchi costruttivi, della Lingua dei Segni Portoghese. Questa non è una semplice sostituzione parola per parola; il sistema comprende che la lingua dei segni ha le proprie regole per l'ordine delle parole e la grammatica. Una volta che la frase è stata convertita nella sequenza corretta di segni, il sistema si prepara a mostrarla all'utente sordo. Invece di inviare un video pre-registrato di un interprete umano, che richiederebbe tempo per il download e potrebbe non corrispondere alle parole esatte, il sistema utilizza un avatar digitale 3D. Questo avatar è un essere umano virtuale che vive all'interno dell'applicazione. Il sistema richiama l'animazione specifica per ogni segno da una libreria e li concatena, creando una performance fluida e continua. L'avatar muove le mani, le braccia e il volto per imitare un vero interprete, mostrando il messaggio direttamente sullo schermo dell'utente sordo.

I ricercatori hanno testato ampiamente questo sistema per vedere se potesse tenere il passo con la velocità di una conversazione reale. Hanno scoperto che la parte del sistema che riconosce i segni era altamente accurata, identificando correttamente il 95,6 percento dei segni su cui è stata testata. Quando il sistema ha trasformato quei segni in frasi complete, il significato corrispondeva al messaggio inteso con un alto grado di somiglianza, ottenendo un punteggio di 0,81 su una scala in cui 1,0 è un match perfetto. La velocità del sistema è stata altrettanto impressionante. Il tempo impiegato per riconoscere un segno e trasformarlo in una frase è stato inferiore a un decimo di secondo, e il tempo necessario affinché l'avatar iniziasse a muoversi dopo che una persona udente ha inviato un messaggio è stato di poco superiore a un secondo. Queste velocità sono sufficientemente rapide da far percepire una conversazione naturale e fluida piuttosto che uno scambio di messaggi stentato.

Per garantire che il sistema fosse effettivamente utile, i ricercatori hanno coinvolto esperti dell'Associazione dei Sordi Portoghesi per valutare l'avatar. Due valutatori indipendenti hanno guardato l'avatar eseguire i segni e hanno valutato quanto bene riuscissero a comprendere il messaggio. Un esperto ha compreso il 90 percento dei segni, mentre l'altro il 78 percento. Lo studio ha notato che quando la qualità dell'animazione era alta, la comprensione era perfetta, suggerendo che la chiarezza del movimento è importante quanto l'accuratezza delle parole. Il sistema si è anche dimostrato flessibile, capace di gestire conversazioni in diversi contesti come lo shopping, il turismo e l'assistenza sanitaria, dimostrando di poter adattarsi al vocabolario vario necessario nella vita quotidiana.

La vera innovazione di questo lavoro risiede nel modo in cui i pezzi si incastrano. Progettando il sistema come una collezione di servizi indipendenti che comunicano tra loro, i ricercatori hanno creato una piattaforma che può crescere. Se in futuro verranno sviluppati modelli di IA migliori, potranno essere sostituiti senza ricostruire l'intero sistema. Se devono essere aggiunti più segni alla libreria, possono essere registrati e aggiunti senza interrompere il processo di traduzione. Questo approccio significa che il sistema non è solo un esperimento isolato, ma una base per uno strumento che può evolversi. I ricercatori riconoscono che il vocabolario è ancora limitato rispetto alla piena ricchezza della lingua, e che la traduzione da testo a segno potrebbe essere ancora più fluida con maggiori dati di addestramento. Tuttavia, i risultati dimostrano che un ponte bidirezionale pienamente funzionale tra il mondo dei sordi e quello degli udenti non è solo una possibilità teorica, ma una realtà operativa che opera con la velocità e l'affidabilità necessarie per una genuina connessione umana.