Real-Time Sign Language Gestures to Speech Transcription using Deep Learning

Questo progetto presenta un sistema di assistive technology basato su deep learning che utilizza le CNN per tradurre in tempo reale i gesti della lingua dei segni in testo e voce, facilitando la comunicazione per le persone con disabilità uditive e vocali.

L'essenziale

Immagina di essere in una stanza piena di persone che parlano lingue diverse. C'è un gruppo che usa le mani per comunicare (la lingua dei segni) e un altro gruppo che non può vedere le mani (persone non vedenti) o che non capisce i gesti. È come se avessero due radio sintonizzate su frequenze completamente diverse: il messaggio c'è, ma nessuno lo riceve.

Questo progetto, realizzato da studenti della Carnegie Mellon University, è come un traduttore magico in tempo reale che mette queste due radio sulla stessa frequenza.

Ecco come funziona, spiegato con parole semplici e qualche analogia divertente:

1. Il Problema: Il Muro Invisibile

Attualmente, se una persona sordomuta fa un gesto con la mano per dire "Ciao" o "Acqua", una persona non vedente non può vederlo. Allo stesso modo, se una persona vedente non conosce la lingua dei segni, non capisce cosa sta succedendo. È come cercare di leggere un libro scritto in un codice segreto senza avere la chiave.

2. La Soluzione: Il "Cervello" Digitale

Gli autori hanno creato un sistema che fa tre cose principali, come se fosse un piccolo assistente personale molto veloce:

• L'Occhio (La Webcam): Il sistema guarda attraverso la webcam del tuo computer, proprio come un videogioco che ti inquadra.
• Il Filtro (MediaPipe): Prima di guardare il gesto, il sistema usa una tecnologia chiamata "MediaPipe" che funziona come un cacciatore di mani. Isola la tua mano dallo sfondo (che potrebbe essere un muro colorato, una scrivania o una persona che passa dietro), ignorando tutto il resto.
• Il Cervello (L'Intelligenza Artificiale): Qui entra in gioco la parte "magica". Hanno addestrato un "cervello" digitale (una Rete Neurale Convoluzionale, o CNN) usando un libro di esercizi gigante chiamato "Sign Language MNIST".
  • L'analogia: Immagina di insegnare a un bambino a riconoscere le lettere dell'alfabeto mostrandogli migliaia di disegni di mani. Dopo aver visto 27.000 esempi, il bambino (il computer) impara a dire: "Ah! Questa forma di mano significa la lettera 'A', quella la 'B'". Il computer ha fatto esattamente questo, imparando 24 lettere (dalla A alla Y, saltando J e Z).

3. La Voce: Dal Gesto alla Parola

Una volta che il "cervello" ha capito che la mano sta facendo la lettera "A", non si limita a mostrarla sullo schermo. Usa un altro strumento (chiamato text-to-speech) che funziona come un robot parlante.

• Il computer legge la lettera "A" ad alta voce.
• Risultato: Una persona non vedente sente la voce dire "A" e capisce cosa è stato comunicato.

4. Quanto è bravo?

Il sistema è diventato molto bravo. Su un test di prova, ha indovinato il gesto corretto nel 95,7% dei casi. È come se in una classe di 100 studenti, ne sbagliasse solo 4 o 5.

• Vantaggi: Funziona su un normale computer portatile con una webcam economica. Non servono guanti speciali costosi o telecamere da stadio. È accessibile a tutti.
• Svantaggi: A volte c'è un piccolo ritardo (latenza), come quando guardi un video su internet e la connessione è un po' lenta. Il sistema deve "pensare" un attimo prima di parlare.

5. Il Futuro: Verso una Conversazione Completa

Oggi il sistema traduce gesti statici (come fermarsi e fare una lettera). È come se potessimo tradurre solo le singole lettere di una parola, ma non ancora l'intera frase veloce.
Gli autori dicono che in futuro vorranno:

• Insegnare al sistema altre lingue dei segni (non solo quella americana).
• Farlo diventare più veloce per capire frasi intere e movimenti continui, non solo lettere ferme.

In Sintesi

Questo progetto è come costruire un ponte tra due mondi che non si vedono. Usa la tecnologia per trasformare un movimento silenzioso delle mani in una voce chiara, permettendo a chi non vede e a chi usa i segni di parlarsi liberamente. È un passo importante verso un mondo dove la comunicazione non ha barriere.

Sommario tecnico

Titolo: Trascrizione in Tempo Reale dei Gestualità della Lingua dei Segni in Parlato tramite Deep Learning

1. Problema Identificato

Il progetto affronta le barriere comunicative significative che ostacolano l'interazione tra la comunità sorda (che utilizza la lingua dei segni) e le persone con disabilità visive o coloro che non conoscono la lingua dei segni. Sebbene la lingua dei segni sia il metodo primario di comunicazione per oltre 70 milioni di persone sorde, essa è intrinsecamente visiva e quindi inaccessibile per i non vedenti.
Le sfide principali identificate includono:

• Riconoscimento Dinamico: La difficoltà di classificare i gesti in tempo reale da un flusso video continuo, sensibile a variazioni di illuminazione, sfondi complessi e orientamento della mano.
• Robustezza: La necessità di gestire la variabilità nelle dimensioni delle mani, nei toni della pelle e nello stile dei gesti tra diversi utenti.
• Accessibilità e Costo: Le soluzioni esistenti spesso dipendono da hardware costoso (guanti specializzati, setup multi-camera), rendendole poco pratiche per l'uso quotidiano in contesti a risorse limitate.

L'obiettivo è colmare questo divario sviluppando un sistema assistivo a basso costo che traduca i gesti statici della lingua dei segni americani (ASL) in testo e parlato, utilizzando solo hardware standard (webcam e laptop).

2. Metodologia

Il progetto è stato implementato in due fasi principali: sviluppo del modello e integrazione dell'applicazione in tempo reale.

• Dataset: È stato utilizzato il dataset Sign Language MNIST (disponibile su Kaggle), contenente circa 27.000 immagini di addestramento e 7.000 di test. Le immagini sono in scala di grigi (28x28 pixel) e rappresentano 24 lettere dell'alfabeto ASL (da A a Y, escludendo J e Z).
• Architettura del Modello (CNN):
  • È stato sviluppato un Convolutional Neural Network (CNN) utilizzando TensorFlow e Keras.
  • Struttura: Il modello include tre blocchi convoluzionali con 32, 64 e 128 filtri rispettivamente, ciascuno seguito da un layer di MaxPooling2D (2x2) per il downsampling.
  • Regolarizzazione: Per prevenire l'overfitting, sono stati inseriti layer Dropout (con tasso 0.5) e un layer Flatten prima dei layer completamente connessi (Dense).
  • Output: Un layer finale Dense con 24 unità e funzione di attivazione Softmax per la classificazione multiclasse.
  • Addestramento: Utilizzo dell'ottimizzatore Adam, funzione di perdita Sparse Categorical Crossentropy, e un meccanismo di Early Stopping (patience=5) per fermare l'addestramento quando la perdita di validazione non migliora. Il batch size era di 64 e l'addestramento è durato fino a 30 epoche.
• Pipeline di Applicazione in Tempo Reale:
  • Acquisizione: Utilizzo di OpenCV per catturare il flusso video dalla webcam.
  • Rilevamento: Integrazione di MediaPipe Hands per il rilevamento delle mani e il tracciamento dei landmark, permettendo l'estrazione della regione di interesse (bounding box) con un padding di 20 pixel.
  • Preprocessing: Le immagini estratte vengono convertite in scala di grigi, ridimensionate a 28x28, normalizzate (dividendo per 255) e ridimensionate per corrispondere all'input del modello CNN.
  • Sintesi Vocale: Le previsioni del modello (lettera con probabilità > 0.8) vengono convertite in audio tramite la libreria pyttsx3 (sintesi vocale offline in Python).

3. Contributi Chiave

• Soluzione Low-Cost e Portatile: A differenza delle soluzioni basate su sensori indossabili o hardware specializzato, questo sistema funziona su computer standard con una semplice webcam.
• Pipeline End-to-End: Integrazione completa che va dalla cattura video, al rilevamento della mano, alla classificazione CNN, fino alla sintesi vocale, tutto in tempo reale.
• Accessibilità per Non Vedenti: Fornisce un feedback uditivo immediato, permettendo a persone con disabilità visiva di "ascoltare" ciò che viene comunicato tramite la lingua dei segni.
• Robustezza dell'Architettura: L'uso di dropout e la regolarizzazione ha permesso di ottenere un modello che generalizza bene senza overfitting eccessivo, nonostante la semplicità relativa dell'architettura CNN.

4. Risultati

• Prestazioni del Modello:
  • Accuratezza sul Test: Il modello ha raggiunto un'accuratezza del 95,72% con una perdita (loss) di 0,2106.
  • Metriche: Precisione media macro: 0,96; Recall media macro: 0,95; F1-Score: 0,95.
  • Parametri: Il modello possiede 394.008 parametri addestrabili, un numero bilanciato che garantisce capacità di apprendimento senza eccessiva complessità computazionale.
• Prestazioni in Tempo Reale:
  • Il sistema ha dimostrato di funzionare in tempo reale, identificando i gesti con alta confidenza e fornendo feedback audio affidabile.
  • Limitazioni: È stata osservata una certa latenza, attribuibile principalmente alla frequenza di rilevamento delle mani di MediaPipe, che potrebbe essere ottimizzata in futuri lavori.
• Analisi delle Curve: Le curve di addestramento e validazione mostrano una convergenza rapida (accuratezza di validazione >95% entro la 3ª epoca) e una stabilità successiva, confermando l'efficacia del meccanismo di Early Stopping.

5. Significato e Impatto

Questo progetto rappresenta un passo significativo verso soluzioni di IA inclusive. Dimostrando che è possibile tradurre la lingua dei segni in parlato utilizzando hardware consumer e deep learning, il sistema:

• Promuove l'equità sociale riducendo le barriere comunicative tra comunità sorde e non vedenti.
• Offre un modello replicabile e a basso costo per paesi o contesti con risorse limitate.
• Fonda le basi per futuri sviluppi, come il riconoscimento di frasi dinamiche e continue (attualmente il sistema gestisce solo gesti statici) e l'espansione ad altre lingue dei segni (es. JSL, ISL).

In sintesi, il lavoro valida l'efficacia delle CNN combinate con la visione artificiale e la sintesi vocale per creare strumenti assistivi pratici, accessibili e capaci di migliorare l'autonomia degli utenti con disabilità.