🤖 AI

Deep Learning-Based Sign Language Recognition from Videos and Cross-Lingual Translation to Indian Vernaculars

Questo articolo presenta una pipeline di deep learning a due stadi che utilizza un transformer VideoMAE perfezionato per riconoscere gesti isolati della lingua dei segni indiana da video e traduce le etichette inglesi risultanti in hindi, telugu e bengalese utilizzando il modello NLLB-200, fornendo al contempo una demo Streamlit e analizzando i limiti delle prestazioni su un dataset di piccola scala.

Autori originali: Chandranath Adak, Ramesh Nandipalli

Pubblicato 2026-06-23

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Chandranath Adak, Ramesh Nandipalli

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un computer a comprendere un linguaggio segreto parlato con le mani e il volto invece che con le parole. Questo è essenzialmente ciò che fa questo articolo, ma con una sfumatura specifica: aiuta a tradurre la Lingua dei Segni Indiana (ISL) in tre importanti lingue parlate indiane (hindi, telugu e bengalese) usando l'inglese come intermediario.

Ecco una semplice scomposizione di come hanno costruito questo sistema, utilizzando analogie quotidiane.

Il quadro generale: Una staffetta a due fasi

I ricercatori non hanno cercato di insegnare al computer di passare direttamente dai "Segni delle Mani" alle "Parole in Hindi". Sarebbe come cercare di insegnare a un cane a parlare francese direttamente. Invece, hanno impostato una staffetta a due fasi:

Fase 1 (Il Traduttore): Una telecamera riprende una persona che fa i segni. Un'IA intelligente (chiamata VideoMAE) osserva il video e dice: "Ah, quel segno significa la parola inglese 'Happy' (Felice)".
Fase 2 (L'Interprete): Una volta che l'IA conosce la parola "Happy", la passa a una seconda IA (chiamata NLLB). Questa seconda IA agisce come un traduttore poliglotta, trasformando istantaneamente la parola inglese "Happy" in "Khush" (Hindi), "Santosham" (Telugu) e "Sukhi" (Bengalese).

Gli Ingredienti: Ciò che hanno usato

L'Insegnante (VideoMAE): Immaginate questo come uno studente che ha già guardato milioni di ore di video generici (come film e sport) e ha imparato a riconoscere le azioni. I ricercatori hanno preso questo "super-studente" e gli hanno dato un corso intensivo specifico sui video in lingua dei segni.
Il Libro di Testo (Il Dataset): Non avevano un'intera biblioteca di video in lingua dei segni con cui lavorare a causa dei limiti di archiviazione del computer. Inveve, hanno utilizzato una piccola "guida allo studio" curata dell'IIT Madras. Conteneva video di soli 13 segni specifici (come "forte", "silenzioso", "cappello", "vestito", "sordo", "cieco").
Il Test: Hanno diviso questa piccola guida allo studio in un "test di pratica" (addestramento) e un "esame finale" (validazione).

Come si è comportato: La pagella

I risultati sono stati un misto di "A-plus" e "necessità di miglioramento", il che è comune quando si impara una nuova abilità con una pratica limitata.

La Sessione di Pratica (Addestramento): L'IA ha studiato i 13 segni e ha ottenuto un'accuratezza del 99%. Era come uno studente che aveva imparato a memoria le flashcard perfettamente.
L'Esame Finale (Validazione): Quando testata su nuovi video mai visti prima, l'accuratezza è scesa al 78%. Questo è comunque un punteggio solido, ma mostra che l'IA era stata un po' troppo concentrata sul memorizzare le schede di pratica piuttosto che nel comprendere veramente il concetto.

Dove l'IA si è bloccata (I glitch):
L'articolo evidenzia due tipi specifici di confusione, come uno studente che confonde parole simili:

L'equivoco dell' "Abbigliamento": L'IA a volte confondeva i segni degli articoli di abbigliamento. Ad esempio, poteva scambiare un segno per un "Cappello" con uno per un "Vestito" o una "Camicia" con un "Completo". Questo ha senso perché questi segni coinvolgono spesso movimenti delle mani simili vicino alla testa o al busto.
L'equivoco dei "Sentimenti": L'IA ha avuto difficoltà con concetti astratti come "Bello", "Brutto", "Sordo" e "Cieco". Spesso li ha confusi l'uno con l'altro o con la parola "Triste". I ricercatori sospettano che ciò sia dovuto al fatto che questi segni si affidano molto alle espressioni facciali, e l'IA non aveva abbastanza esempi per apprendere le sottili differenze.

La Demo: Uno strumento facile da usare

Il team non si è fermato alla matematica; ha costruito un'app Streamlit (un'interfaccia web semplice).

Come funziona: Un utente carica un breve video di qualcuno che fa i segni.
Cosa succede: L'app estrae 16 fotogrammi (come scattare 16 rapidi istantanee), li passa attraverso l'IA e mostra il risultato.
L'Output: Mostra la parola inglese (ad esempio, "Happy") e la traduce immediatamente in elenco in caratteri Hindi, Telugu e Bengalese.

Le Limitazioni: Ciò che questo sistema non può ancora fare

Gli autori sono molto onesti riguardo ai confini del loro lavoro. Questo non è una bacchetta magica che può tradurre una conversazione intera.

Una parola alla volta: Il sistema comprende solo parole isolate (come "Cappello"). Non può comprendere una frase completa come "Indosso un cappello". È come un dizionario che conosce le parole ma non la grammatica.
Vocabolario piccolo: Conosce solo 13 parole specifiche. Se fate un segno diverso, non saprà cosa fare.
Niente velocità in tempo reale: È progettato per elaborare video caricati, non per guardare un segnante dal vivo e tradurre istantaneamente in tempo reale.
Problemi di contesto: Poiché traduce singole parole, può confondersi. Ad esempio, la parola "Suit" (Completo/Vestire bene) potrebbe significare un capo d'abbigliamento o l'azione di "andare bene a qualcuno". Senza una frase completa, il computer deve indovinare.

Il Punto Fondamentale

Questo articolo è una prova di concetto. Dimostra che è possibile prendere un potente video AI, insegnargli alcune parole in lingua dei segni e collegarlo a un'IA di traduzione per colmare il divario tra la lingua dei segni e le lingue regionali indiane. Sebbene non sia ancora pronto per sostituire un interprete umano in un tribunale o in un ospedale, è un prototipo funzionante che mostra la strada da seguire per rendere la tecnologia più accessibile alla comunità sorda e ipoudente in India.

Sintesi Tecnica: Riconoscimento della Lingua dei Segni basato sul Deep Learning da Video e Traduzione Cross-Linguale verso i Vernacoli Indiani

Definizione del Problema
La lingua dei segni funge da modalità di comunicazione primaria per la comunità globale di sordi e ipoudenti, tuttavia i sistemi automatizzati capaci di riconoscere i gesti dei segni dai video e di tradurli in linguaggio naturale rimangono limitati, in particolare per le lingue indiane a basse risorse. Le soluzioni esistenti spesso si affidano alla classificazione di immagini statiche o gestiscono solo vocabolari ristretti, fallendo nel catturare la natura temporale e corporea del segno. Inoltre, la scarsità di corpora paralleli che collegano direttamente la Lingua dei Segni Indiana (ISL) alle lingue regionali (come l'hindi, il telugu e il bengalese) ostacola lo sviluppo di sistemi di traduzione end-to-end. Questo lavoro affronta due sottoproblemi accoppiati: (1) la predizione dell'etichetta della parola inglese da un breve clip video ISL, e (2) la traduzione di tale etichetta inglese in hindi, telugu e bengalese.

Metodologia
Gli autori propongono una pipeline di deep learning a due stadi progettata per aggirare la mancanza di dati diretti segno-lingua regionale utilizzando l'inglese come lingua pivot ad alte risorse.

Classificazione Video-in-Inglese:
- Architettura: Il sistema utilizza un transformer VideoMAE (Masked Autoencoder for Video) finetuned, specificamente il checkpoint MCG-NJU/videomae-base da Hugging Face.
- Elaborazione dell'Input: I video in input vengono decodificati e vengono campionati 16 frame in modo uniforme. Questi frame sono ridimensionati a 224×224 e normalizzati utilizzando le statistiche di ImageNet.
- Addestramento: Il modello è finetuned su un sottoinsieme di 13 classi del corpus AI4Bharat Indian Sign Language (rilasciato da IIT Madras). Il dataset consiste in circa 197 clip che coprono aggettivi (es. loud, quiet, happy, sad, beautiful, ugly, deaf, blind) e sostantivi relativi all'abbigliamento (es. hat, dress, suit, skirt, shirt).
- Configurazione: Il capo di classificazione è sostituito con uno strato lineare a 13 unità. L'addestramento impiega l'ottimizzatore AdamW (learning rate $1 \times 10^{-5}$ ), perdita cross-entropy, precisione mista (FP16) e una dimensione del batch di 2 per 15 epoche. Il set di addestramento è diviso in 8/20 (stratificato) dai clip disponibili.
Traduzione Inglese-in-Regionale:
- Architettura: L'etichetta inglese predetta viene passata al modello multilingue NLLB-200 di Meta AI (No Language Left Behind) (facebook/nllb-200-distilled-600M).
- Processo: Il modello traduce la parola inglese isolata indipendentemente in tre lingue target: hindi (hin_Deva), telugu (tel_Telu) e bengalese (ben_Beng). La traduzione viene eseguita forzando il token di inizio sequenza del decoder al codice specifico della lingua target.
Sistema di Inferenza:
- La pipeline è confezionata in un'applicazione interattiva Streamlit. Gli utenti caricano file video e il sistema restituisce l'etichetta inglese predetta insieme alle sue traduzioni nei tre vernacoli.

Risultati Chiave
Valutato su un set di validazione di 40 clip (il 20% dei 197 totali), il sistema ha ottenuto i seguenti risultati:

Accuratezza: Il modello ha raggiunto un'accuratezza di addestramento del 99,4% e un'accuratezza di validazione del 77,5% dopo 15 epoche.
Performance per Classe:
- Alte Performance: Classi come loud, quiet, happy, Suit e Skirt hanno ottenuto un richiamo perfetto (100%).
- Performance Moderate: Hat, Dress e Shirt hanno ottenuto un richiamo del 75%.
- Modalità di Fallimento: Il modello ha fallito completamente (0% di richiamo) su Beautiful, Deaf e Blind, e ha performato a livelli casuali su Ugly.
Analisi degli Errori: La confusione è avvenuta principalmente in due cluster:
1. Visivo/Posturale: Articoli di abbigliamento (Hat, Dress, Shirt, Suit) sono stati confusi a causa delle sovrapposizioni del posizionamento delle mani vicino al torso e alla testa.
2. Semantico/Affettivo: Beautiful, Ugly, Deaf e Blind sono stati mutuamente confusi, probabilmente a causa delle espressioni facciali e dei segnali manuali sovrapposti, esacerbati da dimensioni del campione estremamente ridotte (1–2 clip di validazione per classe).
Overfitting: Il significativo divario tra l'accuratezza di addestramento (>99%) e quella di validazione (~78%) indica overfitting, attribuito alle dimensioni ridotte del dataset e alla limitata diversità intra-classe.

Significatività e Ambito
Il documento posiziona questo lavoro come uno studio di fattibilità iniziale su piccola scala, piuttosto che come un sistema pronto per la produzione. I suoi principali contributi sono:

Dimostrazione di una Pipeline a Due Stadi: Validare che un encoder VideoMAE pre-addestrato, quando finetuned su un piccolo sottoinsieme di ISL, possa classificare efficacemente gesti isolati, e che un approccio pivot sull'inglese utilizzando NLLB-200 possa colmare il divario verso le lingue indiane a basse risorse senza richiedere corpora diretti segno-lingua regionale.
Identificazione delle Limitazioni: Lo studio evidenzia esplicitamente le sfide della classificazione di parole isolate, la sensibilità allo stile del segnante e alle condizioni di registrazione, nonché l'ambiguità inerente alla traduzione di singole parole senza contesto a livello di frase (es. distinguere "suit" come abbigliamento vs un verbo).
Riproducibilità: Gli autori hanno rilasciato il codice per il caricamento dei dati, il fine-tuning del modello e la demo di inferenza Streamlit per supportare l'estensione della comunità.

Direzioni Future
Gli autori delineano percorsi specifici per il lavoro futuro, inclusi l'aumento della scala verso l'intero vocabolario AI4Bharat, la transizione dalla classificazione di parole isolate alla traduzione continua della lingua dei segni (generazione di frasi complete), l'espansione verso ulteriori lingue indiane supportate da NLLB e l'ottimizzazione della latenza del modello per l'implementazione su edge/mobile.