🤖 AI

Dynamic LIBRAS Gesture Recognition via CNN over Spatiotemporal Matrix Representation

Questo articolo propone un sistema di riconoscimento in tempo reale dei gesti della LIBRAS per il controllo della domotica, basato sulla combinazione di MediaPipe per l'estrazione dei punti chiave della mano e di una rete neurale convoluzionale (CNN) che classifica una rappresentazione matriciale spaziotemporale, raggiungendo un'accuratezza del 95% in condizioni di scarsa illuminazione senza l'uso di reti ricorrenti.

Autori originali: Jasmine Moreira

Pubblicato 2026-03-30

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jasmine Moreira

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler comandare la luce, le tende o l'aria condizionata della tua casa semplicemente muovendo le mani, come se stessi parlando un linguaggio segreto. Questo è esattamente ciò che il paper propone: un sistema che "legge" i gesti della LIBRAS (la Lingua dei Segni Brasiliana) per controllare dispositivi domestici.

Ecco come funziona, spiegato con delle analogie quotidiane:

1. Il "Traduttore" Invisibile (MediaPipe)

Prima di tutto, il computer deve capire dove sono le tue dita. Immagina di avere un magico occhio invisibile (chiamato MediaPipe) che guarda la tua mano e disegna un'immagine scheletrica fatta di 21 punti chiave (punta delle dita, nocche, pollice, ecc.).

L'analogia: È come se il computer mettesse un guanto digitale sulla tua mano reale, ignorando il colore della pelle o la luce della stanza, e si concentrasse solo sulla "forma" delle ossa.

2. Il "Quaderno dei Disegni" (La Matrice Spaziotemporale)

Il problema dei gesti dinamici (come fare la lettera "J" che richiede un movimento) è che sono veloci e cambiano nel tempo. Come si insegna a un computer a capire un movimento?
Jasmine ha avuto un'idea geniale: invece di mostrare al computer un video, ha trasformato il movimento in un quadro unico.

L'analogia: Immagina di prendere 30 fotogrammi di un gesto e impilarli uno sopra l'altro, trasformandoli in una lunga striscia di carta. Su questa striscia, ogni riga rappresenta un istante di tempo e ogni colonna rappresenta un punto della mano.
Il risultato è una mappa di calore (una matrice 90x21). Se fai un gesto fermo, la mappa sembra una linea dritta e uniforme. Se fai un gesto dinamico (come aprire e chiudere la mano), la mappa sembra un disegno ondulato e complesso. Per il computer, questo disegno è come un'immagine da riconoscere, proprio come riconoscerebbe un gatto o un cane in una foto.

3. L'Intelligenza Artificiale "Piccola ma Potente" (CNN)

Una volta trasformato il gesto in un "disegno", entra in gioco un cervello artificiale (una Rete Neurale Convoluzionale o CNN).

L'analogia: Pensa a questa rete neurale come a un bambino molto attento che ha imparato a riconoscere i disegni. Non ha bisogno di essere un genio matematico (è molto leggera, con solo 25.000 "neuroni", il che la rende veloce anche su computer normali). Ha imparato a dire: "Ah, questo disegno ondulato significa 'accendi la luce', mentre quella linea dritta significa 'spegni tutto'".

4. Il Trucco del "Ripetitore" (Finestra Scorrevole)

C'era un problema: se il gesto è troppo veloce, il computer potrebbe coglierlo solo a metà e non capire nulla.
La soluzione è stata usare una finestra scorrevole con un trucco chiamato "triplicazione temporale".

L'analogia: Immagina di guardare un film al rallentatore. Quando il sistema vede un nuovo fotogramma, lo inserisce nel suo "buffer" (la memoria temporanea) tre volte. In pratica, il computer guarda il gesto un po' più a lungo, come se lo stesse rivedendo in slow-motion, per assicurarsi di non perdere nessun dettaglio. Questo permette di riconoscere i gesti in tempo reale senza bisogno di computer super-potenti o di memorie complesse.

5. I Risultati: Funziona davvero?

Hanno testato il sistema in due situazioni:

Luce normale: Ha funzionato correttamente nel 92% dei casi.
Luce scarsa (buio): Ha funzionato ancora meglio, nel 95% dei casi!
Il limite: Il sistema è stato addestrato con una sola persona. È come se avessimo insegnato a un bambino a riconoscere solo la mano della sua mamma. Funziona benissimo per lei, ma potrebbe confondersi se vedesse la mano di suo padre o di un bambino. Per renderlo perfetto per tutti, servirà insegnargli le mani di molte persone diverse.

In sintesi

Questo lavoro è come aver creato un telepatico per la casa. Prende i movimenti delle tue mani, li trasforma in un disegno astratto che il computer può "leggere" facilmente, e usa un trucco intelligente per non perdere i gesti veloci, tutto senza bisogno di costosi supercomputer. È un passo avanti verso case che rispondono semplicemente al nostro linguaggio naturale: le nostre mani.

Titolo

Riconoscimento dinamico dei gesti in LIBRAS tramite CNN su rappresentazione a matrice spazio-temporale.

1. Il Problema

Il riconoscimento automatico dei gesti della mano è fondamentale per le interfacce uomo-macchina basate sulla visione, con applicazioni che spaziano dal controllo dei dispositivi all'interpretazione della lingua dei segni. Tuttavia, il riconoscimento dei gesti dinamici (che implicano movimento nel tempo) rimane una sfida significativa a causa di:

Complessità anatomica: Variazioni nelle proporzioni delle mani, nelle articolazioni e nei tendini tra diversi individui.
Variabilità esecutiva: Differenze nel ritmo di esecuzione e nella posizione delle dita tra utenti esperti e principianti.
Limiti delle rappresentazioni grezze: L'uso diretto dei pixel delle immagini introduce dimensionalità elevate e sensibilità a fattori ambientali come l'illuminazione e il colore della pelle.
Complessità computazionale: Molte soluzioni esistenti per la gestione della sequenza temporale fanno affidamento su reti ricorrenti (RNN/LSTM) o macchine a stati finiti, che possono essere pesanti computazionalmente e difficili da implementare su hardware embedded.

L'obiettivo specifico di questo lavoro è il controllo di dispositivi per la domotica (es. luci, tende, aria condizionata) utilizzando la LIBRAS (Lingua dei Segni Brasiliana), gestendo sia gesti statici che dinamici in tempo reale.

2. Metodologia

L'approccio proposto si basa sulla composizione di due modelli principali:

A. Estrazione delle Caratteristiche (MediaPipe)

Viene utilizzato il modello pre-addestrato MediaPipe Hand Landmarker per rilevare e localizzare 21 punti chiave (landmark) delle articolazioni della mano in ogni fotogramma video.
I landmark forniscono coordinate $(x, y, z)$ , permettendo una localizzazione spaziale relativa o assoluta.
Questo passaggio astrae l'aspetto visivo, mantenendo solo la struttura geometrica rilevante, rendendo il sistema robusto rispetto a variazioni di illuminazione e colore della pelle.

B. Rappresentazione Spazio-Temporale (Matrice di Movimento)

Invece di elaborare sequenze di immagini o usare RNN, i dati vengono organizzati in una matrice spazio-temporale di dimensioni $90 \times 21$ .
- 21 colonne: Corrispondono ai 21 landmark della mano.
- 90 righe: Derivano dalla concatenazione verticale di 30 fotogrammi per ciascuno dei tre assi di coordinate ( $x$ , $y$ , $z$ ). Le righe 1-30 contengono i valori $x$ , 31-60 i valori $y$ , e 61-90 i valori $z$ .
Prima dell'inferenza, la matrice viene normalizzata (scaling min-max) nel range $[0, 255]$ e convertita in un'immagine in scala di grigi. Questo permette di trattare la sequenza temporale come un'immagine 2D, dove le variazioni temporali appaiono come pattern visivi.

C. Modello di Classificazione (CNN 2D)

Una Rete Neurale Convoluzionale (CNN) 2D viene addestrata per classificare i gesti direttamente dalla matrice di movimento.
Architettura:
- 3 strati convoluzionali (primo con 33 filtri, secondo e terzo con 64 filtri, kernel $3\times3$ ).
- Strati di MaxPooling ( $2\times2$ ).
- 2 strati densi (il primo con 64 neuroni).
- Funzione di attivazione ReLU (tranne l'ultimo strato con Softmax).
- Regularizzazione L1 per migliorare la stabilità.
Il modello è leggero, con circa 25.000 parametri, rendendolo adatto a hardware generici.

D. Strategia di Inferenza in Tempo Reale (Finestra Scorrevole)

Per gestire il flusso continuo senza RNN, viene utilizzata una strategia di finestra scorrevole con triplicazione temporale dei fotogrammi:

Ogni nuovo fotogramma catturato viene inserito nel buffer 3 volte ( $n=3$ ).
Una finestra di 30 voci nel buffer corrisponde quindi a circa 10 fotogrammi reali.
Quando il buffer raggiunge 30 voci, la matrice viene assemblata e passata alla CNN.
Le previsioni sono considerate valide solo se la confidenza supera il 98%.
Questo metodo permette di catturare gesti espressi più velocemente e fluidamente, riducendo il rischio di perdere la fine di un gesto dinamico.

3. Contributi Chiave

Rappresentazione Matriciale Spazio-Temporale: Un metodo innovativo per convertire sequenze di landmark 3D in un'immagine 2D ( $90\times21$ ) classificabile da una CNN standard, eliminando la necessità di modelli sequenziali complessi.
Inferenza Continua Senza RNN: L'uso della finestra scorrevole con triplicazione dei frame permette un riconoscimento in tempo reale robusto su hardware generico, mantenendo l'architettura semplice e leggera.
Validazione in Scenari Domotici: Il sistema è stato testato su 11 classi di gesti (statici e dinamici) della LIBRAS per il controllo di dispositivi (luci, tende, aria condizionata), dimostrando efficacia sia in condizioni di luce normale che scarsa.

4. Risultati

I test sono stati condotti su un PC con CPU Intel Core i7, 16 GB di RAM e una webcam Logitech Brio, senza GPU dedicata per l'inferenza.

Accuratezza:
- 95% in condizioni di bassa illuminazione (100/100 tentativi, 95 corretti).
- 92% in condizioni di luce normale (100/100 tentativi, 92 corretti).
Errori Principali: Il gesto "C" è stato spesso confuso con posizioni rilassate della mano (neutrali). In condizioni di luce normale, alcuni errori sono stati registrati anche per i gesti "White" e "C".
Confronto: I risultati sono comparabili con studi recenti che utilizzano approcci simili (es. Alves et al. con 93% su dataset MINDS-Libras) o reti ricorrenti, ma con un'architettura computazionalmente più efficiente.

5. Significato e Conclusioni

Il paper dimostra che è possibile realizzare un sistema di riconoscimento gestuale dinamico efficace ed efficiente senza ricorrere a reti ricorrenti (LSTM/RNN) o macchine a stati finiti complesse.

Efficienza: La trasformazione del problema temporale in un problema di classificazione di immagini 2D tramite matrici spazio-temporali riduce drasticamente la complessità computazionale, rendendo il sistema adatto per l'implementazione su dispositivi embedded a basso costo.
Robustezza: L'approccio si è dimostrato robusto anche in condizioni di scarsa illuminazione, grazie all'uso di landmark scheletrici invece di pixel grezzi.
Limitazioni e Lavori Futuri: I risultati attuali sono stati ottenuti con un singolo utente, il che favorisce l'accuratezza ma limita la valutazione della generalizzazione. Il lavoro futuro prevede l'espansione del dataset con più utenti, l'inclusione di variazioni di illuminazione come variabile di addestramento esplicita e la valutazione su hardware embedded a basso costo.

In sintesi, l'articolo propone un'architettura elegante e leggera che bilancia efficacemente accuratezza e prestazioni computazionali per l'interazione uomo-macchina basata sulla lingua dei segni.