A HamNoSys-Guided Dataset and Baselines for Fine-Grained Isolated Handshape Recognition in Sign Language
Questo articolo introduce un dataset su larga scala, basato su HamNoSys, composto da 144.000 immagini RGB provenienti da 15 partecipanti per 160 classi di forme delle mani ed stabilisce le prestazioni di base utilizzando vari modelli di deep learning e machine learning sotto protocolli di valutazione sia subject-dependent che leave-one-subject-out per far avanzare il riconoscimento della lingua dei segni a grana fine.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Le lingue dei segni sono lingue complete e complesse, con la propria grammatica e struttura, utilizzate da milioni di persone in tutto il mondo. Proprio come le lingue parlate sono costruite a partire dai suoni, le lingue dei segni sono costruite a partire dai movimenti fisici delle mani, del viso e del corpo. Uno dei componenti fondamentali più critici è la forma che la mano assume. Una leggera piega di un dito o una diversa posizione del pollice possono cambiare interamente il significato di un segno, proprio come il cambiamento di una singola lettera può trasformare una parola in un'altra. Affinché i computer possano comprendere o tradurre queste lingue, devono prima imparare a riconoscere queste specifiche forme delle mani con alta precisione. Tuttavia, creare un sistema informatico in grado di farlo è difficile perché le mani umane variano enormemente da persona a persona, e le differenze tra forme delle mani simili possono essere incredibilmente sottili.
I ricercatori cercano da tempo un modo per descrivere queste forme delle mani in un linguaggio universale che non appartenga a un solo paese o cultura. Uno di questi sistemi, noto come Sistema di Notazione di Amburgo, funge da mappa dettagliata per le configurazioni delle mani, scomponendole in parti specifiche come la selezione delle dita e la posizione del pollice. Sebbene questo sistema fornisca una definizione chiara di come dovrebbe apparire una forma della mano, c'è stata una mancanza di dati reali per insegnare ai computer come riconoscere queste forme quando eseguite da persone reali. Senza una vasta collezione di immagini reali che mostrino queste specifiche forme, i programmi informatici faticano a generalizzare, fallendo spesso quando incontrano una nuova persona o un angolo leggermente diverso.
Per colmare questa lacuna, un team di ricercatori ha creato un nuovo, enorme dataset progettato per insegnare ai computer come riconoscere 160 forme distinte delle mani. Non si sono affidati a immagini generate dal computer o a semplici disegni; al contrario, hanno registrato persone reali. Quindici volontari, tutti studenti universitari, sono stati invitati a formare ciascuna delle 160 forme specifiche delle mani definite dalla tabella ufficiale. I ricercatori hanno allestito un ambiente controllato con uno sfondo bianco uniforme e una telecamera ad alta definizione. Ogni partecipante teneva la mano nella forma richiesta e la ruotava lentamente, permettendo alla telecamera di catturare il movimento da diverse angolazioni. Questo processo ha generato 144.000 singole immagini a colori, creando una ricca libreria dove ogni singola immagine è etichettata con l'esatta forma della mano che rappresenta.
I ricercatori hanno poi testato quanto bene diversi modelli informatici potessero apprendere da questa nuova libreria. Hanno provato due approcci principali. Il primo approccio guardava alle immagini nel loro insieme, molto come farebbe un essere umano, concentrandosi sull'aspetto generale della mano, della tonalità della pelle e dell'illuminazione. Il secondo approccio ignorava completamente l'immagine e si concentrava solo sulle coordinate matematiche di ventuno punti specifici sulla mano, come le punte delle dita e le articolazioni. Hanno testato questi modelli in due modi diversi. Nel primo test, il computer gli veniva mostrata l'immagine di persone che aveva già visto durante l'addestramento, simulando uno scenario in cui il sistema conosce l'utente. Nel secondo, più difficile test, al computer venivano mostrate immagini di persone che non aveva mai incontrato prima, costringendolo a fare affidamento su ciò che ha imparato riguardo alle forme stesse piuttosto che sulla persona specifica che le esegue.
I risultati hanno rivelato una chiara distinzione tra conoscere una persona e conoscere una forma. Quando il computer è stato testato su persone che aveva già visto, ha performato molto bene, identificando correttamente la forma della mano in più dell'86 percento dei casi utilizzando il miglior modello basato sulle immagini. Tuttavia, quando il computer ha affrontato una nuova persona che non aveva mai incontrato, la sua precisione è scesa significativamente, cadendo a circa il 45 percento. Questo forte calo mostra che, sebbene i computer siano bravi a riconoscere schemi in volti familiari, hanno ancora difficoltà a separare la forma universale di un segno dal modo unico in cui un individuo specifico lo esegue. Lo studio ha anche scoperto che i modelli commettevano più errori con le forme delle mani che appaiono quasi identiche, differendo solo per un dettaglio minuscolo come la piega di un singolo dito o la posizione del pollice.
Questo lavoro fornisce una solida base per la tecnologia futura. Offrendo una vasta e bilanciata collezione di immagini reali e testando come i computer gestiscono i nuovi utenti, i ricercatori hanno creato uno strumento standard per il settore. Il dataset permette agli scienziati di costruire sistemi migliori che possano eventualmente aiutare a tradurre la lingua dei segni in testo o voce per coloro che non possono sentire, o aiutare le persone sorde a comunicare più facilmente con le persone udenti. Sebbene gli attuali modelli trovino ancora difficile riconoscere i segni da parte di estranei, la nuova risorsa offre ai ricercatori un percorso chiaro per migliorare questi sistemi, assicurando che la tecnologia futura possa comprendere la sottile, bellissima complessità delle mani umane.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.