Open Sign Bibles (OSB): An Open-Access Multilingual Sign Language Bibles Dataset

Il linguaggio è lo strumento primario che gli esseri umani usano per condividere pensieri, raccontare storie e tramandare la storia. Per la maggior parte del mondo, ciò avviene attraverso il suono e la parola parlata. Ma per milioni di persone sorde, il linguaggio è visivo, formato dal movimento delle mani, dall'espressione del volto e dalla posizione del corpo. Queste sono le lingue dei segni, sistemi distinti e complessi con la propria grammatica e cultura. Eppure, nell'era digitale, queste lingue sono state lasciate indietro. Mentre i computer possono facilmente cercare attraverso il testo scritto o comprendere le parole parlate, essi faticano a "leggere" la lingua dei segni. La tecnologia necessaria per trovare un segno specifico all'interno di un lungo video, o per collegare un segno a una frase scritta, è stata difficile da costruire perché semplicemente non c'erano abbastanza dati. La maggior parte delle collezioni esistenti di video in lingua dei segni è troppo piccola, chiusa dietro paywall o limitata dal copyright, lasciando i ricercatori senza la materia prima necessaria per insegnare alle macchine come comprendere il mondo visivo dei segnanti.

Un team di ricercatori ha ora rilasciato una nuova e massiccia risorsa progettata per cambiare le cose: il dataset Open Sign Bibles. Questa collezione riunisce oltre 700 ore di video della Bibbia tradotti professionalmente in 20 diverse lingue dei segni. A differenza dei precedenti dataset che erano dispersi su internet o richiedevano permessi speciali per l'uso, l'intera libreria è liberamente disponibile per chiunque voglia scaricarla e studiarla. Il progetto collega questi video al testo della Bibbia in più di 800 lingue parlate, creando un ponte tra il visivo e lo scritto. Accoppiando, ad esempio, un video di un segnante in lingua dei segni americana con la stessa storia scritta in inglese, spagnolo o hindi, i ricercatori hanno creato uno strumento potente per addestrare i computer a comprendere la relazione tra un segno e il suo significato.

Il dataset è costruito da due fonti principali. La prima proviene dalla Digital Bible Library, che ha fornito migliaia di video con segnanti di vari contesti, spesso accompagnati da grafiche o testo sullo schermo. La seconda fonte è un insieme di registrazioni grezze da studio in India, che mostrano un singolo segnante su uno sfondo neutro. In totale, la collezione include più di 8.000 singoli clip video. Per rendere questi dati utili ai computer, il team non si è limitato a caricare i video online; li ha organizzati con cura. Ha collegato ogni video a versetti specifici della Bibbia, permettendo a un computer di sapere esattamente quale storia viene raccontata. Per una parte più piccola dei video, sono andati ancora oltre, marcando manualmente i momenti esatti in cui compaiono segni specifici, come "Dio" o "giorno", sullo schermo. Questo livello di dettaglio trasforma un semplice archivio video in uno strumento di apprendimento strutturato.

I ricercatori hanno utilizzato questo nuovo dataset per testare quanto bene la tecnologia attuale potesse trovare segni specifici all'interno di questi lunghi video, un compito noto come "sign spotting" (individuazione del segno). Hanno provato due approcci diversi. Il primo metodo si basava sulla misurazione della distanza fisica tra le mani e il corpo del segnante nel video, confrontandola con esempi noti. Questo approccio non ha funzionato bene; il computer si confondeva con il flusso continuo di movimento e non riusciva a individuare in modo affidabile i singoli segni. Il secondo metodo ha utilizzato un sistema più avanzato che ha imparato a comprendere il significato dietro i movimenti, in modo simile a come un essere umano riconosce un concetto piuttosto che solo una forma. Questo approccio ha mostrato buone potenzialità. Ha identificato con successo determinati segni, come "giorno" o "persone", con un alto grado di precisione. Tuttavia, il sistema ha ancora incontrato difficoltà con altri. A volte ha confuso segni che appaiono simili, come "uomo" e "dio", anche quando significano cose molto diverse. Ha inoltre fallito nel riconoscere segni eseguiti in modo diverso rispetto agli esempi visti, come un segnante mancino o un segno usato in un contesto culturale specifico che differiva dalla definizione standard del dizionario.

I risultati evidenziano sia il potenziale che gli attuali limiti di questa tecnologia. Il sistema ha funzionato meglio quando il video analizzato somigliava molto agli esempi su cui era stato addestrato. Quando il segnante si muoveva velocemente, usava una mano diversa o eseguiva un segno con un significato unico, il computer spesso sbagliava il bersaglio. I ricercatori hanno scoperto che, sebbene la tecnologia possa individuare in modo affidabile alcuni segni comuni, non è ancora pronta a comprendere la piena complessità di una conversazione continua. Il dataset stesso, tuttavia, è un passo avanti significativo. Fornendo una vasta collezione di video in lingua dei segni multilingue, aperta e legalmente chiara, i ricercatori hanno dato alla comunità scientifica una solida base su cui costruire. Hanno dimostrato che, con i dati giusti, i computer possono iniziare a imparare il linguaggio visivo dei sordi, ma hanno anche chiarito che è necessario molto altro lavoro per gestire le sfumature dell'espressione umana. La strada da percorrere prevede la raccolta di esempi più diversificati e il perfezionamento degli strumenti per comprendere meglio le sottili differenze tra segni che si somigliano ma hanno significati diversi.