Open Sign Bibles (OSB): An Open-Access Multilingual Sign Language Bibles Dataset

Le langage est le principal outil que les humains utilisent pour partager des pensées, raconter des histoires et transmettre l'histoire. Pour la majeure partie du monde, cela se fait par le son et la parole. Mais pour des millions de personnes sourdes, la langue est visuelle, formée par le mouvement des mains, l'expression du visage et la position du corps. Ce sont les langues des signes, des systèmes distincts et complexes dotés de leur propre grammaire et de leur propre culture. Pourtant, à l'ère numérique, ces langues ont été laissées pour compte. Alors que les ordinateurs peuvent facilement rechercher dans un texte écrit ou comprendre des paroles prononcées, ils peinent à « lire » la langue des signes. La technologie nécessaire pour trouver un signe spécifique au sein d'une longue vidéo, ou pour relier un signe à une phrase écrite, a été difficile à construire car il n'y avait tout simplement pas assez de données. La plupart des collections existantes de vidéos en langue des signes sont soit trop petites, soit verrouillées derrière des barrières de paiement, soit restreintes par des droits d'auteur, laissant les chercheurs sans la matière première nécessaire pour apprendre aux machines à comprendre le monde visuel des signeurs.

Une équipe de chercheurs a maintenant publié une nouvelle ressource massive conçue pour changer cela : le jeu de données Open Sign Bibles. Cette collection rassemble plus de 700 heures de vidéos de la Bible professionnellement traduites en 20 langues des signes différentes. Contrairement aux précédents ensembles de données qui étaient dispersés sur Internet ou nécessitaient une autorisation spéciale, toute cette bibliothèque est librement disponible pour que quiconque puisse la télécharger et l'étudier. Le projet relie ces vidéos au texte de la Bible dans plus de 800 langues parlées, créant ainsi un pont entre le visuel et l'écrit. En associant une vidéo d'un signeur en langue des signes américaine, par exemple, avec la même histoire écrite en anglais, en espagnol ou en hindi, les chercheurs ont créé un outil puissant pour entraîner les ordinateurs à comprendre la relation entre un signe et sa signification.

Le jeu de données est construit à partir de deux sources principales. La première provient de la Digital Bible Library, qui a fourni des milliers de vidéos présentant des signeurs de divers horizons, souvent accompagnées de graphiques ou de texte à l'écran. La seconde source est un ensemble d'enregistrements de studio bruts provenant d'Inde, montrant un signeur unique sur un fond uni. Au total, la collection comprend plus de 8 000 clips vidéo individuels. Pour rendre ces données utiles aux ordinateurs, l'équipe ne s'est pas contentée de jeter les vidéos en ligne ; elle les a soigneusement organisées. Ils ont lié chaque vidéo à des versets spécifiques de la Bible, permettant à un ordinateur de savoir exactement quelle histoire est racontée. Pour une plus petite partie des vidéos, ils sont allés encore plus loin, marquant manuellement les moments exacts où des signes spécifiques, comme « Dieu » ou « jour », apparaissent à l'écran. Ce niveau de détail transforme un simple archivage vidéo en un outil d'apprentissage structuré.

Les chercheurs ont utilisé ce nouveau jeu de données pour tester la capacité de la technologie actuelle à trouver des signes spécifiques au sein de ces longues vidéos, une tâche appelée « sign spotting » (repérage de signes). Ils ont essayé deux approches différentes. La première méthode reposait sur la mesure de la distance physique entre les mains du signeur et son corps dans la vidéo, en les comparant à des exemples connus. Cette approche n'a pas bien fonctionné ; l'ordinateur était confus par le flux continu de mouvement et ne pouvait pas identifier de manière fiable des signes individuels. La seconde méthode utilisait un système plus avancé qui apprenait à comprendre le sens derrière les mouvements, de manière similaire à la façon dont un humain reconnaît un concept plutôt qu'une simple forme. Cette approche s'est montrée prometteuse. Elle a identifié avec succès certains signes, tels que « jour » ou « peuple », avec un haut degré de précision. Cependant, le système a encore éprouvé des difficultés avec d'autres. Il a parfois confondu des signes qui se ressemblent, comme « homme » et « dieu », même lorsqu'ils signifient des choses très différentes. Il a également échoué à reconnaître des signes exécutés différemment des exemples qu'il avait vus, comme un signeur de la main gauche ou un signe utilisé dans un contexte culturel spécifique qui différait de la définition du dictionnaire standard.

Les résultats soulignent à la fois le potentiel et les limites actuelles de cette technologie. Le système fonctionnait mieux lorsque la vidéo qu'il analysait ressemblait beaucoup aux exemples sur lesquels il avait été entraîné. Lorsque le signeur bougeait rapidement, utilisait une autre main ou signait un mot avec une signification unique, l'ordinateur passait souvent à côté de la marque. Les chercheurs ont constaté que, si la technologie peut repérer de manière fiable quelques signes communs, elle n'est pas encore prête à comprendre toute la complexité d'une conversation continue. Le jeu de données lui-même est toutefois une étape importante. En fournissant une collection large, ouverte et juridiquement claire de vidéos multilingues en langue des signes, les chercheurs ont donné à la communauté scientifique une base solide sur laquelle construire. Ils ont montré qu'avec les bonnes données, les ordinateurs peuvent commencer à apprendre le langage visuel des sourds, mais ils ont également précisé qu'un travail bien plus important est nécessaire pour gérer les nuances de l'expression humaine. La voie à suivre implique de rassembler des exemples plus diversifiés et d'affiner les outils pour mieux comprendre les subtiles différences entre des signes qui se ressemblent mais qui signifient des choses différentes.