Open Sign Bibles (OSB): An Open-Access Multilingual Sign Language Bibles Dataset

Sprache ist das primäre Werkzeug, mit dem Menschen Gedanken teilen, Geschichten erzählen und Geschichte weitergeben. Für den Großteil der Welt geschieht dies durch Klang und Sprache. Doch für Millionen von Menschen, die gehörlos sind, ist Sprache visuell; sie wird durch die Bewegung der Hände, den Gesichtsausdruck und die Position des Körpers geformt. Dies sind Gebärdensprachen – eigenständige und komplexe Systeme mit eigener Grammatik und Kultur. Doch im digitalen Zeitalter wurden diese Sprachen zurückgelassen. Während Computer problemlos geschriebenen Text durchsuchen oder gesprochene Wörter verstehen können, haben sie Schwierigkeiten, Gebärdensprache zu „lesen“. Die Technologie, die benötigt wird, um eine bestimmte Gebärde innerhalb eines langen Videos zu finden oder eine Gebärde mit einem geschriebenen Satz zu verknüpfen, war schwierig zu entwickeln, weil es schlichtweg nicht genug Daten gegeben hat. Die meisten existierenden Sammlungen von Gebärdensprachvideos sind entweder zu klein, hinter Paywalls verborgen oder durch Urheberrechte eingeschränkt, was Forscher ohne das Rohmaterial zurücklässt, das nötig wäre, um Maschinen beizubringen, die visuelle Welt der Gebärdenden zu verstehen.

Ein Team von Forschern hat nun eine massive neue Ressource veröffentlicht, die darauf abzielt, dies zu ändern: den Open Sign Bibles Datensatz. Diese Sammlung vereint über 700 Stunden professionell übersetzter Bibelvideos in 20 verschiedenen Gebärdensprachen. Im Gegensatz zu früheren Datensätzen, die über das Internet verstreut oder für die eine spezielle Genehmigung erforderlich waren, ist diese gesamte Bibliothek frei verfügbar zum Herunterladen und Studieren. Das Projekt verbindet diese Videos mit dem Text der Bibel in mehr als 800 gesprochenen Sprachen und schlägt so eine Brücke zwischen dem Visuellen und dem Geschriebenen. Indem die Forscher beispielsweise ein Video eines Gebärdenden in amerikanischer Gebärdensprache mit derselben Geschichte in englischer, spanischer oder Hindi-Sprache verknüpfen, haben sie ein leistungsfähiges Werkzeug geschaffen, um Computern beizubringen, die Beziehung zwischen einer Gebärde und ihrer Bedeutung zu verstehen.

Der Datensatz basiert auf zwei Hauptquellen. Die erste stammt aus der Digital Bible Library, die Tausende von Videos bereitstellte, in denen Gebärdende aus verschiedenen Hintergründen zu sehen sind, oft begleitet von Grafiken oder Text auf dem Bildschirm. Die zweite Quelle ist ein Satz von Rohstudioaufnahmen aus Indien, die einen einzelnen Gebärdenden vor einem neutralen Hintergrund zeigen. Insgesamt umfasst die Sammlung mehr als 8.000 einzelne Videoclips. Um diese Daten für Computer nutzbar zu machen, haben die Forscher die Videos nicht einfach nur online gestellt; sie haben sie sorgfältig organisiert. Sie verknüpften jedes Video mit spezifischen Bibelversen, sodass ein Computer genau weiß, welche Geschichte gerade erzählt wird. Für einen kleineren Teil der Videos gingen sie sogar noch weiter und markierten manuell die exakten Momente, in denen bestimmte Gebärden, wie etwa „Gott“ oder „Tag“, auf dem Bildschirm erscheinen. Diese Detailtiefe verwandelt ein einfaches Videoarchiv in ein strukturiertes Lernwerkzeug.

Die Forscher nutzten diesen neuen Datensatz, um zu testen, wie gut aktuelle Technologie in der Lage ist, spezifische Gebärden innerhalb dieser langen Videos zu finden – eine Aufgabe, die als „Sign Spotting“ (Gebärden-Aufspüren) bekannt ist. Sie probierten zwei verschiedene Ansätze aus. Die erste Methode stützte sich auf die Messung des physischen Abstands zwischen den Händen und dem Körper des Gebärdenden im Video und verglich diese mit bekannten Beispielen. Dieser Ansatz funktionierte nicht gut; der Computer wurde durch den kontinuierlichen Bewegungsfluss verwirrt und konnte einzelne Gebärden nicht zuverlässig herausgreifen. Die zweite Methode nutzte ein fortgeschritteneres System, das lernte, die Bedeutung hinter den Bewegungen zu verstehen, ähnlich wie ein Mensch ein Konzept erkennt und nicht nur eine Form. Dieser Ansatz zeigte vielversprechende Ergebnisse. Er identifizierte bestimmte Gebärden, wie „Tag“ oder „Menschen“, mit einem hohen Grad an Genauigkeit. Dennoch hatte das System mit anderen zu kämpfen. Es verwechselte gelegentlich Gebärden, die sich ähnlich sahen, wie „Mann“ und „Gott“, obwohl sie sehr unterschiedliche Bedeutungen hatten. Zudem scheiterte es an der Erkennung von Gebärden, die anders ausgeführt wurden als die gezeigten Beispiele, wie etwa bei einem Linkshänder oder einer Gebärde, die in einem spezifischen kulturellen Kontext verwendet wurde, der vom Standardwörterbuch abwich.

Die Ergebnisse verdeutlichen sowohl das Potenzial als auch die derzeitigen Grenzen dieser Technologie. Das System arbeitete am besten, wenn das analysierte Video den Beispielen, mit denen es trainiert wurde, sehr ähnlich sah. Wenn der Gebärdende sich schnell bewegte, eine andere Hand benutzte oder eine Gebärde mit einer einzigartigen Bedeutung ausführte, verfehlte der Computer oft das Ziel. Die Forscher stellten fest, dass die Technologie zwar in der Lage ist, einige häufige Gebärden zuverlässig zu entdecken, aber noch nicht bereit ist, die volle Komplexität eines kontinuierlichen Gesprächs zu erfassen. Der Datensatz selbst stellt jedoch einen bedeutenden Fortschritt dar. Indem die Forscher eine große, offene und rechtlich eindeutige Sammlung multilingualer Gebärdensprachvideos zur Verfügung stellen, haben sie der wissenschaftlichen Gemeinschaft ein solides Fundament zum Aufbau geschaffen. Sie haben gezeigt, dass Computer mit den richtigen Daten beginnen können, die visuelle Sprache der Gehörlosen zu lernen, machten aber auch deutlich, dass noch viel mehr Arbeit nötig ist, um die Nuancen menschlicher Ausdrucksformen zu erfassen. Der Weg nach vorn besteht darin, vielfältigere Beispiele zu sammeln und die Werkzeuge zu verfeinern, um die subtilen Unterschiede zwischen Gebärden besser zu verstehen, die zwar ähnlich aussehen, aber unterschiedliche Dinge bedeuten.