The First Character-Level Visual Speech Recognition for Bangla: Task, Protocol and Results

Stellen Sie sich vor, Sie versuchen zu verstehen, was jemand sagt, ohne ein einziges Wort zu hören. Sie beobachten die Lippen, wie sie sich bewegen, den Kiefer, wie er sich verschiebt, und die subtilen Formen, die der Mund annimmt, und versuchen aus diesen lautlosen Bewegungen die exakten Wörter zu rekonstruieren, die gesprochen wurden. Dies ist die Herausforderung der visuellen Spracherkennung, auch bekannt als Lippenlesen. Jahrzehntelang haben Forscher Computersysteme entwickelt, um dies zu tun, aber sie haben das Problem meist wie ein Multiple-Choice-Quiz angegangen. Dem Computer wird ein Video gezeigt und er wird gebeten, die richtige Antwort aus einer kurzen, vorgefertigten Liste von Möglichkeiten auszuwählen, wie etwa „Apfel“, „Banane“ oder „Stuhl“. Wenn die Person etwas sagt, das nicht auf dieser Liste steht, versagt das System. Es kann kein neues Wort erfinden oder einen Satz buchstabieren, den es noch nicht gesehen hat. Diese Einschränkung hat die Technologie daran gehindert, für die reale Kommunikation, in der Sprache flüssig und unvorhersehbar ist, wirklich nützlich zu sein.

Ein Team von Forschern an der Khulna University in Bangladesch hat nun einen anderen Weg eingeschlagen und geht dieses Problem für die Sprache Bangla an. Anstatt den Computer zu zwingen, aus einer festen Liste zu wählen, haben sie ihn gelehrt, die geschriebenen Zeichen dessen zu generieren, was gesprochen wurde, eines nach dem anderen, genau so, wie ein Mensch einen Satz von Grund auf neu schreiben würde. Dies ist eine viel schwierigere Aufgabe. Es erfordert, dass das System die Bausteine der Sprache versteht und sie zu einer kohärenten Zeichenfolge zusammensetzt, ohne das Sicherheitsnetz vorgegebener Antworten. Die Forscher haben diese Idee nicht nur vorgeschlagen, sie haben auch ein System gebaut, um sie zu testen, ein strenges Regelwerk erstellt, um zu messen, wie gut sie funktionierte, und die Ergebnisse veröffentlicht, um als Ausgangspunkt für zukünftige Arbeiten zu dienen. Ihre Erkenntnisse zeigen, dass die Aufgabe zwar erlernbar ist, das System aber immer noch viele Fehler macht und die Arbeit noch lange nicht abgeschlossen ist.

Die Forscher begannen damit, alles zu untersuchen, was bis zu diesem Zeitpunkt über das Lippenlesen im Bengalischen veröffentlicht worden war. Sie fanden heraus, dass jedes bestehende System wie das oben beschriebene Multiple-Choice-Quiz arbeitete. Ob der Computer nun ein einzelnes Wort, einen Vokal oder einen bestimmten Bereich des Gesichts identifizierte, er wählte immer eine Antwort aus einem geschlossenen Satz von Optionen aus. Keines dieser Systeme konnte eine Zeichenfolge generieren, die nicht bereits in ihrer Trainingsliste enthalten war. Die Autoren erkannten, dass sie die grundlegende Frage ändern mussten, um das Feld voranzubringen. Anstatt zu fragen „Welches Wort ist das?“, fragten sie: „Welche Zeichen bilden diese Äußerung?“ Dieser Wechsel ermöglicht es dem Computer, teilweise korrekt zu sein. Wenn ein System die ersten drei Buchstaben eines Wortes richtig errät, aber das letzte falsch macht, kann ein zeichenbasiertes System diesen Teilerfolg erkennen, während ein Multiple-Choice-System den gesamten Versuch einfach als Fehlschlag wertet.

Um diesen neuen Ansatz zu testen, nutzte das Team einen Datensatz namens LipBengal, der tausende Videoclips von Menschen enthält, die Bangla-Wörter sprechen. Sie teilten die Daten sorgfältig auf, sodass die Personen in den Testvideos völlig andere waren als die in den Trainingsvideos. Dies stellt sicher, dass das System lernt, Lippen im Allgemeinen zu lesen, und nicht nur die Gesichter spezifischer Sprecher auswendig lernt. Das von ihnen gebaute System betrachtet ein stummes Video eines Mundes, verarbeitet die Bewegung Bild für Bild und gibt eine Zeichenfolge aus bengalischen Schriftzeichen aus. Es verwendet keinen Ton und greift auch nicht auf ein vorgefertigtes Wörterbuch zurück, um das nächste Wort zu erraten. Es versucht schlichtweg, die visuelle Bewegung in Text zu transkribieren.

Die Ergebnisse dieses ersten Versuchs waren gemischt, wie die Autoren mit Bedacht betonten. Das System schaffte es, die gesamte Zeichenfolge bei etwa 22 Prozent der Testvideos exakt richtig zu erfassen. In den verbleibenden Fällen unterliefen Fehler. Bei der Messung der Gesamtzahl der Zeichenfehler lag das System um etwa 63 Prozent daneben, wenn einzelne Computercodes für jeden Buchstaben gezählt wurden, und um etwa 72 Prozent, wenn die visuellen Buchstaben-Gruppen so gezählt wurden, wie ein menschlicher Leser sie sehen würde. Um diese Zahlen in Perspektive zu setzen, merkten die Forscher an, dass ein Computerprogramm, das für jedes einzelne Video einfach das häufigste Wort aus der Liste raten würde, fast 100 Prozent der Zeit falsch läge. Das neue System ist deutlich besser als bloßes Raten und beweist damit, dass die Aufgabe aus den Daten erlernbar ist. Die hohe Fehlerrate zeigt jedoch auch, dass die Technologie noch in den Kinderschuhen steckt und noch einen weiten Weg vor sich hat, bevor sie in der Lage sein wird, Lippen in realen Situationen zuverlässig zu lesen.

Die Bedeutung dieses Berichts liegt nicht in der Perfektion der Ergebnisse, sondern in der Klarheit der Definition. Die Autoren haben eine spezifische Aufgabe, eine feste Art, den Erfolg zu messen, und ein Basisergebnis festgelegt, auf dem andere Forscher nun aufbauen können. Sie haben all ihre Daten, ihren Code und die spezifischen Vorhersagen ihres Systems der Öffentlichkeit zugänglich gemacht, sodass jeder die Zahlen überprüfen oder auf der Arbeit aufbauen kann. Indem sie das Problem als Generierung von Zeichen statt als Auswahl von Wörtern definiert haben, haben sie eine neue Tür für die visuelle Spracherkennung im Bengalischen geöffnet. Das von ihnen gebaute System ist kein fertiges Produkt, aber es ist das erste Mal, dass diese spezifische, schwierigere Frage für die Sprache gestellt und beantwortet wurde, was eine solide Grundlage für die nächste Generation von Forschern schafft, auf der sie aufbauen können.