Bidirectional Deaf-Hearing Communication: a Modular Service- Oriented System Combining Multi-Purpose Artificial Intelligence and 3D Avatar Rendering

Seit Jahrhunderten besteht die grundlegende Barriere zwischen Gehörlosen und Hörenden in einem einfachen sensorischen Missverhältnis: Eine Gruppe kommuniziert durch die visuelle Sprache von Händen und Gesichtern, während die andere sich auf den Klang von Stimmen verlässt. Während die Technologie es längst ermöglicht hat, gesprochene Wörter für Gehörlose in Text zu übersetzen und Text in Sprache für Hörende, blieb die Überbrückung der Lücke in Echtzeitgesprächen hartnäckig schwierig. Die Herausforderung besteht nicht nur darin, eine Sprache in eine andere zu konvertieren, sondern darin, zwei völlig unterschiedliche Arten des Erlebens der Welt zu verwalten. Gehörlose nutzen Gebärdensprache, ein komplexes System, bei dem die Bedeutung durch die Form einer Hand, die Bewegung eines Arms, die Position des Körpers und den Ausdruck eines Gesichts getragen wird. Hörende hingegen sprechen in Lauten, die sich durch die Luft bewegen. Wenn eine gehörlose Person einen Satz gebärdet, muss ein Computer das Video beobachten, die spezifischen Bewegungen verstehen und sie in Wörter umwandeln. Wenn eine hörende Person spricht, muss ein Computer diese Wörter nehmen, sie in die korrekte Sequenz von Gebärden zerlegen und sie dann der gehörlosen Person zeigen. Beides instantan zu tun, ohne eine Verzögerung, die den Fluss des Gesprächs unterbricht, erfordert ein System, das sowohl unglaublich schnell als auch unglaublich intelligent ist.

Ein Forschungsteam in Portugal hat ein neues System entwickelt, das genau dieses Problem lösen soll, indem es eine digitale Brücke schafft, die es Gehörlosen und Hörenden ermöglicht, so natürlich wie möglich miteinander zu sprechen. Sie nennen ihre Schöpfung SLaDIS, eine modulare Plattform, die wie ein universeller Übersetzer für den zweiwegigen Dialog fungiert. Anstatt zu versuchen, alles in ein einziges, massives Programm zu pressen, haben die Forscher das System in drei verschiedene Teile zerlegt, die wie bei einem gut organisierten Staffellauf zusammenarbeiten. Der erste Teil beobachtet die Hände und das Gesicht der gehörlosen Person, der zweite Teil hört den Worten der hörenden Person zu und wandelt sie in Gebärden um, und der dritte Teil ist der Bildschirm, auf dem das Gespräch tatsächlich stattfindet. Indem sie diese Teile getrennt, aber dennoch verbunden halten, kann das System die Schwerstarbeit von Computer Vision und künstlicher Intelligenz bewältigen, ohne das Gespräch zu verlangsamen.

Die Reise beginnt, wenn eine gehörlose Person sprechen möchte. Sie gebärdet ihre Nachricht in eine Kamera eines Mobiltelefons oder Computers. Das System versucht nicht, jedes einzelne Pixel des Videos auswendig zu lernen, was zu langsam wäre und zu viele Daten erfordern würde. Stattdessen nutzt es ein spezialisiertes Werkzeug, um die Schlüsselpunkte am Körper der Person zu finden – die Gelenke der Finger, die Ellbogen, die Schultern und die Mundwinkel. Es verfolgt diese Punkte bei ihrer Bewegung und erstellt so eine vereinfachte Karte der Geste. Diese Karte wird dann in ein Deep-Learning-Modell eingespeist, eine Art künstlicher Intelligenz, die mit tausenden Beispielen der portugiesischen Gebärdensprache trainiert wurde. Das Modell betrachtet die Sequenz der Bewegungen und identifiziert die spezifischen Gebärden, wodurch die visuelle Bewegung in eine Liste von Wörtern umgewandelt wird. Da die Gebärdensprache oft kleine Verbindungswörter weglässt oder eine andere Satzstruktur als die gesprochene Sprache verwendet, übergibt das System diese Wortliste dann an ein großes Sprachmodell. Diese zweite Ebene der Intelligenz fungiert wie ein hilfreicher Editor, der die Wörter neu anordnet, notwendige Grammatik hinzufügt und den Satz glättet, damit er für die hörende Person vollkommen sinnvoll ist. Das Ergebnis ist ein klarer, natürlicher Satz, der für den hörenden Teilnehmer zum Lesen oder Hören auf dem Bildschirm erscheint.

Der Prozess funktioniert in umgekehrter Richtung, wenn die hörende Person antworten möchte. Sie tippt oder spricht ihre Nachricht, und das System übersetzt sie sofort in die spezifischen Gloss, oder Bausteine, der portugiesischen Gebärdensprache. Dies ist kein einfacher Wort-für-Wort-Austausch; das System versteht, dass die Gebärdensprache ihre eigenen Regeln für die Wortreihenfolge und Grammatik hat. Sobeder die Nachricht in die korrekte Sequenz von Gebärden umgewandelt wurde, bereitet das System sich darauf vor, sie dem gehörlosen Nutzer zu zeigen. Anstatt ein voraufgezeichnetes Video eines menschlichen Gebärdenden zu senden, was Zeit für den Download beanspruchen würde und möglicherweise nicht exakt zu den Worten passt, nutzt das System einen 3D- digitalen Avatar. Dieser Avatar ist ein virtueller Mensch, der innerhalb der Anwendung lebt. Das System ruft die spezifische Animation für jede Gebän aus einer Bibliothek ab und fügt sie zusammen, wodurch eine flüssige, kontinuierliche Performance entsteht. Der Avatar bewegt seine Hände, Arme und sein Gesicht, um einen echten Gebärdenden nachzuahmen, und zeigt die Nachricht direkt auf dem Bildschirm des gehörlosen Nutzers an.

Die Forscher testeten dieses System intensiv, um zu sehen, ob es mit der Geschwindigkeit eines echten Gesprächs mithalten kann. Sie fanden heraus, dass der Teil des Systems, der die Gebärden erkennt, hochgradig präzise war und 95,6 Prozent der getesteten Gebärden korrekt identifizierte. Wenn das System diese Gebärden in vollständige Sätze umwandelte, entsprach die Bedeutung mit einem hohen Grad an Ähnlichkeit der intendierten Botschaft und erreichte einen Wert von 0,81 auf einer Skala, bei der 1,0 eine perfekte Übereinstimmung darstellt. Die Geschwindigkeit des Systems war gleichermaßen beeindruckend. Die Zeit, die es benötigte, um eine Gebärde zu erkennen und in einen Satz umzuwandeln, betrug weniger als ein Zehntel einer Sekunde, und die Zeit, bis der Avatar nach der Nachricht einer hörenden Person mit der Bewegung begann, lag bei etwas über einer Sekunde. Diese Geschwindigkeiten sind schnell genug, um sich wie ein natürliches, fließendes Gespräch anzufühlen und nicht wie ein abgehackter Austausch von Nachrichten.

Um sicherzustellen, dass das System tatsächlich nützlich war, baten die Forscher Experten der Portugiesischen Vereinigung der Gehörlosen, um den Avatar zu bewerten. Zwei unabhängige Evaluatoren beobachteten den Avatar bei der Ausführung der Gebärden und bewerteten, wie gut sie die Nachricht verstehen konnten. Ein Experte verstand 90 Prozent der Gebärden, während der andere 78 Prozent verstand. Die Studie stellte fest, dass das Verständnis perfekt war, wenn die Animationsqualität hoch war, was darauf hindeutet, dass die Klarheit der Bewegung ebenso wichtig ist wie die Genauigkeit der Wörter. Das System erwies sich zudem als flexibel und konnte Gespräche in verschiedenen Umgebungen wie Einkaufen, Tourismus und Gesundheitswesen bewältigen, was zeigt, dass es sich an den vielfältigen Wortschatz des täglichen Lebens anpassen kann.

Die wahre Innovation dieser Arbeit liegt darin, wie die Teile ineinandergreifen. Indem die Forscher das System als eine Sammlung unabhängiger Dienste entwarfen, die miteinander kommunizieren, schufen sie eine Plattform, die wachsen kann. Wenn in der Zukunft bessere KI-Modelle entwickelt werden, können diese ausgetauscht werden, ohne das gesamte System neu aufbauen zu müssen. Wenn mehr Gebärden der Bibliothek hinzugefügt werden müssen, können diese aufgezeichnet und hinzugefügt werden, ohne den Übersetzungsprozess zu stören. Dieser Ansatz bedeutet, dass das System nicht nur ein einmaliges Experiment ist, sondern ein Fundament für ein Werkzeug, das sich entwickeln kann. Die Forscher räumen ein, dass der Wortschatz im Vergleich zum vollen Reichtum der Sprache noch begrenzt ist und dass die Übersetzung von Text zu Gebärde mit mehr Trainingsdaten noch flüssiger werden könnte. Die Ergebnisse zeigen jedoch, dass eine voll funktionsfähige, zweiwegige Brücke zwischen der Welt der Gehörlosen und der Hörenden nicht nur eine theoretische Möglichkeit, sondern eine funktionierende Realität ist, die mit der Geschwindigkeit und Zuverlässigkeit operiert, die für echte menschliche Verbindung erforderlich sind.