Cross-Lingual Transfer Learning and LLM-Assisted Gloss Generation for Low-Resource Tamil Voice and Text to Sign Language Pose Generation

Kommunikation ist ein grundlegendes menschliches Bedürfnis, doch für Millionen von Menschen, die gehörlos oder schwerhörig sind, bleibt die Brücke zwischen der gesprochenen Sprache und ihrer Muttersprache Gebärdensprache oft unterbrochen. Während Computer inzwischen bemerkenswert gut darin geworden sind, Text zu lesen oder Sprache zu verstehen, hat sich das Erlernen der flüssigen, kontinuierlichen Bewegungen der Gebärdensprache als schwierig erwiesen, insbesondere für Sprachen, denen es an riesigen digitalen Bibliotheken mit aufgezeichneten Beispielen mangelt. Diese Herausforderung ist besonders akut bei der Tamil Sign Language (Tamilische Gebärdensprache), die von einer großen Bevölkerung in Indien verwendet wird, aber nicht über die massiven, annotierten Datensätze verfügt, auf die Forscher normalerweise angewiesen sind, um künstliche Intelligenz zu trainieren. Ohne diese Ressourcen ist der Aufbau eines Systems, das einen gesprochenen Satz in eine Sequenz von Hand- und Körperbewegungen übersetzen kann, wie der Versuch, einem Schüler eine komplexe Fertigkeit beizubringen, ohne genügend Lehrbücher oder Übungspartner zur Verfügung zu haben.

Der Kern dieses Problems liegt in der Natur der Gebärdensprache selbst. Sie ist nicht bloß eine Abfolge statischer Handgesten, sondern ein dynamischer Fluss von Bewegungen, der Hände, Arme, Gesicht und Körper umfasst, die alle in einem bestimmten Rhythmus agieren. Um dies einem Computer beizubringen, benötigen Forscher normalerweise tausende Stunden Videomaterial, das Muttersprachler zeigt, die bestimmte Sätze ausführen. Wenn solche Daten knapp sind, wie es bei Tamil der Fall ist, versagen Standardmethoden. Die Lösung erfordert einen anderen Ansatz: einen, der Wissen aus anderen Bereichen entlehnt und es sorgfältig an die spezifischen Bedürfnisse einer ressourcenarmen Sprache anpasst. Hier setzt die Arbeit von Ramya Cauvery D und Dr. Josephine Usha L an und bietet einen neuen Weg, um eine Brücke zwischen gesprochenem Tamil und der visuellen Sprache der Gebärden zu schlagen.

Die Forscher setzten sich zum Ziel, das erste System zu entwickeln, das in der Lage ist, gesprochenes oder geschriebenes Tamil direkt in eine Sequenz von Körperposen umzuwandeln, die eine Gebärdensprachenperformance repräsentieren. Ihr Ziel war nicht nur die Übersetzung von Wörtern, sondern die Generierung der tatsächlichen physischen Bewegungen, die eine Person ausführen würde. Um dies zu erreichen, mussten sie zwei große Hürden überwinden: den Mangel an einem großen Datensatz der tamilischen Gebärdensprache und die Schwierigkeit, einem Computer beizubringen, natürlich zu agieren, ohne bei den begrenzten Daten, die ihnen zur Verfügung standen, stecken zu bleiben. Sie gingen diese Probleme an, indem sie das Problem in zwei distinkte Schritte unterteilte und eine kluge Strategie anwandten, Wissen aus einer völlig anderen Sprache zu entleihen.

Zuerst befasste sich das Team mit der Übersetzung von Wörtern in Gebärden. In der Linguistik der Gebärdensprache gibt es ein Konzept namens „Gloss“, das eine vereinfachte, symbolische Repräsentation einer Gebärde darstellt, ähnlich wie eine Wörterbuchdefinition ein Wort zusammenfasst. Anstatt zu versuchen, direkt von einem gesprochenen Satz zu einer komplexen 3D-Bewegung zu springen, nutzten die Forscher einen Zwischenschritt: die Konvertierung des tamilischen Satzes in diese symbolische Gloss-Sequenz. Um den Mangel an Daten zu bewältigen, setzten sie ein Large Language Model ein – eine Art künstlicher Intelligenz, die auf riesigen Textmengen trainiert wurde – und passten es speziell für diese Aufgabe an, indem sie eine Technik verwendeten, die es dem Modell ermöglicht, aus sehr wenigen Beispielen zu lernen, ohne das bereits Gelernte zu vergessen. Dieses Modell nahm den Eingabesatz und generierte die korrekte Sequenz von Glosses, was effektiv als linguistischer Übersetzer fungierte, der die Struktur der tamilischen Gebärden trotz begrenzter Trainingsdaten verstand.

Sobald das System die Gloss-Sequenz erhalten hatte, bestand die zweite Herausforderung darin, diese Symbole in tatsächliche Bewegung zu verwandeln. Hier wandten die Forscher eine Strategie an, die als Cross-Lingual Transfer Learning bekannt ist. Sie erkannten, dass die Wörter und die Grammatik der Deutschen Gebärdensprache und der Tamilischen Gebärdensprache zwar unterschiedlich sind, die Physik der menschlichen Bewegung jedoch universell ist. Eine Hand, die sich von der Brust zum Kopf bewegt, folgt denselben physikalischen Regeln, unabhängig von der Sprache, die gebärdet wird. Um dies zu nutzen, nahmen sie ein leistungsstarkes Computermodell, das bereits an tausenden Stunden deutscher Gebärdensprachvideos trainiert worden war. Dieses Modell hatte die allgemeinen Muster gelernt, wie sich menschliche Körper beim Gebärden bewegen. Die Forscher nahmen dieses vortrainierte Modell und verfeinerten es (Fine-Tuning) mithilfe ihres eigenen kleinen, maßgeschneiderten Datensatzes aus tamilischen Gebärdensprachvideos. Dies ermöglichte es dem System, mit einem starken Verständnis der menschlichen Bewegung zu beginnen und sein Wissen lediglich an den spezifischen Stil und Rhythmus der tamilischen Gebärder anzupassen.

Die für dieses Training verwendeten Daten wurden sorgfältig zusammengestellt, um sicherzustellen, dass das System für jeden funktionieren kann, nicht nur für die spezifischen Personen, die die Videos aufgenommen haben. Das Team nahm fünf Muttersprachler auf, die jeweils dreihundert verschiedene Sätze ausführten, was zu insgesamt eintausendfünfhundert Videoclips führte. Um zu testen, ob das System die Sprache wirklich verstand und generalisieren konnte, verwendeten sie eine strenge Testmethode, bei der sie das Modell mit vier der Gebärder trainierten und mit dem fünften testeten, wobei dieser Prozess wiederholt wurde, bis jeder Gebärder einmal als Testsubjekt diente. Dies stellte sicher, dass das System die Sprache selbst lernte und nicht bloß die Bewegungen eines einzelnen Individuums auswendig lernte.

Die Ergebnisse dieses Ansatzes waren vielversprechend. Wenn das System eine Sequenz von Posen generierte, bewerteten die Forscher dessen Qualität, indem sie die generierten Bewegungen durch ein separates, unabhängiges Erkennungssystem laufen ließen, um zu sehen, ob es die Gebärden zurück in den ursprünglichen tamilischen Satz „lesen“ konnte. Dieser Rückübersetzungsprozess zeigte, dass das System die Bedeutung des ursprünglichen Gesprochenen erfolgreich erfasst hatte. Die generierten Gebärden waren signifikant genauer und flüssiger als frühere Versuche; das System rekonstruierte die Bedeutung der Sätze erfolgreich in einer Weise, die bestehende Benchmarks für die Produktion der tamilischen Gebärdensprache übertraf. Die Verwendung des vortrainierten Bewegungsmodells aus dem deutschen Datensatz erwies sich als entscheidend, da es das notwendige Fundament für flüssige Bewegungen bot, das der kleine tamilische Datensatz allein nicht hätte lehren können.

Dennoch geben die Forscher vorsichtig die Grenzen ihrer Arbeit an. Das System ist ein bedeutender Schritt nach vorn für eine ressourcenarme Sprache, aber es ist noch nicht perfekt. Der Datensatz, obwohl sorgfältig kuratiert, ist im Vergleich zu den massiven Bibliotheken für hochressourcenreiche Sprachen immer noch klein. Die generierten Bewegungen werden, obwohl sie mathematisch korrekt sind, derzeit mit einer Bildrate dargestellt, die unter dem liegt, was für natürlich wirkende Gebärdensprache empfohlen wird, und das System erfasst noch nicht die subtilen Gesichtsausdrücke oder detaillierten Handformen, die für die volle linguistische Bedeutung entscheidend sind. Darüber hinaus beruht die Gloss-Generierung auf der Interpretation des Computers, was bedeutet, dass jeder Fehler in diesem anfänglichen Übersetzungsschritt Auswirkungen auf die endgültige Bewegung hat.

Trotz dieser Einschränkungen zeigt die Studie einen gangbaren Weg für Sprachen auf, die vom digitalen Wandel abgehängt wurden. Durch die Kombination eines spezialisierten Sprachmodells zur Handhabung der Wörter mit einem entlehnten Bewegungsmodell zur Handhabung der Bewegung zeigten die Forscher, dass es möglich ist, effektive Gebärdensprache-Systeme aufzubauen, ohne Millionen von Stunden an Daten zu benötigen. Die Arbeit legt nahe, dass für viele unterrepräsentierte Gebärdensprachen der Schlüssel zum Fortschritt nicht darin liegt, auf das Erscheinen massiver Datensätze zu warten, sondern darin, bestehende Werkzeuge klug an neue Kontexte anzupassen. Dieser Ansatz bietet die realistische Hoffnung, dass die Lücke zwischen gesprochenen und gebärdeten Sprachen geschlossen werden kann, wodurch die Kommunikation für die Millionen von Menschen, die auf Gebärdensprache angewiesen sind, zugänglicher wird.