Cross-Lingual Transfer Learning and LLM-Assisted Gloss Generation for Low-Resource Tamil Voice and Text to Sign Language Pose Generation

Communicatie is een fundamentele menselijke behoefte, maar voor miljoenen mensen die doof of slechthorend zijn, blijft de brug tussen gesproken taal en hun moedertaal gebarentaal vaak gebroken. Hoewel computers uitstekend zijn geworden in het lezen van tekst of het begrijpen van spraak, is het aanleren van de vloeiende, continue bewegingen van gebarentaal moeilijk gebleken, vooral voor talen die het niet ontbreken aan enorme digitale bibliotheken van opgenomen voorbeelden. Deze uitdaging is bijzonder groot voor de Tamil Gebarentaal, die wordt gebruikt door een grote populatie in India maar die niet beschikt over de enorme, geannoteerde datasets waar onderzoekers normaal gesproken op vertrouwen om kunstmatige intelligentie te trainen. Zonder deze middelen is het bouwen van een systeem dat een gesproken zin automatisch kan vertalen naar een sequentie van hand- en lichaamsbewegingen alsof men een student een complexe vaardigheid probeert aan te leren zonder voldoende tekstboeken of oefenpartners.

De kern van dit probleem ligt in de aard van gebarentaal zelf. Het is niet louter een reeks statische handgebaren, maar een dynamische stroom van beweging waarbij de handen, armen, het gezicht en het lichaam allemaal in een specifiek ritme bewegen. Om een computer dit te leren, hebben onderzoekers meestal duizenden uren aan video nodig waarin moedertaalgebruikers specifieke zinnen uitvoeren. Wanneer dergelijke data schaars is, zoals bij het Tamil, falen standaardmethoden. De oplossing vereist een andere aanpak: één die kennis leent uit andere gebieden en deze zorgvuldig aanpast aan de specifieken noden van een taal met weinig middelen. Dit is waar het werk van Ramya Cauvery D en Dr. Josephine Usha L om de hoek komt kijken, wat een nieuwe manier biedt om een brug te slaan tussen gesproken Tamil en de visuele taal van gebaren.

De onderzoekers zetten zich in om het eerste systeem te creëren dat in staat is om direct van gesproken of geschreven Tamil naar een sequentie van lichaamshoudingen te gaan die een gebarentaalprestatie vertegenwoordigen. Hun doel was niet alleen om woorden te vertalen, maar om de werkelijke fysieke bewegingen te genereren die een persoon zou maken. Om dit te bereiken, moesten ze twee grote hindernissen overwinnen: het gebrek aan een grote Tamil gebarentaaldataset en de moeilijkheid om een computer natuurlijk te laten bewegen zonder vast te lopen op de beperkte data die ze hadden. Ze pakten deze problemen aan door het probleem op te splitsen in twee afzonderlijke stappen en door een slimme strategie te gebruiken waarbij kennis wordt geleend van een totaal andere taal.

Eerst pakte het team de vertaling van woorden naar gebaren aan. In de gebarentaalwetenschap bestaat er een concept genaamd "gloss", wat fungeert als een vereenvoudigde, symbolische representatie van een gebaar, vergelijkbaar met hoe een woordenboekdefinitie een woord samenvat. In plaats van te proberen direct van een gesproken zin naar een complexe 3D-beweging te springen, gebruikten de onderzoekers een tussenstap: het converteren van de Tamil-zin naar deze symbolische gloss-sequentie. Om de schaarste aan data op te vangen, gebruikten ze een groot taalmodel, een type kunstmatige intelligentie dat getraind is op enorme hoeveelheden tekst, en pasten dit specifiek aan voor deze taak met een techniek waarmee het kan leren van zeer weinig voorbeelden zonder de reeds geleerde kennis te vergeten. Dit model nam de invoerzin en genereerde de juiste sequentie van glosses, wat effectief fungeerde als een linguïstische vertaler die de structuur van Tamil gebaren begreep, zelfs met beperkte trainingsdata.

Zodra het systeem de gloss-sequentie had, was de tweede uitdaging het omzetten van deze symbolen in werkelijke beweging. Hier pasten de onderzoekers een strategie toe die bekend staat als cross-linguale transfer learning. Ze realiseerden zich dat hoewel de woorden en grammatica van de Duitse Gebarentaal en de Tamil Gebarentaal verschillend zijn, de fysica van menselijke beweging universeel is. Een hand die van de borst naar het hoofd beweegt, volgt dezelfde fysieke regels, ongeacht de taal die wordt gebaard. Om hiervan te profiteren, namen ze een krachtig computermodel dat al getraind was op duizenden uren aan video's van de Duitse Gebarentaal. Dit model had de algemene patronen geleerd van hoe menselijke lichamen bewegen tijdens het gebaren. De onderzoekers namen dit vooraf getrainde model en verfijnden het met hun eigen kleine, aangepaste dataset van Tamil gebarenvideo's. Dit stelde het systeem in staat om te beginnen met een sterk begrip van menselijke beweging en simpelweg zijn kennis aan te passen aan de specifieke stijl en het ritme van Tamil gebarentaalgebruikers.

De data die voor deze training werd gebruikt, werd zorgvuldig samengesteld om ervoor te zorgen dat het systeem voor iedereen kon werken, en niet alleen voor de specifieize mensen die de video's opnamen. Het team nam vijf moedertaalgebruikers op, die elk driehonderd verschillende zinnen uitvoerden, wat resulteerde in vijftienhonderd videoclips. Om te testen of het systeem de taal werkelijk begreep en kon generaliseren naar nieuwe mensen, gebruikten ze een rigoureuze testmethode waarbij ze het model trainden op vier van de gebruikers en testten op de vijfde, waarbij dit proces werd herhaald totdat elke gebruiker het testsubject was geweest. Dit verzekerde hen ervan dat het systeem de taal zelf leerde, in plaats van enkel de bewegingen van een enkel individu te memoriseren.

De resultaten van deze aanpak waren veelbelovend. Wanneer het systeem een sequentie van houdingen genereerde, evalueerden de onderzoekers de kwaliteit door de gegenereerde bewegingen door een apart, onafhankelijk herkenningssysteem te halen om te zien of het de gebaren terug kon lezen naar de oorspronkelijke Tamil-zin. Dit proces van terugvertaling liet zien dat het systeem de betekenis van de oorspronkelijke spraak succesvol had gevangen. De gegenereerde gebaren waren aanzienlijk nauwkeuriger en vloeiender dan eerdere pogingen, waarbij het systeem de betekenis van de zinnen correct reconstrueerde op een manier die de bestaande benchmarks voor de productie van de Tamil gebarentaal overtrof. Het gebruik van het vooraf getrainde bewegingsmodel uit de Duitse dataset bleek cruciaal, omdat het de noodzakelijke basis bood voor vloeiende beweging die de kleine Tamil-dataset alleen niet had kunnen aanleren.

De onderzoekers merken echter voorzichtig op wat de grenzen van hun werk zijn. Het systeem is een belangrijke stap vooruit voor een taal met weinig middelen, maar het is nog niet perfect. De dataset, hoewel zorgvuldig samengesteld, is nog steeds klein in vergelijking met de enorme bibliotheken die worden gebruikt voor talen met veel middelen. De gegenereerde bewegingen, hoewel wiskundig accuraat, worden momenteel weergegeven op een framerate die lager is dan wat gewoonlijk wordt aanbevolen voor natuurlijk ogende gebarentaal, en het systeem vangt nog niet de subtiele gezichtsuitdrukkingen of gedetailleerde handvormen die essentieel zijn voor de volledige linguïstische betekenis. Bovendien is de gloss-generatie afhankelijk van de interpretatie van de computer, wat betekent dat elke fout in die initiële vertalingsstap invloed zal hebben op de uiteindelijke beweging.

Ondanks deze beperkingen toont de studie een levensvatbaar pad vooruit voor talen die door de digitale revolutie zijn achtergelaten. Door een gespecialiseerd taalmodel te combineren om de woorden af te handelen met een geleend bewegingsmodel om de beweging af te handelen, hebben de onderzoekers aangetoond dat het mogelijk is om effectieve gebarentaal-systemen te bouwen zonder dat daar miljoenen uren aan data voor nodig zijn. Het werk suggereert dat voor veel ondervertegenwoordigde gebarentalen de sleutel tot vooruitgang niet ligt in het wachten tot er enorme datasets verschijnen, maar in het slim aanpassen van bestaande hulpmiddelen aan nieuwe contexten. Deze aanpak biedt een realistisch perspectief dat de kloof tussen gesproken en gebarentaal kan worden verkleind, waardoor communicatie toegankelijker wordt voor de miljoenen mensen die dagelijks afhankelijk zijn van gebarentaal.