DualAnchor: Preserving Language Priors and Improving Lexical Fidelity in Gloss-Free Sign Language Translation

Stel je voor dat je een robot probeert te leren om een stomme film te vertalen naar een gesproken verhaal. Dit is de wereld van Gebarentaalvertaling (SLT), een veld waar computers proberen video's van mensen die hun handen en gezichten gebruiken om te veranderen in geschreven of gesproken zinnen. Lange tijd waren deze robots als onhandige studenten die specifieke handgebaren (genaamd "glosses") uit het hoofd leerden, maar moeite hadden met het begrijpen van de flow van een echt gesprek. Recentelijk zijn wetenschappers begonnen met het gebruik van Large Language Models (LLM's)—dezelfde superintelligente AI-hersenen die essays schrijven en met ons chatten—om als de "hersenen" van de robot te fungeren voor het vertellen van het verhaal. Het idee was simpel: geef de robot een video, laat de AI de woorden bedenken, en boem, je hebt een vertaling.

Maar er is een addertje onder het gras. Hoewel deze AI-hersenen geweldig zijn in het schrijven van vloeiend Engels of Duits, vergeten ze soms hoe ze goed moeten spreken wanneer je ze dwingt om naar een video te kijken. Ze kunnen beginnen met het uitbraken van onzin of grammatica regels vergeten omdat ze te veel gefocust zijn op de beelden. Ook kunnen ze de algemene bedoeling wel goed krijgen ("een meisje is aan het eten"), maar de specifiejes details verpesten ("een appel eten" versus "een sinaasappel eten"). Dit paper, getiteld DualAnchor, pakt deze twee specifieke problemen aan: ervoor zorgen dat de robot zijn taalvaardigheid niet verliest en ervoor zorgen dat hij de kleine details goed krijgt.

De twee grote problemen: de draad kwijtraken en de details door elkaar halen

De onderzoekers merkten op dat wanneer zij probeerden deze AI-modellen te leren gebarentaalvideo's te begrijpen, er twee vreemde dingen gebeurden.

Ten eerste noemden ze het "Language-Prior Degradation" (Degradatie van de taalvoorkennis). Denk aan de taalvaardigheid van de AI als een goed ingestudeerd script dat het heeft geleerd door miljoenen boeken te lezen. Wanneer je het een video laat zien, is het alsof je die acteur vraagt om te improviseren op het podium. Soms, in een poging om bij de video te passen, vergeet de acteur het script volledig en begint hij te mompelen of onzin uit te kramen of slechte grammatica te gebruiken. De AI raakt zo afgeleid door de visuele signalen dat het vergeet hoe het vloeiend moet spreken.

Ten tweede ontdekten ze een "Lexical Fidelity Gap" (Lexicale getrouwheidskloof). Stel je voor dat de AI een detective is die naar een foto van een plaats delict kijkt. Het kan correct raden dat een "persoon" een "vrucht" vasthoudt. Maar als de foto een sinaasappel laat zien en de AI schrijft appel, heeft het de algemene gedachte goed maar het specifieke detail fout. Het paper vond dat zelfs wanneer de AI de video en de zin op een grote schaal perfect liet aansluiten, het nog steeds specifieke woorden omwisselde zoals "koelkast" voor "kast" of "appel" voor "sinaasappel", omdat het niet nauw genoeg keek naar het visuele bewijs voor elk individueel woord.

De oplossing: DualAnchor

Om dit op te lossen, bouwden de auteurs een nieuw trainingssysteem genaamd DualAnchor. De naam komt van het idee om twee ankers te laten zakken om een schip stabiel te houden in ruwe wateren. In dit geval is het "schip" het AI-model, en de "ruwe wateren" zijn de verwarrende visuele signalen van gebarentaal.

Anker 1: Token-Level Prior Anchoring (TPA)
Dit anker gaat erover om de AI ervan weer te geven hoe hij moet spreken. Stel je voor dat de AI een student is die een toets maakt. Normaal gesproken, wanneer hij naar een video kijkt, kan hij een woord raden en het fout hebben. Met TPA geven de onderzoekers de student een "spiekbriefje" van een bevroren, superintelligente leraar (de oorspronkelijke AI voordat deze enige video's zag). Elke keer dat de student over het volgende woord gaat raden, controleert het systeem: "Klinkt deze gok als iets wat de leraar zou zeggen?"

Als de leraar erg zelfverzekerd is (zoals bij de zin "Gisteren ben ik naar..."), duwt het systeem de student voorzichtig om de leraar te volgen om de grammatica perfect te houden. Maar als de leraar onzeker is (misschien is de video wazig), laat het systeem de student de video nauwkeuriger bekijken om zijn eigen keuze te maken. Op deze manier behoudt de AI zijn vloeiende taalvaardigheid terwijl hij nog steeds leert van de video.

Anker 2: Optimal Transport Alignment (OTA)
Dit anker lost het probleem van de "verkeerde details" op. In plaats van alleen de hele video met de hele zin te matchen, werkt OTA als een superprecies matchspel. Het probeert specifieke delen van de video (zoals een handvorm die "appel" aangeeft) te koppelen aan specifieke woorden in de zin ("appel").

Het slimme deel is dat het weet dat niet alles in de video een directe woordmatch heeft. Soms is een handbeweging gewoon een gebaar, geen woord. Dus gebruikt het systeem een "vuilnisbak" (een dustbin genoemd) om de delen van de video die niet bij een woord passen weg te gooien, in plaats van een slechte match te forceren. Het gebruikt een wiskundige truc genaamd "Optimal Transport" om de best mogelijke manier te vinden om de visuele aanwijzingen met de juiste woorden te koppelen, wat ervoor zorgt dat als de video een koelkast laat zien, de AI "koelkast" schrijft, en niet "kast".

Wat ze vonden

De onderzoekers testten dit nieuwe DualAnchor-systeem op twee grote datasets: PHOENIX-2014T (Duitse gebarentaal weerberichten) en CSL-Daily (Chinese gebarentaal dagelijkse leven video's).

De resultaten waren veelbelovend. Op de Duitse dataset behaalde hun methode een BLEU-4 score van 27,60, wat de hoogste was van alle "gloss-free" methoden waarmee ze werden vergeleken. Op de Chinese dataset bereikten ze 24,21, waarmee ze opnieuw de concurrentie versloegen. Het paper suggereert dat deze verbeteringen niet zomaar toeval zijn; de analyse toonde aan dat de "Prior Anchoring" (TPA) de zinnen echt beter liet stromen en natuurlijker liet klinken, terwijl de "Optimal Transport" (OTA) het aantal foutieve woorden, zoals het verwisselen van vruchten of kleuren, aanzienlijk verminderde.

Ze controleerden ook of dit werkte met verschillende soorten AI-hersenen (backbones) en vonden dat DualAnchor de prestaties over de hele linie verbeterde, wat suggereert dat deze twee-anker aanpak een solide manier is om robots te leren gebarentaal te vertalen zonder hun verstand of hun vocabulaire te verliezen.

Kortom, DualAnchor leert de AI om naar zijn innerlijke taalexpert te luisteren om vloeiend te blijven, terwijl het tegelijkertijd fungeert als een scherpzinnige detective om er zeker van te zijn dat elk enkel woord perfect bij de video past. Het is een balans tussen het vloeiend houden van het verhaal en het goed krijgen van de details.