Target-Side Paraphrase Augmentation for Sign Language Translation with Large Language Models

Technische Samenvatting: Target-Side Paraphrase Augmentatie voor Gebarentaalvertaling met Large Language Models

Probleemstelling

Gebarentaalvertaling (SLT) kampt met aanzienlijke knelpunten door het tekort aan grootschalige parallelle corpora van gebaren-video/tekst en de aanwezigheid van een 'heavy-tailed' doelwoordenschat, waarbij veel woorden slechts enkele keren voorkomen. Hoewel er recentelijk vooruitgang is geboekt, blijft robuuste vertaling moeilijk vanwege de multimodale complexiteit van gebarentaaluitingen en dataschaarste. Bestaande strategieën voor data-augmentatie in SLT hebben zich voornamelijk gericht op de gebarentaalzijde (bijvoorbeeld via productieve of generatieve modellen), waardoor de doeltekstzijde onderbenut is gebleven. Bovendien schieten standaard lexicale overlapmetrieken zoals BLEU vaak tekort in het vastleggen van semantische verbeteringen wanneer modellen valide maar lexicaal verschillende parafrases van referentiezinnen genereren.

Methodologie

De auteurs stellen een target-side augmentation aanpak voor waarbij de gebareninput constant blijft, maar de referentietekst wordt herschreven naar semantisch getrouwe varianten met behulp van een Large Language Model (LLM).

1. Modelarchitectuur: De studie maakt gebruik van een Signformer-stijl pose-gebaseerde Transformer. In plaats van ruwe videoframes gebruikt het model 2D-skeletkeypoints die zijn geëxtraheerd via MediaPipe Holistic (beëindigend met 33 lichaamskenmerken, 21 per hand, en gezichtssubsets). Deze representatie benadrukt de articulatiebeweging terwijl achtergrond- en lichtvariaties worden onderdrukt, wat een efficiënte evaluatie van de effecten van augmentatie mogelijk maakt.
2. LLM-gebaseerde Data-augmentatie:
   • Voor elk video–zinpaar $(V, T)$ genereert GPT-4o $N=3$ parafrases ($T'_1, T'_2, T'_3$).
   • Prompts zijn gestructureerd om JSON-output af te dwingen, waarbij de tijd, de register en de propositionele inhoud expliciet worden bewaard terwijl gecontroleerde lexicale en syntactische variatie is toegestaan.
   • Filtering: Om semantische drift te voorkomen, worden parafrases gefilterd met behulp van een gemiddelde gelijkenissscore ($\bar{s}$) afgeleid van vier oppervlaktevormmaten (karakter-niveau Jaccard, woord-niveau Jaccard, genormaliseerde Levenshtein en trigram overlap). Varianten worden alleen behouden als $0.3 \leq \bar{s}(T, T'_i) \leq 0.95$, waarbij exacte duplicaten en betekenisveranderende varianten worden verworpen.
3. Trainingsschema: De auteurs maken gebruik van een tweefasig trainingsschema:
   • Fase 1 (Pre-training): Het model wordt voorgetraind op de geaugmenteerde corpus (originelen plus drie parafrases per instantie).
   • Fase 2 (Fine-tuning): Het model wordt uitsluitend gefinetuned op de originele referenties om de decoder opnieuw af te stemmen op de specifieke formulering van de referentie.
   • Dit schema beoogt de distributie van de decoder te verbreden tijdens de pre-training, terwijl deze tijdens de fine-tuning weer gecentreerd wordt op de stijl van de referentie.

Belangrijkste Bijdragen

1. Nieuwe Augmentatiestrategie: Dit is de eerste studie die LLM-gegenereerde target-side paraphrase augmentation specifiek toepast voor SLT. De auteurs brengen drie geaugmenteerde datasets uit die de Duitse (DGS), Griekse (GSL) en Argentijnse (LSA) gebarentalen dekken.
2. Uitgebreide Datasetevaluatie: De studie evalueert de aanpak over drie datasets met uiteenlopende kenmerken:
   • PHOENIX14T (DGS): Matige lexicale diversiteit met natuurlijke opnamecondities.
   • GSL: Sterk gecontroleerde, repetitieve opnames met lage variabiliteit.
   • LSA-T: Real-world video's met ernstige long-tail schaarste (50% singleton woorden).
3. Semantisch Evaluatieprotocol: De auteurs introduceren een LLM-as-a-Judge evaluatie (gebruikmakend van GPT-5.2) om de semantische getrouwheid te meten, waarmee de beperkingen van lexicale overlapmetrieken zoals BLEU worden geadresse door de beperkingen van lexicale overlapmetrieken zoals BLEU worden geadresseerd.

Resultaten

De impact van augmentatie varieert aanzienlijk op basis van de kenmerken van de corpus:

• PHOENIX14T: Augmentatie verbeterde de BLEU-4 van 9.56 naar 10.33. Nog belangrijker is dat de LLM-as-a-Judge semantische getrouwheidsscore met 45.0% steeg (van 2.51 naar 3.65). De analyse geeft aan dat blootstelling aan parafrases de decoder helpt om te generaliseren buiten de gememoriseerde sjablonen.
• GSL: De baseline was bijna verzadigd (94.38 BLEU). Augmentatie verminderde de BLEU licht naar 92.22, omdat het model semantisch valide outputs produceerde die lexicaal verschilden van de enkele referentie. Echter, de semantische getrouwheid verbeterde nog steeds met 13.6% (7.72 naar 8.77), wat bevestigt dat lexicale metrieken de winst in scenario's met een hoge baseline onderschatten.
• LSA-T: Prestaties bleven stagnerend (BLEU-4 ~1.18–1.19). De auteurs merken op dat target-side herschrijven de fundamentele sign-side data sparsity die inherent is aan deze dataset niet kan aanpakken.

Betekenis en Claims

Het artikel beweert dat target-side LLM-augmentatie niet uniform voordelig is; de effectiviteit hangt af van de positie van de corpus op het spectrum van formuleel naar long-tail schaars.

• Voor matige diversiteit (PHOENIX14T): De aanpak verbetert succesvol zowel de lexicale metrieken als de semantische getrouwheid.
• Voor hoge verzadiging (GSL): De aanpak onthult winsten die standaard metrieken missen, hoewel het de near-perfect baselines niet kan verbeteren.
• Voor extreme schaarste (LSA-T): De aanpak benadrukt de grenzen van target-side augmentatie wanneer de primaire bottleneck de schaarste aan gebarentaaldata is.

De auteurs concluderen dat hoewel de methode veelbelovend is, toekomstig werk de combinatie van target-text augmentatie met sign-side augmentatie moet verkennen, het gebruik van meerdere referenties voor evaluatie moet testen, en open-source LLM's moet testen om de voordelen van het augmentatieprincipe te isoleren van de specifieke gebruikte generator.