Technische Samenvatting: Corpusaugmentatie voor Gebarentaalvertaling via LLM-gestuurde Video-assemblage

Probleemstelling

Gebarentaalvertaling (SLT) beoogt gebarentaalvideo om te zetten naar gesproken taaltekst. Hoewel grootschalige, zwak uitgelijnde datasets schaalbaarheid en gloss-vrije methoden hebben mogelijk gemaakt, en gloss-vrije methoden de afhankelijkheid van expert-annotatie hebben verminderd, blijven hoogwaardige parallelle tekenvideo-tekstparen voor fijnafstemming schaars. Deze schaarste beperkt de generalisatie bij de 'long-tail' woordenschat en onbekende constructies. Bestaande dataugmentatie-benaderingen kampen met aanzienlijke hindernissen: assemblage op feature-niveau is gekoppeld aan specifieke encoders, methode op skelet-niveau vereisen renderingstappen om bruikbaar te zijn voor RGB-modellen, en realistische videogeneratie blijft een openstaande uitdaging. Bovendien suggereren recente gecontroleerde evaluaties (bijv. Sincan et al.) dat veel gerapporteerde verbeteringen in gloss-vrije SLT verdwijnen onder strikte condities, waarbij de grootste geverifieerde winst ten opzichte van een baseline slechts +0,98 BLEU-4 is.

Methodologie

De auteurs stellen een corpusaugmentatie-pipeline voor die synthetische RGB-video-tekstparen genereert zonder externe videocorpora, generatieve videomodellen of extra menselijke annotatie te vereisen. De pipeline steunt uitsluitend op een bestaand gloss-geannoteerd trainingscorpus en een Large Language Model (LLM). Het proces bestaat uit drie stadia:

1. Per-Gloss Clip Extractie: Met behulp van CTC forced-alignment segmentatie (gebaseerd op Zuo et al.) extraheert het systeem frame-niveau clips van individuele glosses uit bestaande trainingsvideo's. Dit creëert een "gloss-geïndexeerde" videodatabase zonder handmatige timing-annotaties.
2. LLM-gestuurde Gloss–Zin Generatie: Een corpus-verankerde LLM genereert nieuwe gloss-zinparen. Om vocabulaire-drift te voorkomen en domeinconsistentie (Duitse weerberichten) te waarborgen, krijgt de LLM het volgende verstrekt:
   • De volledige Phoenix gloss-woordenschat.
   • 500 willekeurig gesamplede voorbeelden uit het corpus als context.
   • "Anker"-paren geselecteerd via een 'least-used' strategie om dekking van de trainingsdistributie te garanderen.
     Generatieve sequenties worden gefilterd om exacte overeenkomsten, deelsequenties van bestaande zinnen en duplicaten te verwijderen, wat zorgt voor werkelijk nieuwe linguïstische inhoud.
3. Video Assemblage: Synthetische sequenties worden samengesteld door willekeurig zinnen uit de gegenereerde pool te samplen en deze toe te wijzen aan clips.
   • Signer Selectie: Voor LLM-gegenereerde zinnen wordt een tekendeur (signer) willekeurig geselecteerd uit de groep die clips heeft opgenomen voor elke gloss in de sequentie.
   • Clip Toewijzing: Clips worden willekeurig geselecteerd uit de beschikbare voorkomens voor de toegewezen tekendeur.
   • Transitie Afhandeling: Transitie-frames worden gesampled uit de empirische distributie van inter-gloss intervallen in de echte dataset. Opvallend genoeg sluiten de auteurs expliciet L2-gebaseerde transitie-optimalisatie (het verzachten van grenzen) uit, omdat zij dit als contraproductief ervaren.

De resulterende synthetische data bestaat uit standaard RGB-video-tekstparen, waardoor het architectuur-agnostisch is en direct consumeerbaar door RGB-gebaseerde SLT-modellen of converteerbaar naar pose/feature-representaties.

Belangrijkste Bijdragen

1. Schaalbare, Architectuur-agnostische Pipeline: Een methode om SLT-corpora uit te breiden met enkel bestaande gloss-annotaties en een LLM, waarbij synthetische RGB-video-tekstparen worden geproduceerd die compatibel zijn met elke downstream RGB-gebaseerde architectuur.
2. Significante Prestatiewinst onder Gecontroleerde Condities: Binnen het rigoureuze evaluatiekader van Sincan et al. bereikt de voorgestelde augmentatie een verbetering van +2,92 BLEU-4 ten opzichte van de gereproduceerde GFSLT-VLP baseline (21,38 → 24,30). Deze winst wordt behaald zonder de modelarchitectuur, het trainingsdoel of de hyperparameters te wijzigen.
3. Verificatie van de Bron van Winst: De auteurs demonstreren dat de verbetering geen artefact is van een toename in gradiëntstappen. Een "double-sampled" echte data baseline (gematcht voor rekenkracht) scoorde 21,17 BLEU-4, wat statistisch ononderscheidbaar is van de real-only baseline, wat bevestigt dat de synthetische inhoud zelf de prestaties drijft.
4. Contraintuïtieve Empirische Bevindingen:
   • VLP Schade: Het introduceren van synthetische samengestelde data tijdens Vision-Language Pretraining (VLP) veroorzaakt een instorting van de downstream prestaties, ondanks de verbetering van de pretraining-objectieven. De auteurs suggereren dat de visuele encoder representaties leert die passen bij synthetische discontinuïteiten, maar falen in het generaliseren naar echte continue gebarentaal.
   • Transitie Verzachting: Het optimaliseren van clip-transities voor visuele vloeiendheid (via L2-afstand) schaadt de fine-tuning prestaties. De auteurs stellen voor dat abrupte grenzen kunnen fungeren als een vorm van impliciete regularisatie, waardoor het model gedwongen wordt zich te richten op de kern visuele inhoud in plaats van op temporele randvoorwaarden.

Resultaten

• Primaire Resultaten (200 Epochen): Het geaugmenteerde model behaalde 24,30 BLEU-4 en 46,09 ROUGE-L, vergeleken met de baseline van 21,38 BLEU-4 en 41,69 ROUGE-L.
• Ablatie op LLM Inhoud: Het vervangen van LLM-gegenereerde zinnen door originele Phoenix trainingszinnen (terwijl de willekeurige clip-toewijzing behouden bleef) zorgde ervoor dat de prestaties daalden naar 20,04 BLEU-4, wat lager is dan de no-augmentation baseline. Dit bevestigt dat nieuwe linguïstische inhoud, en niet enkel visuele variatie, de primaire drijfveer van de winst is.
• Contaminatie Analyse: De synthetische gloss-sequenties vertoonden geen grotere nabijheid tot de development of test sets dan de echte trainingszinnen (lagere max-BLEU-4 scores), wat evaluatie-lekken uitsluit.

Significantie

Het artikel stelt dat data-centrische benaderingen, specifiek de injectie van linguïstisch diverse synthetische paren, een effectiever middel zijn om SLT te verbeteren dan architecturale aanpassingen of pretraining-strategieën die visuele discontinuïteiten introduceren. Door een winst van bijna +3 BLEU-4 te demonstreren in een gecontroleerde setting waar andere methoden geen significante verbetering lieten zien, benadrukt dit werk het potentieel van LLM-gestuurde datageneratie om het tekort aan hoogwaardige parallelle gebarentaaldata te overwinnen. De bevindingen over de nadelige effecten van visuele verzachting en VLP-pretraining met synthetische data bieden kritische richtlijnen voor toekomstige augmentatie-strategieën, waarbij wordt gesuggereerd dat het behoud van "natuurlijke" discontinuïteiten gunstig kan zijn voor de robuustheid van het model.