Context-Aware Autoregressive Diffusion for Gloss-Wise Sign Language Production

Technische Samenvatting: Context-bewuste Autoregressieve Diffusie voor Gloss-gewijze Gebarentaalproductie

Probleemstelling
Huidige methoden voor gebarentaalproductie (Sign Language Production, SLP) kampen met aanzienlijke uitdagingen bij het genereren van natuurlijke, zinsniveau-gebarenbewegingen. End-to-end benaderingen die volledige sequenties in één keer genereren, lijden vaak aan temporele drift en bewegingsonscherpte van de handen naarmate de zinslengte toeneemt, wat leidt tot geaccumuleerde voorspelfouten en een degradatie van cruciale semantische details zoals de articulatie van de vingers. Daarentegen falen methoden die vooraf samengestelde gloss-segmenten aan elkaar plakken vaak in het vastleggen van de natuurlijke coarticulatie die inherent is aan gebarentaal — het fenomeen waarbij de uitvoering van één gloss de volgende beïnvloedt. Bestaande gloss-gewijze retrieval-methoden missen expliciete modellering van de kinematische en semantische koppeling tussen opeenvolgende glossen, wat resulteert in abrupte overgangsgrenzen, mismatchende rotaties en beperkte bewegingsvariatie.

Methodologie: GARD-framework
De auteurs stellen het Context-Aware Gloss-wise AutoRegressive Diffusion (GARD) model voor, een framework dat ontworpen is om gebarenbewegingen gloss-gewijs te genereren terwijl coarticulatie expliciet wordt gemodelleerd.

1. Autoregressief Diffusieproces:

   • GARD behandelt de gloss als de fundamentele semantische eenheid. Het genereert de beweging voor de $n$-de gloss ($m_n$) sequentieel, geconditioneerd op het huidige glosswoord ($g_n$) en het vorige glosswoord ($g_{n-1}$).
   • Het model maakt gebruik van een Context-Aware Denoiser gebaseerd op een Transformer Encoder. Deze neemt een ruizige bewegingssteekproef en voorspelt de geïnjecteerde ruis om de schone beweging te reconstrueren.
   • Multi-Conditioning: De denoiser is geconditioneerd op drie vectoren:
     • Semantische context van de huidige gloss ($\tau_{gloss}(g_n)$).
     • Semantische context van de vorige gloss ($\tau_{gloss}(g_{n-1})$).
     • Kinematische context van de vorige beweging ($\omega_{motion}(m_{n-1})$).
   • Semantische contexten worden geëxtraheerd via een gefinetuned mBART-model, terwijl kinematische contexten worden gecodeerd met behulp van een trainbare Transformer encoder.

2. Inter-Gloss Transition Guidance (IG-Guidance):

   • Om pose-kloven tussen opeenvolgende glossen aan te pakken, past IG-Guidance gradiëntgebaseerde controle toe tijdens het diffusie-samplingproces.
   • Het minimaliseert de rotationele discrepantie tussen het eerste frame van de huidige gloss en het laatste frame van de vorige gloss (de "kinematische hint").
   • Cruciaal is dat het gebruikmaakt van Geodetische afstand op de rotatiemanifold $SO(3)$ in plaats van Euclidische afstand om de rotationele fout te meten, wat zorgt voor geometrisch nauwkeurige uitlijning van gewrichtsrotaties.

3. Global Motion Harmonizer (GM-Harmonizer):

   • Terwijl IG-Guidance de grenzen uitlijnt, verspreidt de GM-Harmonizer deze uitlijningsinvloed door de gehele gloss-bewegingssequentie.
   • Geïmplementeerd als een trainbare kopie van de hoofddenoiser met een residuele leerstrategie, ontvangt het de kinematische hint en verfijnt het de daaropvolgende frames.
   • Het gebruikt zero-geïnitialiseerde lineaire lagen om correcties hiërarchisch te injecteren, waardoor de natuurlijke flow die aan de grens is vastgesteld, behouden blijft over de gehele duur van de gloss zonder de initiële generatie te verstoren.

Belangrijkste Bijdragen

• GARD Architectuur: Een nieuw diffusie-gebaseerd framework dat gloss-gewijze autoregressieve generatie uitvoert, waarbij zowel semantische (linguïstische) als kinematische (bewegings) contexten worden benut om coarticulatie te modelleren.
• Coarticulatiestrategieën: De introductie van twee gespecialiseerde modules:
  • IG-Guidance: Lijn boundary-poses uit met behulp van gradiëntgebaseerde optimalisatie op rotatiemanifolds om naadloze pose-consistentie te garanderen.
  • GM-Harmonizer: Verfijnt de globale bewegingssequentie om de boundary-uitlijning te propageren, wat zorgt voor temporeel vloeiende en coherente dynamiek.
• Prestaties: Het model behaalt state-of-the-art resultaten in zowel linguïstische nauwkeurigheid als bewegingsgelijkenis, waarbij het bestaande SLP-methoden overtreft.

Experimentele Resultaten
De auteurs evalueerden GARD op twee grootschalige benchmarks: PHOENIX-2014T (Duitse Gebarentaal) en CSL-Daily (Chinese Gebarentaal).

• Kwantitatieve Prestaties: GARD behaalde superieure scores vergeleken met bestaande keypoint-gebaseerde en 3D mesh-gebaseerde methoden.
  • Op Phoenix-T bereikte het een BLEU-4 van 13.16 en een ROUGE van 37.47, met een DTW-Hand score van 1.21 (lager is beter).
  • Op CSL-Daily bereikte het een BLEU-4 van 12.73 en een ROUGE van 36.76, met een DTW-Hand score van 1.56.
  • De significante verbetering in DTW-Hand (Dynamic Time Warping voor handgewrichten) duidt op een superieure vastlegging van fijnmazige vingerarticulatie, wat cruciaal is voor de semantische betekenis in gebarentaal.
• Ablatie-studies:
  • Context: Het combineren van zowel semantische als kinematische contexten leverde de hoogste prestaties op, waarbij de semantische context de meest substantiële reductie in Word Error Rate (WER) zorgde.
  • Modules: Het verwijderen van ofwel IG-Guidance of GM-Harmonizer resulteerde in prestatieverlies. Er werd aangetoond dat IG-Guidance ruimtelijke mismatch bij de grenzen oploste, terwijl GM-Harmonizer essentieel was voor het behoud van de temporele vloeiendheid in de daaropvolgende frames.
  • Geometrie: Het gebruik van Geodetische afstand voor IG-Guidance presteerde beter dan de standaard L2-afstand.
• Kwalitatieve Analyse: Visuele vergelijkingen toonden aan dat GARD natuurlijkere vingerbewegingen en lichaamsbewegingen produceert vergeleken met modellen zoals SOKE en S-MotionGPT, die vaak last hebben van gemiddelde poses of abrupte overgangen.

Betekenis en Beperkingen
Het artikel stelt dat GARD de fundamentele beperking van huidige SLP-methoden aanpakt door de afhankelijkheid tussen glossen expliciet te modelleren. Door glossen als de primaire eenheid te behanden en kinematische continuïteit af te dwingen via diffusie-gebaseerde guidance, genereert het model gebarentaalsequenties die zowel linguïstisch accuraat als visueel natuurlijk zijn.

De auteurs erkennen een primaire beperking: de afhankelijkheid van een autoregressief, iteratief diffusie-samplingproces resulteert in inferentiesnelheden die momenteel uitdagend zijn voor real-time interactie. Echter, dit werk vestigt een nieuwe benchmark voor hoogwaardige, context-bewuste synthese van gebarentaal.