Toward Signing Activity Projection in Sign Language Interaction

Technische Samenvatting: Naar Projectie van Gebruiksactiviteit in Gebarentaalinteractie

Probleemstelling
Sociale robots missen momenteel robuuste interactiemogelijkheden met gebruikers die vertrouwen op communicatiemodiiteiten die afwijken van spraak, zoals gebarentaal. Er bestaat een kritieke kloof in de voorspellende beurtwisseling (turn-taking) voor gebarentaalinteracties. Hoewel Voice Activity Projection (VAP) succesvol heeft gesteld toekomstige spraakactiviteit te modelleren om taken rondom beurtwisseling te ondersteunen (bijv. bepalen of een spreker het woord behoudt of het overdraagt aan een gesprekspartner) in gesproken dialoog, blijft het onduidelijk of dit raamwerk overdraagbaar is naar gebarentaal. Interacties in gebarentaal vertrouwen op visuele, modaliteit-specifieke signalen (handbewegingen, oogbewegingen, gezichtsuitdrukkingen) in plaats van audio, en de standaard uit de spraak afgeleide definities van "activiteit" en beurtgrenzen zijn mogelijk niet direct toepasbaar.

Methodologie
Deze studie presenteert een initiële transfer-experiment waarbij de VAP-architectuur wordt aangepast aan dyadische gebarentaalinteractie met gebruik van de Public DGS Corpus.

• Data en Proxy-labels: De auteurs maakten gebruik van de met dialoog getagde subset van de Public DGS Corpus, die OpenPose-gebaseerde 2D-keypoints en handmatige annotaties van lexicale gebarentaalsegmenten bevat. In plaats van complexe uitingseenheden (utterance-unit) te gebruiken, construeerden de auteurs binaire "gebarentaalactiviteitsstromen" door de unie te nemen van alle geannoteerde lexicale gebarensegmenten. Een frame werd als actief gelabeld als het binnen een geannoteerd segment viel.
• Input Features: Het model maakte gebruik van pose-afgeleide visuele kenmerken geëxtraheerd voor elke gebarentaalgebruiker, specifiek:
  • Hand-keypoints.
  • Oogregio-keypoints.
  • Mondregio-keypoints.
    Ontbrekende waarden werden vervangen door nul en de data werd geresampled naar 30 fps.
• Modelarchitectuur: De auteurs namen de oorspronkelijke VAP-formulering over en vervingen de audio-encoder door een pose-encoder. De architectuur bestaat uit:
  • Keypoint Encoders: Modaliteit-specifieke lineaire projecties die ruwe kenmerken mappen naar 256-dimensionale embeddings.
  • Self-Attention Transformer: Een laag die de pose-stroom van elke gebruiker afzonderlijk modelleert.
  • Cross-Attention Transformer: Drie lagen die cross-attention uitvoeren over de geëncodeerde stromen van beide gebruikers.
  • Prediction Heads: Eén kop voor de 256-klasse toekomstige activiteitstoestand (het voorspellen van de gezamenlijke toestand van twee gebruikers over vier toekomstige tijdvensters) en één voor per-gebruiker activiteitsdetectie.
• Taken: De studie formuleerde twee proxy-taken gebaseerd op de binaire activiteitsstromen:
  1. SHIFT/HOLD: Het voorspellen of, na wederzijdse inactiviteit, dezelfde gebruiker de activiteit hervat (HOLD) of dat de beurt naar de andere gebruiker verschuift (SHIFT).
  2. SHIFT-voorspelling: Het voorspellen of een lopende activiteit waarschijnlijk zal worden gevolgd door een beurtverschuiving binnen de volgende 600 ms.
• Training en Evaluatie: Modellen werden getraind op vensters van 20 seconden met behulp van AdamW. Prestaties werden geëvalueerd met behulp van balanced accuracy en macro-F1 scores, waarbij de resultaten werden gemiddeld over 10 willekeurige seeds.

Belangrijkste Resultaten
De experimenten leverden de volgende bevindingen op met betrekking tot de bijdragen van modaliteiten en de moeilijkheidsgraad van taken:

• SHIFT/HOLD-voorspelling: Modellen die hand-signalen incorporeerden, presteerden consistent beter dan de constante baseline (die altijd HOLD voorspelt). Configuraties met enkel handen behaalden de hoogste gemiddelde balanced accuracy (0,646) en macro-F1 (0,501). Het toevoegen van oog- of mond-signalen aan de hand-signalen leidde niet consequent tot een verbetering van de prestaties ten opzichte van enkel hand-inputs.
• SHIFT-voorspelling: Alle geleerde modellen presteerden beter dan de constante baseline. Interessant genoeg behaalde de configuratie met enkel ogen de hoogste gemiddelde scores (balanced accuracy 0,558), hoewel de marge ten opzichte van andere configuraties klein was.
• Modaliteitsfusie: Het combineren van meerdere modaliteiten (handen, ogen, mond) leverde niet consistent betere resultaten op dan single-modality inputs, wat wijst op mogelijke problemen met ruis in non-manual keypoints of een mismatch tussen de proxy-labels en de fijnmazige interactionele gebeurtenissen.

Betekenis en Claims
Het artikel claimt een eerste bewijs te leveren voor zowel de belofte als de huidige beperkingen van het overdragen van voorspellende beurtwisselingsmodellen van gesproken naar gebarentaalinteractie.

• Belofte: De studie toont aan dat voorspellende beurtwisseling modellering haalbaar is voor gebarentaal wanneer gebruik wordt gemaakt van pose-afgeleide visuele signalen, met name handbewegingen voor lokale beurttoestand-schatting (SHIFT/HOLD).
• Beperkingen: De auteurs benadrukken dat het huidige succes wordt beperkt door het gebruik van "proxy"-labels afgeleid van lexicale gebarentaalannotaties. Deze labels sluiten van nature aan bij handmatige activiteit, maar leggen mogelijk geen non-manual gedrag (zoals oogbewegingen, hoofdknikken) vast dat cruciaal is voor beurtwisseling in gebarentaal. Bij consequent gevolg. De moeilijkheid bij SHIFT-voorspelling suggereert dat de huidige uit de spraak afgeleide event-definities en binaire activiteitsstromen onvoldoende zijn om de volledige complexiteit van gebarentaal-beurtwisseling te vatten.
• Conclusie: De auteurs concluderen dat hoewel het VAP-framework gedeeltelijk kan worden overgedragen, vereist effectieve voorspellende modellering voor gebarentaalinteractie gebarentaal-specifieke event-definities die verder gaan dan spraak-afgeleide categorieën en rijkere multimodale representaties van interactionele grenzen integreren.