Technische Samenvatting: Onderzoek naar Multimodale Informativiteit onder Verschillende Partnerzichtbaarheidscondities in Videogemediateerde Dialoog

Probleemstelling

Menselijke communicatie is inherent multimodaal en belichaamd, waarbij gebaren vaak informatie dragen die afwezig of ondergespecificeerd is in de spraak. Echter, hedendaagse dialoogmodellen vertrouwen doorga \text{gewijs} uitsluitend op teksttranscripten, waardoor ze het volledige spectrum van communicatieve signalen niet benutten. Hoewel eerder werk heeft vastgesteld dat gebaren kunnen helpen bij referentie-resolutie, blijft het onduidelijk hoeveel referentiële informatie gebaren onafhankelijk dragen, hoe ze de spraak aanvullen, en hoe deze dynamiek verschuift onder verschillende partnerzichtbaarheidscondities (bijv. alleen audio versus video-gemediateerd). Bovendien missen bestaande benchmarks vaak de granulariteit om te ontrafelen wanneer een gebaar unieke waarde biedt versus wanneer het louter de spraak versterkt. Deze studie adresseert deze hiaten door de informativiteit van iconische gebaren en hun fusie met spraak te kwantificeren in een gecontroleerde referentiële communicatietaak.

Methodologie

Dataset en Taak

De studie maakt gebruik van de video-gemediateerde extensie van de CABB-dataset (Akamine et al., 2025a,b), met 90 Nederlandstalige participanten georganiseerd in 45 dyades. De taak is een referentiële communicatiespel waarbij een "Director" een van 16 nieuwe visuele objecten (Fribbles) beschrijft aan een "Matcher", die de doelgerichte object moet identificeren.

• Condities: Dyades interageerden onder drie zichtbaarheidscondities: Audio-Only (AO), Asymmetrische Video (ASYM) en Symmetrische Video (SYM).
• Data: De dataset bevat hoogwaardige audio, tijd-gealigneerde orthografische transcripten (Nederlands/Engels), multi-angle video en motion-tracking data.
• Taakformulering: Het probleem wordt geformuleerd als een referent-classificatie over 16 kandidaten (plus een "ANDERS"-klasse). Modellen voorspellen het doelobject op basis van een spraaktranscript, een skeletale gebarensequentie, of beide.

Modelleringaanpak

De auteurs ontwikkelden een pijplijn die unimodale en multimodale architecturen vergelijkt:

1. Gebarenrepresentaties: Twee skelet-layouts werden vergeleken:
   • MediaPipe-3D: 51 sleutelpunten (3D-coördinaten).
   • MMPose-2D: 69 sleutelpunten (2D-coördinaten inclusief gezicht).
   • Encoder: Beide layouts werden verwerkt met behulp van Spatio-Temporal Graph Convolutional Networks (ST-GCN) om anatomische en temporele afhankelijkheden te vangen.
2. Spraakrepresentaties: Transcripten werden gecodeerd met behulp van een bevroren CLIP ViT-L/14 tekstprojectie.
3. Referentrepresentaties: Afbeeldingen van de 16 Fribbles werden gecodeerd met behulp van de bevroren CLIP-beeldprojectie om te dienen als klasse-prototypes.
4. Fusiemechanisme: Een gated residual fusion module integreert gebaren- en spraakrepresentaties. De fusie is spraak-geankerd, waardoor het model selectief gebareninformatie kan filteren op basis van het spraaksignaal.
5. Alleen-tijdens-training uitlijning: Een nieuw component betreft Pose-to-Image (P→V) alignment. Tijdens de training lijnt een contrastieve loss (InfoNCE) de geleerde gebarenrepresentaties uit met de bevroren CLIP-beeldrepresentaties van de doelobjecten. Deze uitlijning wordt tijdens de inferentie weggegooid.
6. Baselines: De studie vergelijkt tegen een algemeen doelmatig Vision-Language Model (Qwen3-VL) en unimodale baselines.

Evaluatieprotocol

• Metrieken: Top-k nauwkeurigheid ($k \in \{1, 2, 3, 4, 5\}$), Macro-F1, en een nut-metriek $U_{1:5}$ die de kwaliteit van de rangschikking meet.
• Validatie: Vijf-voudige kruisvalidatie, gegroepeerd per trial om datalekken te voorkomen. Face-to-face data werd alleen gebruikt voor aanvullende training.
• Statistische Analyse: Bayesiaanse binaire logistische regressie werd ingezet om de effecten van zichtbaarheid en interactierondes op modelprestaties en menselijke gebarenproductie te analyseren.

Belangrijkste Resultaten

1. Gebaar als een echt referentieel kanaal

Gesture-only modellen behaalden significant boven-kans prestaties:

• Top-1 Nauwkeurigheid: ~19,5–20,4% (Kans: 5,9%).
• Top-5 Nauwkeurigheid: ~55,5–56,4%, wat het juiste referent in een shortlist plaatst in meer dan de helft van de gevallen.
• Dit bevestigt dat iconische gebaren alleen over herstelbare referentiële informatie beschikken, onafhankelijk van spraak.

2. Selectieve complementariteit van gebaren

Terwijl spraak-alleen modellen sterk presteerden (46,5% Top-1), bood het toevoegen van gebaren consistente, zij het bescheiden, verbeteringen (~1,6–1,7 procentpunt).

• Onzekerheid-gestuurde winst: Het voordeel van fusie was selectief. In het minst betrouwbare kwartiel van de spraakvoorspellingen (waar de spraak-nauwkeurigheid ~20% was), verbeterde het toevoegen van gebaren de nauwkeurigheid met +7,5 procentpunt. In segmenten met een hoge mate van zekerheid in de spraak was de winst verwaarloosbaar.
• Dit geeft aan dat gebaren primair helpen bij referentie-resolutie wanneer het verbale signaal ambigu of ondergespecificeerd is.

3. Effect van Pose-to-Image Alignment

De alleen-tijdens-training gebruikte P→V alignment verbeterde de multimodale prestaties verder:

• De Top-1 nauwkeurigheid steeg met 1,7 procentpunt (van 48,1% naar 49,8%) voor het best presterende fusiemodel.
• Cruciaal is dat deze uitlijning de prestaties van het gebaren-alleen model niet verbeterde, wat suggereert dat de primaire rol ervan het faciliteren van de integratie van gebaren in de spraakrepresentatie is, in plaats van het verbeteren van de isolatie van gebaren-discriminatie.

4. Effecten van Partnerzichtbaarheid en Entrainment

• Zichtbaarheid: Gebarenproductie en informativiteit waren significant hoger wanneer gesprekspartners elkaar konden zien (Symmetrische/Asymmetrische video) vergeleken met alleen audio. Echter, de prestaties van spraak en het fusiemodel bleven stabiel over de verschillende zichtbaarheidscondities.
• Entrainment: Over zes rondes van interactie verbeterde de spraak-nauwkeurigheid significant (van 40,3% naar 60,4%), wat reflectie is van lexicale entrainment (conventionalisering van verwijzende uitdrukkingen). In contrast hiermee bleef de gebaren-alleen nauwkeurigheid vlak, en werd er geen onafhankelijk gebaren-entrainment effect waargenomen.

Betekenis en Bijdragen

Het artikel levert bijdragen aan zowel technische modellering als de analyse van menselijke interactie:

1. Technische Modellering: Het demonstreert dat gebaren een herstelbaar en complementair informatiekanaal zijn in multimodale dialoog. De studie stelt vast dat fusiewinsten geconcentreerd zijn in regio's van spraak-onzekerheid, wat een genuanceerder beeld geeft van multimodale integratie dan geaggregeerde prestatie-metrieken. De introductie van alleen-tijdens-training semantische uitlijning (P→V) biedt een methode om fusie te verbeteren zonder de input tijdens de inferentie te wijzigen.
2. Analyse van Menselijke Interactie: Door modelprestaties te koppelen aan menselijke data, kwantificeert de studie pragmatische effecten. Het bevestigt dat partnerzichtbaarheid de gebarenproductie en informativiteit moduleert, terwijl herhaalde interactie drijft op lexicale entrainment in spraak, maar niet noodzakelijkerwijs in gebaren.
3. Methodologische Rigor: Het gebruik van gecontroleerde skelet-representaties (in plaats van ruwe video) maakt een directe beoordeling van gebareninformativiteit mogelijk, waarbij de complexiteit van algemene vision-language modellen wordt gescheiden, aangezien aangetoond door de Qwen3-VL baseline, die mogelijk niet effectief gebruik maakt van gebarenframes zonder specifieke architecturale beperkingen.

De auteurs concluderen dat hoewel gebaren informatief zijn, hun nut in computationele modellen het grootst is wanneer ze ambiguïteit in het verbale signaal oplossen, en dat hun productie sterk wordt beïnvloed door de visuele context van de interactie.