Technische Samenvatting: FriendBench

Probleemstelling

Sociale intelligentie vereist het redeneren over interpersoonlijke relaties op basis van gedragscues in plaats van expliciete verbale inhoud. Hoewel AI-systemen steeds vaker de taak krijgen om menselijke interactie te mediëren, blijft hun vermogen om sociale dynamiek af te leiden uit multimodale gedragingen ondergewaardeerd. Specifiek is er een gebrek aan benchmarks die de inferentie van voorafgaande bekendheid (of twee mensen elkaar eerder hebben ontmoet) isoleert van de semantische inhoud van hun gesprek.

Bestaand werk vertrouwt vaak op gescript dialoog, scènecontext of uiterlijk om relaties af te leiden, of richt zich op subjectieve constructen zoals emoties en intenties die geen eenduidige grondwaarheid (ground truth) missen. De auteurs stellen dat een "schone" probe van sociale perceptie moet rusten op thin-slice gedragscues (Ambady en Rosenthal, 1992), waarbij het gespreksonderwerp gecontroleerd wordt, waardoor de waarnemer gedwongen wordt om enkel te vertrouwen op hoe mensen interageren (coördinatie, respons, oriëntatie) in plaats van op wat ze zeggen.

Methodologie

Benchmark Constructie (FriendBench)

De auteurs introduceren FriendBench, een binaire classificatiebenchmark (Bekend vs. Vreemden) afgeleid van de Seamless Interaction dataset (Agrawal et al., 2025).

• Stimuli: 96 gebalanceerde dyaden (48 bekend, 48 vreemden) afkomstig uit natuurlijke "Either-Or" ijsbreker-interacties.
• Controle: Elke dyade reageert op hetzelfde type gedwongen keuze hypothetische prompt (bijv. "Zou je liever kunnen vliegen of onzichtbaar zijn?"). Dit zorgt ervoor dat het gespreksonderwerp gelijk is over de klassen heen, wat voorkomt dat de semantische inhoud de uitkomst onthult.
• Modaliteit: Elke interactie wordt geëvalueerd over drie condities:
  1. Tekst: Alleen transcripten.
  2. Audio: Alleen spraak.
  3. Video: Audiovisueel (spraak + zichtbaar gedrag).
• Ontwerp: De dataset is participant-disjoint (geen individu verschijnt in meer dan één dyade) en gestratificeerd naar opnamelocatie en gendercompositie om verstorende variabelen uit te sluiten. Clips zijn 20 seconden lang en zijn afgestemd op de grenzen van beurtwisselingen (turn boundaries).

Evaluatieprotocol

• Menselijke Baseline: Een crowdsourced studie met ~90 raters per modaliteit (totaal ~280 raters). Raters voerden een forced-choice taak uit. Het ontwerp gebruikte een planned-missing, 6-block incomplete structuur om individuele rater-nauwkeurigheid en responsbias te modelleren via crossed random effects.
• Model Evaluatie: 26 modellen van zeven bedrijven (OpenAI, Google, Anthropic, Alibaba, Mistral, Thinking Machines, Meta) werden geëvalueerd in een zero-shot setting. Modellen ontvingen prompts die direct waren aangepast van menselijke instructies om pariteit in de taakformulering te waarborgen.
• Metrieken:
  • Nauwkeurigheid (Accuracy): Algemene correcte classificatie.
  • Per-class Recall: Gevoeligheid voor "Bekend" versus "Vreemde".
  • Signal Detection Theory: $d'$ (onderscheidingsvermogen) en criterium $c$ (responsbias). Een positieve $c$ duidt op een bias naar "vreemde".

Belangrijkste Bijdragen

1. FriendBench Benchmark: Een multimodale dataset en evaluatiekader voor het afleiden van dyadische bekendheid waarbij het semantische onderwerp gecontroleerd is, waardoor gedragscues worden geïsoleerd.
2. Gelijke Mens-Model Dataset: Publicatie van menselijke beoordelingen voor alle 96 dyaden over tekst, audio en video, wat een directe vergelijking tussen menselijke en modelperceptie onder gelijke condities mogelijk maakt.
3. Uitgebreide Model Evaluatie: Evaluatie van 26 state-of-the-art modellen (proprietary en open-weight) over alle drie de modaliteiten.
4. Analyse van Perceptie versus Bias: Een methodologische bijdrage die onderscheid maakt tussen onderscheidingsvermogen (het vermogen om klassen uit elkaar te houden) en responsbias (de neiging om één klasse te bevoordelen), waarbij wordt aangetoond dat modellen en mensen vaak een vergelijkbare nauwkeurigheid bereiken via verschillende mechanismen.

Resultaten

Nauwkeurigheid en Modaliteit

• Menselijke Prestaties: Mensen presteren rond het niveau van toeval bij tekst (51,0% crowd accuracy), maar verbeteren significant met rijkere modaliteiten: 63,5% in audio en 71,9% in video.
• Model Prestaties: De beste modellen bereiken een nauwkeurigheid die statistisch niet te onderscheiden is van de menselijke crowd in alle modaliteiten (bijv. beste model 66,7% in audio/video versus mens 63,5%/71,9%).
• Modaliteitswinsten:
  • Tekst: Noch mensen, noch modellen vinden een betrouwbaar signaal; de prestaties liggen nabij het niveau van toeval.
  • Audio: Zowel mensen als modellen verkrijgen een betrouwbaar onderscheidingsvermogen ten opzichte van tekst.
  • Video (Audiovisueel): Mensen behalen een verdere betrouwbare toename door visueel gedrag (audio $\to$ video winst van +11,0%). Modellen doen dit niet. De beste modellen vertonen een plateau tussen audio en video (bijv. Gemini Video 66,7% versus Gemini Audio 66,7%), waardoor ze er niet in slagen de visuele cues te benutten die mensen wel gebruiken.

Responsbias en Onderscheidingsvermogen

Hoewel de geaggregeerde nauwkeurigheid vergelijkbaar is, verschillen de mechanismen:

• Mensen: Handhaven een gebalanceerde beslisregel over modaliteiten heen (criterium $c \approx 0$), waarbij zowel bekende als vreemde paren correct worden geïdentificeerd met relatief gebalanceerde recall.
• Modellen: Vertonen een sterke responsbias naar "vreemde".
  • In tekst neigen modellen sterk naar "vreemde" (bijv. $gpt\_text\_mini$ heeft 91,7% recall voor vreemden maar slechts 20,8% voor bekende paren).
  • In video bereikt het beste model ($gemini\_video$) een hoge nauwkeurigheid ($d' \approx 1,12$) voornamelijk door bijna alle paren als "vreemde" te labelen (91,7% vreemden-recall, 41,7% bekenden-recall), terwijl de menselijke crowd gebalanceerd blijft ($c = 0,06$).
• Conclusie: Modellen bereiken pariteit in nauwkeurigheid niet door menselijke discriminatie te evenaren, maar door een effectieve prior aan te nemen die ervan uitgaat dat vreemden gebruikelijker zijn, wat leidt tot een scheve beslisregel.

Individuele Verschillen en Moeilijkheidsgraad

• Rater Eigenschappen: Individuele sociale intelligentie-eigenschappen (TSIS) zijn grotendeks niet gecorreleerd met nauwkeurigheid in audio en video.
• Dyade Moeilijkheidsgraad: Moeilijkheid is een eigenschap van de interactie zelf. Dyaden die moeilijk zijn voor mensen, zijn over het algemeen ook moeilijk voor modellen, en deze moeilijkheid is overdraagbaar tussen modaliteiten (bijv. audio-video correlatie $r=0,61$). Echter, mensen en modellen missen vaak verschillende klassen vanwege hun verschillende beslisregels.

Betekenis en Claims

Het artikel claimt dat hoewel huidige multimodale modellen een menselijk niveau van nauwkeurigheid hebben bereikt op deze specifieke sociale perceptie taak, ze nog niet menselijke perceptie evenaren.

1. De Visuele Kloof: De meest significante divergentie is het gebruik van het visuele kanaal. Mensen zetten zichtbare gedragscues betrouwbaar om in nauwkeurigheidswinsten ten opzichte van alleen spraak; huidige modellen vatten het vocale signaal wel op, maar benutten het visuele kanaal onvoldoende.
2. Bias versus Discriminatie: Hoge nauwkeurigheid in sociale perceptietaken kan een ernstige klasse-bias maskeren. Modellen kunnen competent lijken door simpelweg standaard voor "vreemde" te kiezen, een gedrag dat zou falen in real-world toepassingen waar de basisfrequenties anders zijn of waar het missen van een "bekend" paar andere gevolgen heeft.
3. Evaluatiestandaard: De auteurs betogen dat het evalueren van sociale perceptie meer vereist dan een enkele nauwkeurigheidsmetriek. Metrieken zoals per-class recall, signal detection statistieken ($d'$ en $c$), en item-niveau moeilijkheid zijn noodzakelijk om te onthullen of een model werkelijk de interactie "begrijpt" of slechts statistische priors exploiteert.

De benchmark dient als een meetinstrument om te bepalen of toekomstige modellen in staat zijn om relaties op een gebalanceerde manier te lezen, waarbij zij visueel gedrag gebruiken zoals mensen dat doen, in plaats van enkel te vertrouwen op spraak of bevooroordeelde priors.