SocialOmni: Benchmarking Audio-Visual Social Interactivity in Omni Models

Dit paper introduceert SocialOmni, een nieuw benchmark voor omni-modale modellen die de sociale interactiviteit evalueert door drie kernaspecten van gespreksdynamiek te testen en zo een decoupling tussen perceptuele nauwkeurigheid en contextueel gepaste interrupties blootlegt.

De kern

SocialOmni: De "Sociale Dans" voor AI

Stel je voor dat je op een drukke feestje bent. Iedereen praat tegelijk, er wordt gelachen, iemand schreeuwt iets over de muziek en een ander fluistert een grapje. Om hier goed mee te doen, moet je niet alleen wat er gezegd wordt begrijpen, maar ook drie andere dingen:

1. Wie heeft het net gezegd? (Is dat de man links of de vrouw rechts?)
2. Wanneer moet jij iets zeggen? (Moet je nu onderbreken, of wachten tot ze klaar is?)
3. Hoe zeg je het? (Zeg je iets grappigs, serieus of steunend, passend bij de sfeer?)

Dit is precies wat mensen goed kunnen, maar waar kunstmatige intelligentie (AI) nog veel moeite mee heeft.

Het Probleem: De "Stomme" AI

Tot nu toe hebben we AI getest met vragen als: "Wat zie je op deze video?" of "Wat is het antwoord op deze vraag?". Het is alsof we een dansleraar testen door te vragen of hij de stappen uit zijn hoofd kent, maar we laten hem nooit echt dansen met een partner.

De huidige AI-modellen (zogenoemde "Omni-modellen") zijn slim in het beantwoorden van vragen, maar ze zijn vaak slecht in het meedoen aan een gesprek. Ze kunnen de woorden horen, maar ze snappen niet wanneer ze moeten stoppen met praten, wie er precies aan het woord is als er drie mensen tegelijk in beeld zijn, of hoe ze een gesprek natuurlijk moeten voortzetten.

De Oplossing: SocialOmni

De auteurs van dit paper hebben een nieuwe test ontwikkeld, genaamd SocialOmni. Ze noemen het een "benchmark", maar je kunt het zien als een sociale danswedstrijd voor AI.

Ze hebben 12 van de slimste AI-modellen ter wereld uitgedaagd om mee te doen aan dit feestje. De test bestaat uit drie hoofddelen:

1. De "Wie"-test (Oren en Ogen):
   De AI moet kijken naar een video met meerdere mensen en horen wie er praat.

   • De valkuil: Soms is het gezicht van de spreker niet te zien, of praat iemand terwijl de camera op een ander gericht is. De AI moet dan slim zijn en zeggen: "Ho, dat is niet de persoon die ik zie, maar degene die ik hoor!"
   • Resultaat: Veel AI's kijken alleen naar het gezicht dat het grootst in beeld is en vergeten te luisteren.

2. De "Wanneer"-test (Het Dansmoment):
   De AI moet beslissen: "Moet ik nu iets zeggen?"

   • De valkuil: Als je te vroeg praat, onderbreek je iemand (onbeleefd). Als je te laat praat, is het gesprek voorbij (verlegen).
   • Resultaat: Sommige AI's zijn te agressief (ze onderbreken constant), terwijl andere te bang zijn (ze praten nooit). De beste modellen vinden het perfecte moment.

3. De "Hoe"-test (De Dansstijl):
   Als de AI mag praten, moet het iets zeggen dat past bij de situatie.

   • De valkuil: Als iemand verdrietig is, moet je niet een grapje maken. Als iemand boos is, moet je niet lachen.
   • Resultaat: Veel AI's zeggen wel iets, maar het klinkt als een robot die een script leest. Het mist de "menselijke" connectie.

De Verbluffende Bevindingen

Toen ze de resultaten keken, ontdekten ze iets verrassends:

• Slim zijn in kijken, betekent niet slim zijn in praten.
  Een AI die perfect kan zeggen wie er praat (de "Wie"-test), kan vaak heel slecht zijn in het kiezen van het juiste moment om te praten (de "Wanneer"-test). Het is alsof iemand die perfect kan dansen, maar totaal geen ritme heeft voor de muziek.
• De "Onzichtbare" fouten.
  Als je een AI alleen test op of het antwoord klopt, zie je niet dat het gesprek onnatuurlijk is. SocialOmni laat zien dat een AI een gesprek kan "winnen" door het juiste antwoord te geven, maar het gesprek toch kan verpesten door op het verkeerde moment te praten.

Waarom is dit belangrijk?

Voor de toekomst willen we AI's die niet alleen antwoorden geven, maar die echt kunnen meedoen aan een gesprek. Denk aan een virtuele assistent die je helpt terwijl je kookt, of een robot die met kinderen kan spelen. Die moeten weten wanneer ze moeten luisteren, wie ze moeten aanspreken, en hoe ze zich moeten gedragen.

Kortom: SocialOmni is de eerste grote test die kijkt of AI's niet alleen "slim" zijn, maar ook "sociaal" kunnen zijn. Het leert ons dat voor een echt goed gesprek, je niet alleen je hersenen, maar ook je gevoel voor timing en menselijke interactie nodig hebt. En tot nu toe, zijn de AI's daar nog niet helemaal klaar voor.

Technische samenvatting

Probleemstelling

Omni-modale grote taalmodellen (OLMs) integreren native audio, visuele en tekstuele informatie om mens-machine interactie te herdefiniëren. Echter, bestaande benchmarks voor OLMs zijn grotendeels verankerd in statische, nauwkeurigheidsgerichte taken (zoals het beantwoorden van vragen over vooraf geselecteerde videofragmenten). Hierdoor ontbreekt het aan een kritische evaluatie van sociale interactiviteit: het vermogen om dynamische cues in natuurlijke dialogen te navigeren.

In een live dialoog is succes niet alleen afhankelijk van de semantische juistheid van een antwoord, maar ook van sociale timing en coherentie. Een model moet kunnen bepalen:

1. Wie spreekt er op dit moment? (Zelfs als de audio en video niet overeenkomen).
2. Wanneer is het juiste moment om in te breken of te reageren?
3. Hoe moet de interruptie of reactie geformuleerd worden om natuurlijk en contextueel passend te klinken?

Bestaande benchmarks behandelen deze aspecten vaak geïsoleerd of negeren ze volledig, wat leidt tot een vertekend beeld van de werkelijke conversatievaardigheden van modellen.

Methodologie: SocialOmni Benchmark

De auteurs introduceren SocialOmni, een uitgebreide benchmark die sociale interactiviteit operationaliseert via drie kerndimensies: Who (sprekeridentificatie), When (timing van interrupties) en How (generatie van natuurlijke interrupties).

1. Dataset Constructie:

• Omvang: De dataset bevat 2.000 perceptie-stalen en een kwaliteitsgecontroleerde diagnostische set van 209 interactie-generatie-voorbeelden.
• Domeinen: De data is afkomstig uit 15 subcategorieën verdeeld over 4 domeinen (Entertainment, Professioneel, Dagelijks Leven, Narratief).
• Consistentie: Een uniek kenmerk is de opzet van "consistent" en "inconsistent" scenario's. In inconsistent scenario's wijkt het beeld (wie zichtbaar is) af van de audio (wie er spreekt), wat de robuustheid van het model tegen cross-modale conflicten test.

2. Taakontwerp:

• Taak I (Who - Perceptie): Een meerkeuzevraag waarbij het model moet identificeren wie er op een specifiek tijdstip spreekt, gebaseerd op visuele cues, akoestische kenmerken en dialogische context. Er worden distractoren gebruikt die verkeerde sprekers met juiste tekst (en vice versa) combineren om fouten in visuele grounding versus spraakherkenning te ontkoppelen.
• Taak II (When & How - Generatie):
  • When: Het model moet een binaire beslissing nemen ("Moet er nu gesproken worden?") op basis van een lopende video/audio-stream. De timing wordt gemeten als een offset ten opzichte van het ideale moment (te vroeg, perfect, te laat).
  • How: Als het model kiest om te spreken, moet het een contextueel passende, natuurlijke reactie genereren.

3. Evaluatieprotocol:

• Perceptie: Gemeten via Top-1 nauwkeurigheid en Macro-F1.
• Timing: Gemeten via een "signed response offset" en gecategoriseerd in vijf fasen (Interrupted, Perfect, Delayed, TooLate, NoResponse).
• Kwaliteit (How): Geëvalueerd via een "LLM-as-a-judge" protocol met drie onafhankelijke judges (GPT-4o, Gemini 2.5 Pro, Qwen3-Omni) die scores geven op een schaal van 25-100 voor coherentie en sociale geschiktheid.

Belangrijkste Bijdragen

1. Nieuwe Benchmark: SocialOmni is het eerste benchmark dat de geïntegreerde triade van multi-party conversatie (Who, When, How) simultaan evalueert onder strikte temporale en cross-modale constraints.
2. Dual-Axis Evaluatie: Het protocol koppelt frame-level perceptiediagnose aan multi-judge generatiescoring, waardoor een analyse van de ontkoppeling tussen perceptie en generatie mogelijk wordt.
3. Robuustheidstests: Door gecontroleerde audio-visuele inconsistenties in te bouwen, kwantificeert de benchmark hoe goed modellen omgaan met conflicterende informatie (bijv. een gezicht dat niet overeenkomt met de stem).

Resultaten

De auteurs hebben 12 toonaangevende OLMs geëvalueerd (waaronder GPT-4o, Gemini 2.5/3, Qwen3-Omni, etc.). De resultaten tonen twee opvallende patronen:

1. Grote Variatie en Geen Dominantie: Geen enkel model excelleert op alle drie de dimensies.

   • Qwen3-Omni scoort het hoogst op Who (69,25%).
   • Gemini 3 Pro Preview scoort het hoogst op When (67,31%).
   • Gemini 2.5 Flash scoort het hoogst op How (85,08).
   • Open-source modellen lopen over het algemeen significant achter op commerciële API's, vooral op het gebied van responskwaliteit.

2. Ontkoppeling van Perceptie en Generatie: Er is een sterke ontkoppeling tussen perceptienauwkeurigheid en de kwaliteit van gegenereerde interrupties. Modellen die uitstekend zijn in het identificeren van sprekers (Who), produceren niet per se natuurlijke interrupties (How). Dit betekent dat hoge scores op begrijpende taken (QA) niet garanderen dat een model sociaal competent is in een dynamische dialoog.

3. Foutpatronen:

   • Perceptie: Modellen falen vaak bij cross-modale temporal coherentie (bijv. een reactieshot toont een ander gezicht dan de spreker) en vertrouwen te veel op tekstuele matching in plaats van stem-gezicht binding.
   • Timing: Sommige modellen zijn te agressief (interrupteren tijdens pauzes die geen wisselpunt zijn), terwijl andere te conservatief zijn (reageren te laat).
   • Generatie: Zelfs bij juiste timing is de gegenereerde inhoud vaak generiek of emotioneel niet passend, wat wijst op een gebrek aan diepgaand sociaal begrip.

Betekenis en Conclusie

De paper concludeert dat bestaande, op "juistheid" gerichte benchmarks ontoereikend zijn om conversatieve sociale competentie te karakteriseren. De resultaten tonen aan dat het begrijpen van content en het kunnen interageren in een sociale context fundamenteel verschillende vaardigheden zijn.

SocialOmni biedt een noodzakelijk kader om de kloof tussen perceptie en interactie te dichten. Het biedt inzichtelijke signalen voor de toekomstige ontwikkeling van OLMs, waarbij de focus moet verschuiven van enkel het beantwoorden van vragen naar het proactief en sociaal adequaat deelnemen aan dynamische, multi-party dialogen. De benchmark benadrukt dat voor echte "Omni"-modellen, robuustheid tegen cross-modale conflicten en fijne temporale timing even belangrijk zijn als semantische nauwkeurigheid.