💻 computer science

CogniRoute: Learning to Route Social Evidence in Omni-Modal Models

Het artikel introduceert CogniRoute, een schema-gestuurd Mixture-of-Experts-framework dat is verbeterd met route-bewuste reinforcement learning en is getraind op de nieuwe OmniSocialBench-dataset, wat het beantwoorden van vragen over sociale video's aanzienlijk verbetert door effectief multi-modale bewijslast te routeren en te coördineren voor complexe redeneertaken die betrokken zijn bij gebaren, toon en temporele aanwijzingen.

Oorspronkelijke auteurs: Yifan Shen, Pei Tian, Xinzhuo Li, Bowen Fang, Shujun Xia, Bingxuan Li, Ana Jojic, Wenming Ye, Xu Cao, James Matthew Rehg, Ismini Lourentzou

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yifan Shen, Pei Tian, Xinzhuo Li, Bowen Fang, Shujun Xia, Bingxuan Li, Ana Jojic, Wenming Ye, Xu Cao, James Matthew Rehg, Ismini Lourentzou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een mysterie probeert op te lossen in een drukke kamer. Je hebt een videocamera, een microfoon en een transcript van wat mensen zeggen. Om het mysterie op te lossen, moet je weten wat je moet bekijken, hoe je het moet interpreteren en wanneer het gebeurde.

De meeste huidige AI-modellen zijn als detectives die al deze apparatuur hebben, maar niet weten hoe ze deze moeten gebruiken. Ze kijken misschien naar de video wanneer ze naar de toon van de stem zouden moeten luisteren, of ze focussen zich op het verkeerde moment in de tijd. Ze kunnen vaak het juiste antwoord raden door geluk of door patronen te onthouden, maar ze begrijpen niet echt waarom het antwoord correct is.

Dit artikel introduceert CogniRoute, een nieuwe manier om AI te trainen om een betere detective te worden. Dit is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het Probleem: De AI als "Ondiep Specialist"

Huidige AI-modellen kunnen tegelijkertijd zien, horen en lezen. Maar wanneer je ze een lastige sociale vraag stelt (zoals: "Is die persoon echt blij, of doet hij alsof?"), raken ze vaak in de war. Ze negeren misschien een subtiele gezichtsuitdrukking omdat ze te veel gefocust zijn op de gesproken woorden, of ze missen misschien een cruciale pauze van 2 seconden in het gesprek. Ze hebben toegang tot alle aanwijzingen, maar ze weten niet welke aanwijzing de "smoking gun" is.

2. De Oplossing: Een "Slimme Verkeersregelaar" (CogniRoute)

De auteurs hebben een systeem gebouwd genaamd CogniRoute. Beschouw het AI-model als een enorme fabriek met honderden gespecialiseerde werkers (genaamd "experts"). Sommige werkers zijn geweldig in het analyseren van gezichten, anderen in het begrijpen van toonhoogte, en anderen in het bijhouden van de tijd.

In een normale fabriek stuurt de manager (de router) het werk gewoon naar wie er beschikbaar is. In CogniRoute is de manager getraind om een slimme verkeersregelaar te zijn. Voordat hij een taak naar een werker stuurt, stelt de controller drie specifieke vragen over de taak:

Bewijslastbron: Moet ik naar de video kijken, naar de audio luisteren, of beide vergelijken?
Redeneereis: Moet ik alleen "zien" wat er gebeurde, of moet ik de verborgen gevoelens of sociale regels van iemand ontrafelen?
Tijdsbereik: Moet ik naar een fractie van een seconde kijken, of moet ik de hele scène bekijken?

3. De Training: Leren met een "Spiekbriefje"

Om deze verkeersregelaar te leren, hebben de onderzoekers een speciaal "spiekbriefje" gemaakt, de Cognitive Schema.

De Analogie: Stel je een student voor die een toets maakt. Meestal krijgen ze aan het einde alleen een cijfer (Goed/Fout). Met CogniRoute geeft de docent hen tijdens de toets een spiekbriefje dat zegt: "Voor deze vraag moet je naar de audio kijken en de timing controleren."
Het Proces: De AI wordt getraind om zijn interne "verkeerscontrole"-beslissingen af te stemmen op dit spiekbriefje. Het leert dat als een vraag vraagt om het begrijpen van een sarcastische toon, het de data naar de "audio-expert" en de "sociale expert" moet sturen, en niet alleen naar de "visuele expert".

4. De Versterking: "Goed gedaan, maar heb je het wel goed gedaan?"

Zelfs als de AI het juiste antwoord geeft, kan het zijn dat hij het door te gokken heeft gevonden. Om dit op te lossen, voegden de onderzoekers een tweede trainingsfase toe genaamd Route-Aware Reinforcement Learning.

De Analogie: Stel je een coach voor die een speler een doelpunt ziet scoren. Als de speler scoorde door de tegenstander te laten struikelen, zegt de coach: "Goed doelpunt, maar slechte techniek." Als ze scoorden door een perfecte pass, zegt de coach: "Geweldig doelpunt, geweldige techniek!"
De Beloning: De AI krijgt alleen een "hoge score" als:
1. Hij het antwoord goed heeft.
2. Hij het juiste type bewijs heeft gebruikt (bijv. de audio niet heeft genegeerd).
3. Hij op het juiste moment in de tijd heeft gefocust.

5. De Nieuwe Test: OmniSocialBench

Om te bewijzen dat dit werkt, heeft het team een nieuwe test gebouwd genaamd OmniSocialBench.

De Analogie: De meeste videotests zijn als een meerkeuzequiz waarbij je alleen de juiste letter kiest. OmniSocialBench is als een detective-examen waarbij je moet laten zien hoe je tot je antwoord bent gekomen. De test bevat 118.000 voorbeelden waarbij het "juiste antwoord" wordt gekoppeld aan een gedetailleerde kaart van welke aanwijzingen werden gebruikt en wanneer.
Het Resultaat: Op deze test scoorde CogniRoute 59,38%, waarmee het de beste bestaande AI-modellen met een enorme marge versloeg (meer dan 15% beter dan het beste propriëtaire model). Het was vooral goed in vragen die vereisten dat het audio en video combineerde of conflicten oploste (zoals wanneer iemand "Ik maak me goed" zegt, maar er verdrietig uitziet).

Samenvatting

CogniRoute is als het leren aan een AI om te stoppen met gokken en te beginnen met denken als een menselijke detective. In plaats van alleen te zoeken naar het juiste antwoord, leert het:

Te identificeren welk soort aanwijzing het nodig heeft (visueel, audio, of beide).
Te begrijpen hoe het die aanwijzing moet verwerken (eenvoudige observatie versus complexe sociale inferentie).
Het exacte moment te pinpointen wanneer die aanwijzing plaatsvond.

Door de AI te dwingen zijn "hersencapaciteit" naar de juiste specialisten te sturen op basis van deze aanwijzingen, wordt het veel beter in het begrijpen van de rommelige, complexe wereld van menselijke sociale interactie.

Technische Samenvatting: CogniRoute

Probleemstelling

Omni-modale modellen, die video, audio en tekst binnen een verenigd autoregressief systeem verwerken, hebben sterke capaciteiten getoond in multimodale perceptie. Er blijft echter een kritieke kloof bestaan tussen het hebben van toegang tot meerdere modaliteiten en het effectief benutten van de juiste bewijslast om een specifieke vraag te beantwoorden. Dit probleem is bijzonder acuut bij sociale video vraag-en-antwoordsystemen (QA), waarbij het juiste antwoord vaak afhangt van subtiele aanwijzingen zoals gebaren, vocale toon, temporele ordening of conflicten tussen gesproken woorden en visuele expressies.

Bestaande benchmarks superviseren doorgaans alleen het uiteindelijke antwoord, waardoor de onderliggende bewijsstructuur impliciet blijft. Gevolgelijk kunnen modellen correcte antwoorden produceren door te vertrouwen op de verkeerde modaliteit, te letten op irrelevante temporele segmenten, of gebruik te maken van dataset-prioriteiten. Bovendien missen standaard Mixture-of-Experts (MoE) routingmechanismen, die doorgaans worden geoptimaliseerd via next-token prediction en load balancing, expliciete supervisie op sample-niveau om verschillende typen multimodale redeneringen te onderscheiden (bijv. visueel-alleen versus audio-visuele conflictresolutie).

Methodologie: CogniRoute

Om deze uitdagingen aan te pakken, introduceren de auteurs CogniRoute, een schema-gestuurd MoE-trainingsframework ontworpen voor sociale omni-modale redenering. Het framework stemt de expert-routing af op de latente bewijsstructuur van elke input via twee primaire stadia:

1. Schema-Aligned Predictive Routing (SAPR)

Tijdens supervised fine-tuning (SFT) introduceert CogniRoute een trainingsspecifiek Cognitief Schema dat elk voorbeeld factoriseert in drie dimensies:

Evidence-Source (Bewijsbron): De relatie tussen audio- en visueel bewijs (Visueel, Audio, Gezamenlijk, of Conflict).
Reasoning-Demand (Redeneereis): De vereiste redeneeroperatie (bijv. Directe Perceptie, Sociale Norm, Mentale Toestand, Sarcasme).
Temporal-Scope (Temporele Omvang): Het tijdsvenster van relevante aanwijzingen (Momentaan, Lokaal Venster, Lange Range, Multi-segment).

De methode berekent een globale routing-signatuur door de waarschijnlijkheidsverdelingen van de router over input-tokens (video, audio, vraag) over alle MoE-lagen te poolen. Een lichtgewicht predictie-kop brengt deze signatuur in kaart naar een doel-embedding afgeleid van de schema-tags. De SAPR-loss stimuleert de router om onderscheidende signaturen te produceren voor samples met verschillende bewijsstructuren, waardoor het model effectief leert "weten" welke modaliteit en welk type redenering een vraag vereist voordat het het antwoord genereert.

2. Route-Aware MoE Reinforcement Learning (RMRL)

Standaard antwoord-waarschijnlijkheid is onvoldoende voor het optimaliseren van expert-allocatie, aangezien correcte antwoorden gegenereerd kunnen worden via incorrecte interne routes. CogniRoute introduceert een tweede trainingsstadium met behulp van Route-Aware MoE Reinforcement Learning. Dit stadium optimaliseert gezamenlijk de token-generatie en de expert-routing met behulp van een samengesteld beloningssignaal:

Antwoord Correctheid ( $\mathcal{R}_{ans}$ ): Een binaire beloning voor het uiteindelijke antwoord.
Modality-Consistent Reasoning ( $\mathcal{R}_{mcr}$ ): Een beloning (berekend via een bevroren LLM-judge) die verifieert of de gegenereerde redeneer-trace het antwoord expliciet fundeert in de vereiste modaliteits-bewijslast (visueel, audio, of beide) en de relatie tussen hen correct karakteriseert.
Cognitive Temporal Grounding ( $\mathcal{R}_{ctg}$ ): Een beloning die meet of de uiteindelijke redeneer-toestand van het model zich richt op het geannoteerde temporele bewijs-segment. Dit wordt berekend met behulp van de eigen causale aandachtsgewichten van het model over audio-visuele tokens, die worden omgezet in een temporele distributie en worden vergeleken met het grondwaarheid-bewijs-segment via KL-divergentie.

Het RL-doel stelt zowel de token-generatie-policy als de gate-selectie van de router bij met behulp van rollout-level advantages, wat ervoor zorgt dat succesvolle generaties niet alleen correct zijn, maar ook bewijs-bewust en temporeel gegrond.

Belangrijkste Bijdragen

CogniRoute Framework: Een schema-gestuurd MoE-framework dat de expert-routing afstemt op de bewijsstructuur van sociale video-vragen, waardoor het model in staat is om te onderscheiden wanneer het op specifieke modaliteiten moet vertrouwen, conflicten moet oplossen of temporeel gegronde inferentie moet uitvoeren.
Route-Aware Reinforcement Learning: Een nieuw RL-doel dat zowel de antwoordgeneratie als de expert-allocatie optimaliseert met beloningen voor correctheid, modaliteitsconsistentie en temporele gronding, waarmee verder wordt gegaan dan eenvoudige antwoord-supervisie.
OmniSocialBench: Een diagnostische sociale video QA-resource met 118K gestructureerde trainingsvoorbeelden en een handmatig geverifieerde evaluatieset. In tegen tegenstelling tot standaard benchmarks biedt dit expliciete supervisie voor modaliteits-bewijs, audio-visuele relaties, redeneereisen en temporele bewijs-segmenten.

Resultaten

Geëvalueerd op OmniSocialBench, bereikt CogniRoute een gemiddelde nauwkeurigheid van 59,38%.

Het presteert beter dan de sterkste propriëtaire baseline (Gemini 3.1 Pro) met 15,33 procentpunt.
Het presteert beter dan de sterkste open-source omni baseline (Qwen3 Omni) met 26,77 procentpunt.
De meest significante winsten worden waargenomen in categorieën die complexe coördinatie vereisen, zoals Action Goal (+18,79% t.o.v. de beste baseline) en Social Norm inferentie (+24,80%).

Buiten OmniSocialBench verbetert CogniRoute de prestaties op 8 van de 10 publieke audio-visuele en video-redeneerbenchmarks (inclusief OmniBench, WorldSense en Video-MME-v2), wat aantoont dat de voorgestelde routing- en reinforcement-doelen generaliseren naar bredere multimodale taken.

Betekenis en Claims

Het paper claimt dat evidence-structured routing een effectief trainingssignaal is voor het verbeteren van sociale omni-modale redenering. Door de interne routing van het model expliciet te superviseren volgens de bewijsstructuur (modaliteitsrelatie, redeneereis en temporele omvang), dwingt CogniRoute het model tot meer interpreteerbare en passende computatie.

De auteurs benadrukken dat hun aanpak het "black box"-karakter van multimodale redenering aanpakt, waarbij modellen vaak correcte antwoorden bereiken via spurieuze correlaties. CogniRoute laat zien dat het afstemmen van expert-allocatie op het cognitieve schema van de taak leidt tot substantiële verbeteringen in taken die cross-modale coördinatie, conflictresolutie en temporeel gegronde sociale inferentie vereisen. Het werk positioneert sociale video QA als een sterke testomgeving voor omni-modaal begrip, waarbij wordt benadrukt dat toegang tot meerdere modaliteiten noodzakelijk maar onvoldoende is zonder mechanismen om het juiste bewijs te selecteren en te integreren.