💻 computer science

CogniRoute: Learning to Route Social Evidence in Omni-Modal Models

Das Papier stellt CogniRoute vor, ein Schema-gesteuertes Mixture-of-Experts-Framework, das durch pfadbewusstes Reinforcement Learning verbessert und auf dem neuen OmniSocialBench-Datensatz trainiert wurde, welches die Beantwortung von Fragen zu sozialen Videos signifikant verbessert, indem es die multimodale Evidenz für komplexe Aufgaben der logischen Schlussfolgerung, die Gestik, Tonfall und zeitliche Hinweise beinhalten, effektiv routet und koordiniert.

Ursprüngliche Autoren: Yifan Shen, Pei Tian, Xinzhuo Li, Bowen Fang, Shujun Xia, Bingxuan Li, Ana Jojic, Wenming Ye, Xu Cao, James Matthew Rehg, Ismini Lourentzou

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yifan Shen, Pei Tian, Xinzhuo Li, Bowen Fang, Shujun Xia, Bingxuan Li, Ana Jojic, Wenming Ye, Xu Cao, James Matthew Rehg, Ismini Lourentzou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Rätsel in einem überfüllten Raum zu lösen. Sie haben eine Videokamera, ein Mikrofon und ein Transkript dessen, was die Leute sagen. Um das Rätsel zu lösen, müssen Sie wissen, was Sie anschauen sollen, wie Sie es interpretieren sollen und wann es passiert ist.

Die meisten aktuellen KI-Modelle sind wie Detektive, die zwar all diese Ausrüstung besitzen, aber nicht wissen, wie man sie benutzt. Sie schauen vielleicht auf das Video, wenn sie eigentlich auf den Tonfall der Stimme hören sollten, oder sie konzentrieren sich auf den falschen Zeitpunkt. Sie können die richtige Antwort oft durch Glück oder durch das Auswendiglernen von Mustern erraten, aber sie verstehen nicht wirklich, warum die Antwort korrekt ist.

Dieses Paper stellt CogniRoute vor, einen neuen Weg, um eine KI zu einem besseren Detektiviv auszubilden. So funktioniert es, unterteilt in einfache Konzepte:

1. Das Problem: Die „Alleskönner, aber Meister von nichts“-KI

Aktuelle KI-Modelle können gleichzeitig sehen, hören und lesen. Aber wenn man ihnen eine knifflige soziale Frage stellt (wie: „Ist diese Person wirklich glücklich oder spielt sie nur vor?“), sind sie oft verwirrt. Sie ignorieren vielleicht einen subtilen Gesichtsausdruck, weil sie zu sehr auf die gesprochenen Worte fixiert sind, oder sie übersehen eine entscheidende zweisekündige Pause im Gespräch. Sie haben Zugriff auf alle Hinweise, aber sie wissen nicht, welcher Hinweis der „rauchende Colt“ ist.

2. Die Lösung: Ein „schlauer Verkehrskontrolleur“ (CogniRoute)

Die Autoren haben ein System namens CogniRoute entwickelt. Stellen Sie sich das KI-Modell wie eine riesige Fabrik mit Hunderten von spezialisierten Arbeitern (genannt „Experten“) vor. Einige Arbeiter sind großartig darin, Gesichter zu analysieren, andere beim Verständnis des Tonfalls und wieder andere beim Verfolgen der Zeit.

In einer normalen Fabrik schickt der Manager (der Router) die Arbeit einfach an denjenigen, der gerade frei ist. In CogniRoute ist der Manager darauf trainiert, ein schlauer Verkehrskontrolleur zu sein. Bevor er eine Aufgabe an einen Arbeiter sendet, stellt der Controller drei spezifische Fragen zur Aufgabe:

Evidenzquelle: Muss ich das Video anschauen, dem Audio zuhören oder beides vergleichen?
Argumentationsbedarf: Muss ich nur „sehen“, was passiert ist, oder muss ich die verborgenen Gefühle oder sozialen Regeln einer Person ergründen?
Zeitskala: Muss ich mir einen Bruchteil einer Sekunde ansehen oder die gesamte Szene beobachten?

3. Das Training: Lernen mit einem „Spickzettel“

Um diesen Verkehrskontrolleur zu lehren, haben die Forscher einen speziellen „Spickzettel“ namens Cognitive Schema erstellt.

Die Analogie: Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt. Normalerweise erhält er erst am Ende eine Note (Richtig/Falsch). Mit CogniRoute gibt ihm der Lehrer während der Prüfung einen Spickzettel, der besagt: „Für diese Frage musst du auf das Audio achten und die Zeit überprüfen.“
Der Prozess: Die KI wird darauf trainiert, ihre internen „Verkehrskontroll“-Entscheidungen mit diesem Spickzettel abzugleichen. Sie lernt, dass sie, wenn eine Frage das Verständnis eines sarkastischen Tonfalls erfordert, die Daten an den „Audio-Experten“ und den „Sozialen Experten“ leiten muss, und nicht nur an den „Visuellen Experten“.

4. Die Verstärkung: „Gut gemacht, aber hast du es richtig gemacht?“

Selbst wenn die KI die richtige Antwort gibt, könnte sie diese durch Raten erreicht haben. Um dies zu beheben, fügten die Forscher eine zweite Trainingsphase hinzu, die Route-Aware Reinforcement Learning genannt wird.

Die Analogie: Stellen Sie sich einen Trainer vor, der einen Spieler beobachtet, der ein Tor schießt. Wenn der Spieler das Tor erzielte, indem er den Gegner zu Fall brachte, sagt der Trainer: „Gutes Tor, aber schlechte Technik.“ Wenn er durch eine perfekte Flanke traf, sagt er: „Tolles Tor, tolle Technik!“
Die Belohnung: Die KI erhält nur dann eine „hohe Punktzahl“, wenn sie:
1. Die Antwort richtig hat.
2. Die richtige Art von Beweisen genutzt hat (z. B. das Audio nicht ignoriert hat).
3. Den richtigen Moment in der Zeit fokussiert hat.

5. Der neue Test: OmniSocialBench

Um dies zu beweisen, entwickelte das Team einen neuen Test namens OmniSocialBench.

Die Analogie: Die meisten Videotests sind wie ein Multiple-Choice-Quiz, bei dem man nur den richtigen Buchstaben auswählen muss. OmniSocialBench ist wie eine Detektivprüfung, bei der man seinen Lösungsweg aufzeigen muss. Der Test umfasst 118.000 Beispiele, bei denen die „richtige Antwort“ mit einer detaillierten Karte verknüpft ist, welche Hinweise verwendet wurden und wann dies geschah.
Das Ergebnis: In diesem Test erreichte CogniRoute 59,38 % und übertraf damit die besten existierenden KI-Modelle um eine riesige Marge (über 15 % besser als das führende proprietäre Modell). Es war besonders gut in Fragen, die es erforderten, Audio und Video zu mischen oder Konflikte aufzulösen (wie etwa, wenn jemand sagt „Mir geht es gut“, aber traurig aussieht).

Zusammenfassung

CogniRoute ist wie die Lehre einer KI, aufzuhören zu raten und stattdessen wie ein menschlicher Detektiv zu denken. Anstatt nur nach der richtigen Antwort zu suchen, lernt sie:

Zu identifizieren, welche Art von Hinweis sie benötigt (visuell, auditiv oder beides).
Zu verstehen, wie sie diesen Hinweis verarbeiten muss (einfache Beobachtung vs. komplexe soziale Schlussfolgerung).
Den genauen Zeitpunkt zu bestimmen, wann dieser Hinweis auftrat.

Indem sie die KI dazu zwingt, ihre „Denkkraft“ basierend auf diesen Hinweisen an die richtigen Spezialisten zu leiten, wird sie viel besser darin, die chaotische, komplexe Welt der menschlichen sozialen Interaktion zu verstehen.

Technisches Resümee: CogniRoute

Problemstellung

Omni-modale Modelle, die Video, Audio und Text innerhalb eines einheitlichen autoregressiven Systems verarbeiten, haben eine starke Leistungsfähigkeit in der multimodalen Wahrnehmung bewiesen. Es besteht jedoch eine kritische Lücke zwischen dem Zugriff auf mehrere Modalitäten und der effektiven Nutzung der richtigen Evidenz zur Beantwortung einer spezifischen Frage. Dieses Problem ist besonders akut bei der sozialen Video-Fragebeantwortung (QA), bei der die korrekte Antwort oft von subtilen Hinweisen wie Gestik, dem Tonfall der Stimme, der zeitlichen Abfolge oder Konflikten zwischen gesprochenen Worten und visuellen Ausdrücken abhängt.

Bestehende Benchmarks supervidieren typischerweise nur die endgültige Antwort, wodurch die zugrunde liegende Evidenzstruktur implizit bleibt. Infolgedessen können Modelle korrekte Antworten produzieren, indem sie sich auf die falsche Modalität verlassen, auf irrelevante zeitliche Segmente achten oder Datensatz-Priors ausnutzen. Zudem mangelt es Standard-Mixture-of-Experts (MoE)-Routing-Mechanismen, die typischerweise über die Next-Token-Prediction und Lastverteilung optimiert werden, an einer expliziten Stichproben-Supervision, um zwischen verschiedenen Arten des multimodalen Schließens (z. B. rein visueller vs. Audio-Visuell-Konfliktlösung) zu unterscheiden.

Methodik: CogniRoute

Um diese Herausforderungen zu adressieren, führen die Autoren CogniRoute ein Schema-gesteuertes MoE-Trainingsframework für soziales omni-modales Schließen ein. Das Framework richtet das Expert-Routing an der latenten Evidenzstruktur jedes Inputs durch zwei primäre Stufen aus:

1. Schema-Aligned Predictive Routing (SAPR)

Während des Supervised Fine-Tuning (SFT) führt CogniRoute ein trainingsspezifisches Kognitives Schema ein, das jedes Beispiel in drei Dimensionen faktorisiert:

Evidence-Source (Evidenzquelle): Die Beziehung zwischen Audio- und visueller Evidenz (Visuell, Audio, Gemeinsam oder Konflikt).
Reasoning-Demand (Schlussfolgerungsbedarf): Die erforderliche Denkoperation (z. B. Direkte Wahrnehmung, Soziale Norm, Mentaler Zustand, Sarkasmus).
Temporal-Scope (Zeitlicher Umfang): Das Zeitfenster relevanter Hinweise (Momentan, Lokales Fenster, Langreichweite, Multi-Segment).

Die Methode berechnet eine globale Routing-Signatur, indem die Wahrscheinlichkeitsverteilungen des Routers über die Input-Token (Video, Audio, Frage) über alle MoE-Layer hinweg poolt. Ein leichtgewichtiger Prediction-Head bildet diese Signatur auf ein Ziel-Embedding ab, das aus den Schema-Tags abgeleitet wurde. Der SAPR-Loss ermutigt den Router, distinkte Signaturen für Stichproben mit unterschiedlichen Evidenzstrukturen zu erzeugen, wodurch das Modell effektiv lernt, „zu wissen“, welche Modalität und welcher Schlusstyp eine Frage erfordert, bevor es die Antwort generiert.

2. Route-Aware MoE Reinforcement Learning (RMRL)

Die Standard-Antwort-Likelihood ist unzureichend für die Optimierung der Expertenzuweisung, da korrekte Antworten über fehlerhafte interne Routen generiert werden können. CogniRoute führt eine zweite Trainingsstufe mittels Route-Aware MoE Reinforcement Learning ein. Diese Stufe optimiert sowohl die Token-Generierung als auch das Expert-Routing unter Verwendung eines zusammengesetzten Belohnungssignals:

Antwortkorrektheit ( $\mathcal{R}_{ans}$ ): Eine binäre Belohnung für die endgültige Antwort.
Modalitäts-Konsistentes Schließen ( $\mathcal{R}_{mcr}$ ): Eine Belohnung (berechnet über einen gefrorenen LLM-Judge), die verifiziert, ob der generierte Reasoning-Trace die Antwort explizit in der erforderlichen Modalitäts-Evidenz (visuell, audio oder beides) begründet und deren Beziehung korrekt charakterisiert.
Kognitive Temporale Fundierung ( $\mathcal{R}_{ctg}$ ): Eine Belohnung, die misst, ob der finale Reasoning-Zustand des Modells auf den annotierten zeitlichen Evidenzbereich fokussiert. Dies wird über die kausalen Attention-Gewichte des Modells über die Audio-Visuell-Token berechnet, in eine temporale Verteilung umgewandelt und mittels KL-Divergenz mit dem Ground-Truth-Evidenzspan verglichen.

Das RL-Ziel aktualisiert sowohl die Token-Generierungspolitik als auch die Gate-Selektion des Routers unter Verwendung von Rollout-Level-Advantages. Dies stellt sicher, dass erfolgreiche Generationen nicht nur korrekt, sondern auch evidenzbewusst und temporal fundiert sind.

Wichtigste Beiträge

CogniRoute Framework: Ein Schema-gesteuertes MoE-Framework, das das Expert-Routing mit der Evidenzstruktur sozialer Videofragen abgleicht und es dem Modell ermöglicht, zu unterscheiden, wann es sich auf spezifische Modalitäten verlassen, Konflikte lösen oder temporal fundierte Inferenzen durchführen muss.
Route-Aware Reinforcement Learning: Ein neuartiges RL-Ziel, das die Antwortgenerierung und die Expertenzuweisung durch Belohnungen für Korrektheit, Modalitätskonsistenz und temporale Fundierung gemeinsam optimiert und damit über eine einfache Antwort-Supervision hinausgeht.
OmniSocialBench: Eine diagnostische soziale Video-QA-Ressource, die 118.000 strukturierte Trainingsbeispiele und einen manuell verifizierten Evaluierungs-Split enthält. Im Gegensatz zu Standard-Benchmarks bietet sie explizite Supervision für Modalitäts-Evidenz, Audio-Visuell-Beziehungen, Reasoning-Anforderungen und temporale Evidenzspannen.

Ergebnisse

Auf OmniSocialBench evaluiert, erreicht CogniRoute eine durchschnittliche Genauigkeit von 59,38 %.

Es übertrifft die stärkste proprietäre Baseline (Gemini 3.1 Pro) um 15,33 Prozentpunkte.
Es übertrifft die stärkste Open-Source-Omni-Baseline (Qwen3 Omni) um 26,77 Prozentpunkte.
Die signifikantesten Gewinne werden in Kategorien erzielt, die eine komplexe Koordination erfordern, wie etwa Action Goal (+18,79 % gegenüber der besten Baseline) und Social Norm Inferenz (+24,80 %).

Über OmniSocialBench hinaus verbessert CogniRoute die Leistung in 8 von 10 öffentlichen Audio-Visuell- und Video-Reasoning-Benchmarks (einschließlich OmniBench, WorldSense und Video-MME-v2), was zeigt, dass die vorgeschlagenen Routing- und Reinforcement-Ziele auf breitere multimodale Aufgaben generalisieren.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass evidenzstrukturierte Routenführung ein effektives Trainingssignal zur Verbesserung des sozialen omni-modalen Schließens ist. Durch die explizite Supervision des internen Routings des Modells gemäß der Evidenzstruktur (Modalitätsrelation, Reasoning-Anforderung und temporaler Umfang) zwingt CogniRoute das Modell dazu, eine interpretierbarere und angemessenere Berechnung durchzuführen.

Die Autoren betonen, dass ihr Ansatz das „Black Box“-Problem des multimodalen Schließens adressiert, bei dem Modelle oft durch Schein-Korrelationen zu korrekten Antworten gelangen. CogniRoute zeigt, dass die Abstimmung der Expertenzuweisung mit dem kognitiven Schema der Aufgabe zu erheblichen Verbesserungen bei Aufgaben führt, die eine Kreuz-Modalitäts-Koordination, Konfliktlösung und temporal fundierte soziale Inferenz erfordern. Die Arbeit positioniert die soziale Video-QA als starken Teststand für das omnimodale Verständnis und hebt hervor, dass der Zugriff auf mehrere Modalitäten zwar notwendig, aber ohne Mechanismen zur Auswahl und Integration der korrekten Evidenz nicht ausreichend ist.