Riepilogo Tecnico: CogniRoute

Definizione del Problema

I modelli omnimodali, che ingeriscono video, audio e testo all'interno di un sistema autoregressivo unificato, hanno dimostrato forti capacità di percezione multimodale. Tuttavia, rimane un divario critico tra l'avere accesso a più modalità e l'utilizzare efficacemente l'evidenza corretta per rispondere a una domanda specifica. Questo problema è particolarmente acuto nel social video question answering (QA), dove la risposta corretta spesso dipende da segnali sottili come gesti, tono vocale, ordine temporale o conflitti tra le parole pronunciate e le espressioni visive.

I benchmark esistenti tipicamente supervisionano solo la risposta finale, lasciando la struttura dell'evidenza sottostante implicita. Di conseguenza, i modelli possono produrre risposte corrette affidandosi alla modalità sbagliata, prestando attenzione a segmenti temporali irrilevanti o sfruttando i priori del dataset. Inoltre, i meccanici di routing standard dei Mixture-of-Experts (MoE), che sono tipicamente ottimizzati tramite la predizione del next-token e il bilanciamento del carico, mancano di una supervisione esplicita a livello di campione per distinguere tra diversi tipi di ragionamento multimodale (ad esempio, percezione puramente visiva vs risoluzione di conflitti audio-visivi).

Metodologia: CogniRoute

Per affrontare queste sfide, gli autori introducono CogniRoute, un framework di addestramento MoE guidato da schemi (schema-guided) progettato per il ragionamento sociale omnimodale. Il framework allinea il routing degli esperti con la struttura latente dell'evidenza di ogni input attraverso due fasi primarie:

1. Schema-Aligned Predictive Routing (SAPR)

Durante il fine-tuning supervisionato (SFT), CogniRoute introduce uno Schema Cognitivo di sola fase di addestramento che fattorizza ogni esempio in tre dimensioni:

• Evidence-Source (Fonte dell'Evidenza): La relazione tra l'evidenza audio e quella visiva (Visiva, Audio, Congiunta o Conflitto).
• Reasoning-Demand (Richiesta di Ragionamento): L'operazione di ragionamento richiesta (ad esempio, Percezione Diretta, Norma Sociale, Stato Mentale, Sarcasmo).
• Temporal-Scope (Ambito Temporale): La finestra temporale dei segnali rilevanti (Momentanea, Finestra Locale, Lungo Raggio, Multi-segmento).

Il metodo calcola una firma di routing globale aggregando (pooling) le distribuzioni di probabilità del router sui token di input (video, audio, domanda) attraverso tutti gli strati MoE. Una testa di predizione leggera mappa questa firma a un embedding target derivato dai tag dello schema. La perdita SAPR incoraggia il router a produrre firme distinte per campioni con diverse strutture di evidenza, insegnando efficacemente al modello a "sapere" quale modalità e tipo di ragionamento richiede una domanda prima di generare la risposta.

2. Route-Aware MoE Reinforcement Learning (RMRL)

La verosimiglianza della risposta standard è insufficiente per ottimizzare l'allocazione degli esperti, poiché le risposte corrette possono essere generate tramite percorsi interni errati. CogniRoute introduce una seconda fase di addestramento utilizzando il Route-Aware MoE Reinforcement Learning. Questa fase ottimizza congiuntamente la generazione dei token e il routing degli esperti utilizzando un segnale di ricompensa composito:

• Correttezza della Risposta ($\mathcal{R}_{ans}$): Una ricompensa binaria per la risposta finale.
• Ragionamento Coerente con la Modalità ($\mathcal{R}_{mcr}$): Una ricompensa (calcolata tramite un LLM judge congelato) che verifica se la traccia di ragionamento generata fonda esplicitamente la risposta nell'evidenza della modalità richiesta (visiva, audio o entrambe) e caratterizza correttamente la loro relazione.
• Ancoraggio Temporale Cognitivo ($\mathcal{R}_{ctg}$): Una ricompensa che misura se lo stato di ragionamento finale del modello si concentra sull'intervallo di evidenza temporale annotato. Questa viene calcolata utilizzando i pesi dell'attenzione causale del modello sui token audio-visivi, convertiti in una distribuzione temporale e confrontati con l'intervallo di evidenza reale tramite divergenza KL.

L'obiettivo di RL aggiorna sia la policy di generazione dei token che la selezione della porta del router utilizzando gli advantage a livello di rollout, garantendo che le generazioni di successo siano non solo corrette, ma anche consapevoli dell'evidenza e ancorate temporalmente.

Contributi Chiave

1. Framework CogniRoute: Un framework MoE guidato da schemi che allinea il routing degli esperti con la struttura dell'evidenza delle domande video sociali, consentendo al modello di distinguere quando fare affidamento su modalità specifiche, risolvere conflitti o eseguire inferenze ancorate temporalmente.
2. Reinforcement Learning Consapevole del Routing (Route-Aware): Un nuovo obiettivo di RL che ottimizza congiuntamente la generazione della risposta e l'allocazione degli esperti utilizzando ricompense per correttezza, coerenza della modalità e ancoraggio temporale, andando oltre la semplice supervisione della risposta.
3. OmniSocialBench: Una risorsa diagnostica per il QA video sociale contenente 118K esempi di addestramento strutturati e una divisione di valutazione verificata manualmente. A differenza dei benchmark standard, fornisce supervisione esplicita per l'evidenza della modalità, le relazioni audio-visive, le richieste di ragionamento e gli intervalli di evidenza temporale.

Risultati

Valutato su OmniSocialBench, CogniRoute raggiunge un'accuratezza media del 59,38%.

• Supera il più forte baseline proprietario (Gemini 3.1 Pro) di 15,33 punti percentuali.
• Supera il più forte baseline omni open-source (Qwen3 Omni) di 26,77 punti percentuali.
• I guadagni più significativi si osservano nelle categorie che richiedono una coordinazione complessa, come Action Goal (+18,79% rispetto al miglior baseline) e l'inferenza di Social Norm (+24,80%).

Oltre a OmniSocialBench, CogniRoute migliora le prestazioni su 8 dei 10 benchmark pubblici di ragionamento audio-visivo e video (inclusi OmniBench, WorldSense e Video-MME-v2), dimostrando che il routing e gli obiettivi di rinforzo proposti si generalizzano a compiti multimodali più ampi.

Significato e Rivendicazioni

Il paper afferma che il routing strutturato sull'evidenza è un segnale di addestramento efficace per migliorare il ragionamento sociale omnimodale. Obbligando esplicitamente il modello a seguire l'evidenza strutturata (relazione tra modalità, richiesta di ragionamento e ambito temporale), CogniRoute forza il modello a impegnarsi in un calcolo più interpretabile e appropriato.

Gli autori sottolineano che il loro approccio affronta la natura di "scatola nera" del ragionamento multimodale, dove i modelli spesso arrivano a risposte corrette tramite correlazioni spurie. CogniRoute dimostra che allineare l'allocazione degli esperti con lo schema cognitivo del compito porta a miglioramenti sostanziali in compiti che richiedono coordinazione cross-modale, risoluzione di conflitti e inferenza sociale ancorata temporalmente. Il lavoro posiziona il QA video sociale come un testbed robusto per la comprensione omnimodale, evidenziando che l'accesso a più modalità è necessario ma insufficiente senza meccanismi per selezionare e integrare l'evidenza corretta.