CoGR-MoE: Concept-Guided Expert Routing with Consistent Selection and Flexible Reasoning for Visual Question Answering

1. Il Problema: Instabilità del Routing e Rigidità nella Ragionamento

Il Visual Question Answering (VQA) richiede ai modelli di identificare la risposta corretta tra diverse opzioni basandosi su evidenze visive e testuali. Le architetture recenti basate su Mixture-of-Experts (MoE) migliorano il ragionamento assegnando compiti diversi a "esperti" specializzati. Tuttavia, questi modelli affrontano due sfide critiche:

1. Instabilità del Routing: Per domande semanticamente simili ma formulate diversamente, il meccanismo di routing (che decide quali esperti attivare) può diventare incoerente, selezionando set di esperti diversi per lo stesso tipo di problema.
2. Rigidità nella Discriminazione delle Opzioni: Al contrario, metodi che cercano di stabilizzare il routing tendono a fissare un set di esperti per una certa categoria di domande. Questo riduce la flessibilità necessaria per discriminare a livello di singola opzione di risposta. Se il set di esperti è statico, il modello fatica a catturare le evidenze distinte richieste da ciascuna opzione candidata, portando a errori nel ragionamento comparativo.

2. Metodologia: CoGR-MoE

Gli autori propongono CoGR-MoE, un framework che bilancia la stabilità della selezione degli esperti con la flessibilità necessaria per la discriminazione delle opzioni. Il sistema si articola in tre fasi principali:

A. Generazione di Cues Semantici (Semantic Cues)

Un Large Language Model (LLM) genera descrizioni semantiche per ogni opzione di risposta:

• Cues Positivi: Attributi visivi che devono essere presenti nell'immagine affinché l'opzione sia corretta.
• Cues Negativi: Attributi che, se presenti, contraddicono l'opzione.
  Viene calcolato un punteggio di incertezza (unc) basato sulla varianza tra le varianti parafrasate dei cues e la loro coerenza con l'immagine. Questo permette di pesare l'affidabilità delle informazioni durante l'addestramento.

B. Routing Guidato dai Concetti (Concept-Guided Routing)

Per stabilizzare la selezione degli esperti, il modello utilizza i cues dell'opzione corretta (durante l'addestramento) per guidare il router:

1. Viene costruita una direzione semantica ($s_a$) calcolando la differenza tra i vettori dei cues positivi e negativi dell'opzione corretta.
2. Questa direzione viene iniettata nei logit di routing come segnale guida, creando un "router insegnante" (Router T) che seleziona gli esperti Top-K allineati semanticamente alla risposta corretta.
3. Un router studente (Router S) viene addestrato per imitare le decisioni del Router T tramite distillazione della conoscenza (KL-divergence), permettendo l'inferenza senza la necessità di generare cues in tempo reale.

C. Ripesatura Consapevole delle Opzioni (Option-Aware Reweighting)

Dopo che il set Top-K di esperti è stato selezionato (condiviso tra tutte le opzioni), il modello applica una ripesatura dinamica:

• Ogni opzione $j$ utilizza i propri cues per generare un segnale di ripesatura ($s_j$).
• Questo segnale modula i pesi degli esperti selezionati, permettendo a ciascun candidato di enfatizzare gli aspetti rilevanti degli esperti condivisi.
• Il risultato è una rappresentazione specifica per ogni opzione ($\tilde{h}_j$) che mantiene la coerenza del routing ma permette una discriminazione fine.

D. Funzione di Perdita (Training Objective)

L'addestramento combina tre componenti:

1. Cross-Entropy pesata: Utilizza l'incertezza (unc) per ridurre l'impatto dei campioni con cues instabili.
2. Perdita Contrastiva: Allinea la rappresentazione dell'opzione corretta con i cues positivi e spinge quelle errate verso i cues negativi.
3. Perdita di Distillazione: Allinea il comportamento del router studente con quello dell'insegnante.

3. Contributi Chiave

• Framework CoGR-MoE: Un nuovo approccio MoE che stabilizza la selezione degli esperti iniettando direzioni semantiche derivate dalle risposte corrette nel processo di routing.
• Meccanismo di Ripesatura Dinamica: Migliora la discriminazione a livello di opzione adattando i contributi degli esperti in base al contenuto specifico di ogni candidato, senza compromettere la coerenza del routing.
• Validazione Sperimentale: Dimostrazione empirica che bilanciare stabilità e flessibilità porta a prestazioni superiori rispetto ai metodi MoE esistenti.

4. Risultati Sperimentali

Il modello è stato valutato su benchmark VQA multimodali come VMCBench e MRAG-Bench, confrontandosi con modelli base come MOE-LLaVA, MH-MoE e I2MoE.

• Prestazioni Generali: CoGR-MoE ha ottenuto la massima accuratezza complessiva su entrambi i backbone testati (MoE-LLaVA e Qwen3-VL), raggiungendo un 68.96% su Qwen3-VL nel benchmark MRAG.
• Miglioramenti Specifici: Ha mostrato guadagni significativi (fino al 4.9% di miglioramento assoluto) in compiti che richiedono ragionamento spaziale e trasformazioni visive (es. "Perspective" e "Transformative" in MRAG-Bench).
• Analisi di Ablazione:
  • La rimozione della direzione semantica ($s_a$) o della distillazione ha causato il calo più drastico delle prestazioni.
  • La rimozione della perdita contrastiva ha ridotto la capacità di discriminazione fine.
  • La configurazione ottimale è stata trovata con 8 esperti totali e 2 attivati (Top-2).
• Stabilità del Routing: Le analisi mostrano che CoGR-MoE produce un routing più "affilato" (sharpness) e meno variabile all'interno della stessa categoria semantica rispetto ai baseline, confermando una migliore coerenza semantica.

5. Significato e Implicazioni

CoGR-MoE risolve il dilemma fondamentale dei modelli MoE nel VQA: come mantenere una selezione di esperti stabile per garantire coerenza semantica, senza sacrificare la flessibilità necessaria per distinguere tra risposte sottilmente diverse.

• Interpretabilità: Il modello offre una maggiore interpretabilità, mostrando come gli esperti vengano selezionati in base a direzioni semantiche chiare.
• Efficienza: Durante l'inferenza, il modello non richiede la generazione di cues (che avviene solo offline per l'addestramento), mantenendo la stessa complessità computazionale dei modelli MoE standard.
• Limiti: Il metodo dipende dalla generazione di cues tramite LLM durante l'addestramento (costo computazionale aggiuntivo) e potrebbe essere sensibile a bias o allucinazioni dell'LLM generatore. Inoltre, è stato valutato principalmente su compiti a scelta multipla, lasciando aperta l'applicazione a generazione aperta.

In sintesi, CoGR-MoE rappresenta un avanzamento significativo nel ragionamento visivo multimodale, dimostrando che l'integrazione di segnali semantici guidati dalle risposte nel meccanismo di routing può migliorare sia la robustezza che la precisione dei modelli di visione artificiale.