Riepilogo Tecnico: LatentRouter

Enunciato del Problema

I Modelli Linguistici Multimodali di Grande Dimensione (MLLM) mostrano un'eterogeneità significativa nei loro punti di forza attraverso compiti quali il riconoscimento ottico dei caratteri (OCR), la comprensione di grafici, il ragionamento spaziale e la risposta a domande visive (VQA), così come nei costi operativi e nelle latenze. Sebbene una "maggiore" performance media non implichi che un singolo modello sia universalmente ottimale, un routing efficace richiede di abbinare i requisiti specifici delle query multimodali (ad esempio, testo denso rispetto a layout di diagrammi) con le capacità dei modelli candidati.

Gli approcci di routing esistenti per i sistemi Multi-LLM sono prevalentemente progettati per input di solo testo, basandosi sulla stima della difficoltà della query, sui punteggi di confidenza o su politiche a cascata. Questi metodi spesso falliscono nel dominio multimodale perché la scelta del modello ottimale dipende da segnali visivi, sensibilità al layout e interazioni immagine-domanda che non possono essere pienamente catturate dalle sole caratteristiche derivate dal testo. La conversione delle immagini in testo esplicito (ad esempio, didascalie, OCR) è costosa, incompleta e spesso insufficiente per le informazioni visive rilevanti per il routing. Di conseguenza, il routing MLLM affronta due sfide accoppiate: preservare segnali di routing multimodali compatti ma informativi dall'input e allineare questi requisiti di query con capacità di modello eterogenee per prevedere l'utilità.

Metodologia: LATENTROUTER

Gli autori propongono LATENTROUTER, un router che formula il routing MLLM come previsione controfattuale dell'utilità multimodale. Invece di mappare direttamente una query a un ID di modello fisso, il router stima come ogni MLLM candidato si comporterebbe sull'input corrente immagine-domanda e seleziona il modello con l'utilità prevista più alta.

Architettura Principale

Il sistema è composto da cinque componenti chiave:

1. Capsule di Routing Multimodali:
   Piuttosto che utilizzare un singolo vettore di query raggruppato, LATENTROUTER rappresenta la query come un piccolo insieme di capsule di routing multimodali apprese ($R(x)$). Queste vengono estratte incrociando l'attenzione tra capsule di query apprese e la sequenza congiunta immagine-domanda. Sono addestrate end-to-end per trattenere solo le informazioni necessarie per prevedere quale modello candidato si esibirà bene.

2. Token di Capacità del Modello:
   Ogni MLLM candidato è rappresentato da un token di capacità ($a_i$) costruito a partire da metadati inclusi profili di calibrazione, costo normalizzato, latenza e statistiche di comportamento a livello di slice o a coppie. Ciò consente al router di gestire pool di modelli variabili senza una dimensione di classificatore fissa.

3. Comunicazione Latente:
   Il router allinea i requisiti della query con le capacità del modello attraverso un processo di comunicazione latente multi-step:

   • Attenzione Condizionata al Modello: Ogni token di modello legge le capsule di routing, permettendo a modelli diversi di prestare attenzione a segnali diversi (ad esempio, testo visivo rispetto a indizi spaziali).
   • Confronto a Coppie: I token di modello interagiscono tramite auto-attenzione mascherata per disponibilità con bias di confronto a coppie per valutare i punti di forza relativi.
   • Feedback: Le capsule di routing ricevono feedback ponderato dagli stati del modello, enfatizzando i candidati vicini al confine decisionale per rifinire la rappresentazione della query.

4. Previsione Distribuzionale dell'Esito Controfattuale:
   Un head condiviso prevede una distribuzione (media $\mu_i$ e incertezza $\sigma_i$) sulla qualità della risposta per ogni modello candidato. Questo approccio distribuzionale sfrutta l'intero vettore di esiti osservati dalle tracce di addestramento per modellare punti di forza e debolezze relativi.

5. Correzione delle Capsule Limitata:
   Un termine di correzione residua ($\Delta^{cap}_i$) viene aggiunto alla media prevista. Questa correzione è limitata da uno scalare $\rho$ (utilizzando un'attivazione $\tanh$), assicurando che affini le decisioni vicine senza permettere a segnali residui rumorosi di dominare le previsioni di base confidenti.

Addestramento e Politica

Il router è addestrato su tracce di esito del pool di modelli utilizzando una funzione di perdita composita:

• Perdita Distribuzionale: Negative log-likelihood gaussiana eteroschedastica per prevedere media e incertezza.
• Perdita di Ranking a Coppie: Incoraggia punteggi più alti per i modelli con utilità osservata più alta.
• Perdita Listwise: Corrisponde la distribuzione di utilità prevista alla distribuzione osservata.
• Regressione dell'Utilità e Regularizzazione: Regressione diretta dell'utilità e regolarizzazione residua.

La politica di routing finale seleziona il modello $m_i$ che massimizza $s_i(x) = \tilde{\mu}_i(x) - \lambda c_i$, dove $\lambda$ controlla il compromesso tra performance e costo. I modelli non disponibili vengono mascherati durante la valutazione.

Contributi Chiave

1. Formulazione dell'Utilità Controfattuale: Il documento riformula il routing MLLM come previsione dell'esito di ogni modello candidato sulla stessa query, supportando il routing orientato alla performance e performance-cost, nonché pool di modelli dinamici tramite valutazione condivisa e mascheramento di disponibilità.
2. Architettura di Matching Capacità-Query Latente: L'introduzione di un router che utilizza capsule di routing apprese e token di capacità del modello connessi tramite comunicazione latente per allineare i requisiti della query con le capacità del modello.
3. Valutazione Completa: Esperimenti estensivi su MMR-Bench e VL-RouterBench che dimostrano la superiorità rispetto a baseline di modello fisso, a livello di caratteristiche e router appresi.

Risultati Sperimentali

• Performance: LATENTROUTER ottiene i migliori risultati non-oracolo su entrambi i benchmark in impostazioni orientate alla performance e performance-cost. I miglioramenti sono statisticamente significativi (ad esempio, $p < 0.001$ sull'impostazione di costo di VL-RouterBench).
• Sensibilità al Compito: I guadagni sono più pronunciati su compiti che richiedono segnali multimodali fini, come OCR, comprensione di Grafici/Diagrammi e ragionamento Matematico/STEM, dove la scelta del modello dipende fortemente da caratteristiche visive e di layout.
• Previsione Controfattuale: Il router supera le baseline nelle metriche di ranking (NDCG, correlazione di Spearman, recall Top-3), indicando che prevede efficacemente l'ordinamento relativo delle capacità del modello piuttosto che solo i punteggi medi.
• Studi di Ablazione: La comunicazione latente è identificata come il principale contributore ai guadagni di performance. La sua rimozione causa il calo di performance più grande. L'head distribuzionale e la correzione limitata forniscono miglioramenti consistenti ma più piccoli.
• Flessibilità ed Efficienza: Il router gestisce efficacemente pool di candidati variabili tramite mascheramento di disponibilità. Raggiunge la migliore metrica primaria media mantenendo la latenza più bassa tra i router appresi (0.06ms contro 0.10–0.17ms per gli altri).

Significato e Affermazioni

Il documento afferma che LATENTROUTER affronta le limitazioni specifiche del routing centrato sul testo nei sistemi multimodali modellando esplicitamente l'interazione tra requisiti visivi specifici della query e capacità del modello. Gli autori affermano che i guadagni derivano da un meccanismo di matching query-modello più efficace piuttosto che da scorciatoie specifiche del benchmark.

Il lavoro dimostra che trattare il routing come un problema di previsione controfattuale, combinato con la comunicazione latente tra capsule di query e token di modello, consente una selezione robusta attraverso pool di modelli eterogenei. Gli autori notano che, sebbene il router migliori efficienza e rapporto costo-efficacia, si basa su dati di calibrazione per i profili di capacità del modello, e sono necessari lavori futuri per il deployment live, la calibrazione adattiva per nuovi modelli ed estensioni al routing multi-step. Il documento sottolinea che il router è un meccanismo di selezione del modello e non una garanzia di correttezza o sicurezza, specialmente in domini ad alto rischio.