Technische Zusammenfassung: LatentRouter

Problemstellung

Multimodale Large Language Models (MLLMs) weisen eine erhebliche Heterogenität in ihren Stärken bei Aufgaben wie optischer Zeichenerkennung (OCR), Diagrammverständnis, räumlichem Schlussfolgern und visuellem Fragenbeantworten (VQA) auf, ebenso wie in ihren Betriebskosten und Latenzen. Während eine „stärkere" durchschnittliche Leistung nicht impliziert, dass ein einzelnes Modell universell optimal ist, erfordert ein effektives Routing die Abstimmung spezifischer multimodaler Abfrageanforderungen (z. B. dichter Text vs. Diagrammlayout) mit den Fähigkeiten der Kandidatenmodelle.

Bestehende Routing-Ansätze für Multi-LLM-Systeme sind überwiegend für rein textbasierte Eingaben konzipiert und stützen sich auf Schätzungen der Abfrageschwierigkeit, Konfidenzwerte oder kaskadierende Richtlinien. Diese Methoden versagen im multimodalen Bereich häufig, da die optimale Modellwahl von visuellen Signalen, Layoutsensitivität und Bild-Frage-Interaktionen abhängt, die allein durch textbasierte Merkmale nicht vollständig erfasst werden können. Die Umwandlung von Bildern in expliziten Text (z. B. Bildunterschriften, OCR) ist kostspielig, unvollständig und oft unzureichend für routingrelevante visuelle Informationen. Folglich steht das MLLM-Routing vor zwei gekoppelten Herausforderungen: die Bewahrung kompakter, aber informativer multimodaler Routing-Signale aus der Eingabe sowie die Ausrichtung dieser Abfrageanforderungen auf heterogene Modellfähigkeiten zur Vorhersage des Nutzens.

Methodik: LATENTROUTER

Die Autoren schlagen LATENTROUTER vor, einen Router, der MLLM-Routing als kontrafaktische multimodale Nutzenvorhersage formuliert. Anstatt eine Abfrage direkt auf eine feste Modell-ID abzubilden, schätzt der Router, wie jedes Kandidaten-MLLM auf die aktuelle Bild-Frage-Eingabe performen würde, und wählt das Modell mit dem höchsten vorhergesagten Nutzen aus.

Kernarchitektur

Das System besteht aus fünf Hauptkomponenten:

1. Multimodale Routing-Kapseln:
   Anstatt einen einzelnen gepoolten Abfragevektor zu verwenden, repräsentiert LATENTROUTER die Abfrage als eine kleine Menge gelernter multimodaler Routing-Kapseln ($R(x)$). Diese werden durch Cross-Attention gelernter Kapsel-Abfragen auf die gemeinsame Bild-Frage-Sequenz extrahiert. Sie werden end-to-end trainiert, um nur die Informationen zu behalten, die für die Vorhersage notwendig sind, welches Kandidatenmodell gut performen wird.

2. Modell-Fähigkeits-Token:
   Jedes Kandidaten-MLLM wird durch ein Fähigkeits-Token ($a_i$) repräsentiert, das aus Metadaten konstruiert wird, einschließlich Kalibrierungsprofilen, normalisierten Kosten, Latenz sowie statistischen Daten auf Slice-Ebene oder paarweisen Verhaltensstatistiken. Dies ermöglicht dem Router, variable Modellpools ohne feste Klassifikator-Dimension zu handhaben.

3. Latente Kommunikation:
   Der Router richtet Abfrageanforderungen an Modellfähigkeiten durch einen mehrstufigen Prozess latenter Kommunikation aus:

   • Modell-konditionierte Aufmerksamkeit: Jedes Modell-Token liest die Routing-Kapseln, wodurch verschiedene Modelle unterschiedliche Signale beachten können (z. B. visueller Text vs. räumliche Hinweise).
   • Paarweiser Vergleich: Modell-Token interagieren über availability-maskierte Self-Attention mit paarweisen Vergleichs-Bias, um relative Stärken zu bewerten.
   • Feedback: Routing-Kapseln erhalten gewichtetes Feedback von Modellzuständen, wobei Kandidaten nahe der Entscheidungsgrenze hervorgehoben werden, um die Abfragerepräsentation zu verfeinern.

4. Verteilte kontrafaktische Ergebnisvorhersage:
   Ein gemeinsamer Kopf sagt eine Verteilung (Mittelwert $\mu_i$ und Unsicherheit $\sigma_i$) über die Antwortqualität für jedes Kandidatenmodell voraus. Dieser verteilte Ansatz nutzt den vollständigen Vektor beobachteter Ergebnisse aus Trainingspfaden, um relative Stärken und Schwächen zu modellieren.

5. Begrenzte Kapsel-Korrektur:
   Ein Residual-Korrekturterm ($\Delta^{cap}_i$) wird zum vorhergesagten Mittelwert addiert. Diese Korrektur ist durch einen Skalar $\rho$ begrenzt (unter Verwendung einer $\tanh$-Aktivierung), was sicherstellt, dass sie nahe Entscheidungen verfeinert, ohne dass verrauschte Residualsignale konfidente Basisvorhersagen dominieren.

Training und Richtlinie

Der Router wird auf Modellpool-Ergebnispfaden mit einer zusammengesetzten Verlustfunktion trainiert:

• Verteilungsverlust: Heteroskedastische Gaußsche negative Log-Likelihood zur Vorhersage von Mittelwert und Unsicherheit.
• Paarweiser Ranking-Verlust: Begünstigt höhere Scores für Modelle mit höherem beobachteten Nutzen.
• Listenweiser Verlust: Passt die vorhergesagte Nutzenverteilung an die beobachtete Verteilung an.
• Nutzenregression & Regularisierung: Direkte Nutzenregression und Residualregularisierung.

Die finale Routing-Richtlinie wählt das Modell $m_i$ aus, das $s_i(x) = \tilde{\mu}_i(x) - \lambda c_i$ maximiert, wobei $\lambda$ den Trade-off zwischen Leistung und Kosten steuert. Nicht verfügbare Modelle werden während der Bewertung maskiert.

Hauptbeiträge

1. Kontrafaktische Nutzenformulierung: Das Papier stellt MLLM-Routing neu als Vorhersage des Ergebnisses jedes Kandidatenmodells auf derselben Abfrage dar, was leistungsorientiertes und leistungs-kostenbasiertes Routing sowie dynamische Modellpools durch gemeinsame Bewertung und Verfügbarkeitsmaskierung unterstützt.
2. Architektur latenter Fähigkeitsabstimmung: Die Einführung eines Routers, der gelernte Routing-Kapseln und Modell-Fähigkeits-Token verwendet, die über latente Kommunikation verbunden sind, um Abfrageanforderungen mit Modellfähigkeiten abzugleichen.
3. Umfassende Evaluation: Umfangreiche Experimente auf MMR-Bench und VL-RouterBench, die die Überlegenheit gegenüber Baselines mit festem Modell, auf Merkmalsebene und gelernten Routern nachweisen.

Experimentelle Ergebnisse

• Leistung: LATENTROUTER erzielt die besten nicht-orakelhaften Ergebnisse auf beiden Benchmarks in leistungsorientierten und leistungs-kostenbasierten Settings. Die Verbesserungen sind statistisch signifikant (z. B. $p < 0.001$ im Kosten-Setting von VL-RouterBench).
• Aufgabensensitivität: Die Gewinne sind am ausgeprägtesten bei Aufgaben, die feinabgestimmte multimodale Signale erfordern, wie OCR, Chart-/Diagrammverständnis und Mathematik/STEM-Schlussfolgern, wo die Modellwahl stark von visuellen und Layoutmerkmalen abhängt.
• Kontrafaktische Vorhersage: Der Router übertrifft Baselines bei Ranking-Metriken (NDCG, Spearman-Korrelation, Top-3-Recall), was darauf hindeutet, dass er die relative Reihenfolge der Modellfähigkeiten effektiv vorhersagt und nicht nur Durchschnittswerte.
• Ablationsstudien: Die latente Kommunikation wird als Hauptbeitrag zu Leistungsgewinnen identifiziert. Ihre Entfernung verursacht den größten Leistungsabfall. Der verteilte Kopf und die begrenzte Korrektur liefern konsistente, kleinere Verbesserungen.
• Flexibilität & Effizienz: Der Router bewältigt sich ändernde Kandidatenpools effektiv durch Verfügbarkeitsmaskierung. Er erzielt die beste durchschnittliche Primärmetrik bei gleichzeitig niedrigster Latenz unter gelernten Routern (0,06 ms vs. 0,10–0,17 ms für andere).

Bedeutung und Behauptungen

Das Papier behauptet, dass LATENTROUTER die spezifischen Einschränkungen textzentrierten Routings in multimodalen Systemen adressiert, indem es die Interaktion zwischen abfragespezifischen visuellen Anforderungen und Modellfähigkeiten explizit modelliert. Die Autoren betonen, dass die Gewinne aus einem effektiveren Abfrage-Modell-Abgleichmechanismus resultieren und nicht aus benchmarkspezifischen Abkürzungen.

Die Arbeit zeigt, dass die Behandlung von Routing als kontrafaktisches Vorhersageproblem, kombiniert mit latenter Kommunikation zwischen Abfragekapseln und Modell-Token, eine robuste Auswahl über heterogene Modellpools hinweg ermöglicht. Die Autoren stellen fest, dass der Router zwar Effizienz und Kosteneffektivität verbessert, jedoch Kalibrierungsdaten für Modellfähigkeitsprofile benötigt, und dass zukünftige Arbeiten für den Live-Einsatz, adaptive Kalibrierung für neue Modelle und Erweiterungen auf mehrstufiges Routing erforderlich sind. Das Papier betont, dass der Router ein Modellauswahlmechanismus ist und keine Garantie für Korrektheit oder Sicherheit darstellt, insbesondere in hochriskanten Domänen.