Technische Samenvatting: LatentRouter

Probleemstelling

Multimodale Large Language Models (MLLM's) vertonen aanzienlijke heterogeniteit in hun sterktes voor taken zoals Optische Karakterherkenning (OCR), het begrijpen van diagrammen, ruimtelijk redeneren en het beantwoorden van visuele vragen (VQA), evenals in hun operationele kosten en latenties. Hoewel een "sterkere" gemiddelde prestatie niet impliceert dat één model universeel optimaal is, vereist effectief routeren het afstemmen van specifieke multimodale query-eisen (bijvoorbeeld dichte tekst versus diagramindeling) op de mogelijkheden van kandidaatmodellen.

Bestaande routeringsbenaderingen voor Multi-LLM-systemen zijn overwegend ontworpen voor tekst-only invoer, waarbij ze vertrouwen op schattingen van query-moeilijkheid, betrouwbaarheidsscores of cascaderingsbeleid. Deze methoden falen vaak in het multimodale domein omdat de optimale modelkeuze afhangt van visuele signalen, gevoeligheid voor indeling en interacties tussen afbeelding en vraag die niet volledig kunnen worden vastgelegd door alleen tekst-afgeleide kenmerken. Het converteren van afbeeldingen naar expliciete tekst (bijvoorbeeld bijschriften, OCR) is kostbaar, onvolledig en vaak onvoldoende voor routeringsrelevante visuele informatie. Bijgevolg staat MLLM-routering voor twee gekoppelde uitdagingen: het behouden van compacte maar informatieve multimodale routeringssignalen uit de invoer en het afstemmen van deze query-eisen op heterogene modelmogelijkheden om nut te voorspellen.

Methodologie: LATENTROUTER

De auteurs stellen LATENTROUTER voor, een router die MLLM-routering formuleert als contrfactuele multimodale nutvoorspelling. In plaats van een query direct af te beelden op een vast model-ID, schat de router hoe elke kandidaat-MLLM zou presteren op de huidige afbeelding-vraag-invoer en selecteert het model met de hoogste voorspelde nut.

Kernarchitectuur

Het systeem bestaat uit vijf sleutelcomponenten:

1. Multimodale Routeringscapsules:
   In plaats van het gebruik van één samengevoegde query-vector, stelt LATENTROUTER de query voor als een kleine set geleerde multimodale routeringscapsules ($R(x)$). Deze worden geëxtraheerd door geleerde capsule-query's cross-attention te laten toepassen op de gezamenlijke afbeelding-vraagsequentie. Ze worden end-to-end getraind om alleen de informatie te behouden die noodzakelijk is voor het voorspellen van welk kandidaatmodel goed zal presteren.

2. Modelcapaciteitstokens:
   Elke kandidaat-MLLM wordt vertegenwoordigd door een capaciteitstoken ($a_i$) dat is opgebouwd uit metadata, waaronder kalibratieprofielen, genormaliseerde kosten, latentie en statistieken op slice-niveau of paarsgewijze gedrag. Dit stelt de router in staat om om te gaan met variabele modelpools zonder een vaste classificatiedimensie.

3. Latente Communicatie:
   De router stemt query-eisen af op modelcapaciteiten via een meerstaps proces voor latente communicatie:

   • Model-geconditioneerde Attention: Elk modeltoken leest de routeringscapsules, waardoor verschillende modellen kunnen letten op verschillende signalen (bijvoorbeeld visuele tekst versus ruimtelijke aanwijzingen).
   • Paarsgewijze Vergelijking: Modeltokens interageren via availability-masked self-attention met paarsgewijze vergelijkingenbias om relatieve sterktes te evalueren.
   • Feedback: Routeringscapsules ontvangen gewogen feedback van modelstaten, met nadruk op kandidaten nabij de beslissingsgrens om de queryrepresentatie te verfijnen.

4. Distributionele Contrfactuele Uitkomstvoorspelling:
   Een gedeelde kop voorspelt een verdeling (gemiddelde $\mu_i$ en onzekerheid $\sigma_i$) over de antwoordkwaliteit voor elke kandidaat. Deze distributionele benadering maakt gebruik van de volledige vector van waargenomen uitkomsten uit trainingsporen om relatieve sterktes en zwaktes te modelleren.

5. Beperkte Capsulecorrectie:
   Een residuale correctieterm ($\Delta^{cap}_i$) wordt toegevoegd aan het voorspelde gemiddelde. Deze correctie is begrensd door een scalair $\rho$ (met behulp van een $\tanh$-activering), waardoor wordt gegarandeerd dat het beslissingen nabij de grens verfijnt zonder dat ruisende residusignalen zelfverzekerde basisvoorspellingen overheersen.

Training en Beleid

De router wordt getraind op modelpool-uitkomstsporen met behulp van een samengestelde verliesfunctie:

• Distributioneel Verlies: Heteroscedastische Gaussische negatieve log-likelihood om gemiddelde en onzekerheid te voorspellen.
• Paarsgewijze Rankingverlies: Moedigt hogere scores aan voor modellen met een hogere waargenomen nut.
• Lijstgewijs Verlies: Stemt de voorspelde nutverdeling af op de waargenomen verdeling.
• Nutsregressie & Regularisatie: Directe nutsregressie en residuale regularisatie.

Het uiteindelijke routeringsbeleid selecteert het model $m_i$ dat $s_i(x) = \tilde{\mu}_i(x) - \lambda c_i$ maximaliseert, waarbij $\lambda$ de afweging tussen prestaties en kosten regelt. Niet-beschikbare modellen worden tijdens het scoren gemaskeerd.

Belangrijkste Bijdragen

1. Contrfactuele Nutsformulering: Het artikel herformuleert MLLM-routering als het voorspellen van de uitkomst van elk kandidaatmodel op dezelfde query, wat ondersteuning biedt voor op prestaties gerichte en op prestatie-kosten gerichte routering, evenals dynamische modelpools via gedeelde scoring en beschikbaarheidsmaskering.
2. Architectuur voor Latente Capaciteitsmatching: De introductie van een router die geleerde routeringscapsules en modelcapaciteitstokens gebruikt die via latente communicatie met elkaar verbonden zijn om query-eisen af te stemmen op modelcapaciteiten.
3. Uitgebreide Evaluatie: Uitgebreide experimenten op MMR-Bench en VL-RouterBench die superioriteit aantonen ten opzichte van vaste-model-, kenmerkniveau- en geleerde-router-baselines.

Experimentele Resultaten

• Prestaties: LATENTROUTER behaalt de beste non-oracle resultaten op beide benchmarks in zowel op prestaties gerichte als op prestatie-kosten gerichte instellingen. Verbeteringen zijn statistisch significant (bijvoorbeeld $p < 0,001$ op de kosteninstelling van VL-RouterBench).
• Taksgevoeligheid: Winsten zijn het meest uitgesproken voor taken die fijnkorrelige multimodale signalen vereisen, zoals OCR, het begrijpen van diagrammen en wiskunde/STEM-redenering, waarbij de modelkeuze sterk afhankelijk is van visuele en indelingskenmerken.
• Contrfactuele Voorspelling: De router presteert beter dan baselines op rangschikkingsmetrieken (NDCG, Spearman-correlatie, Top-3 recall), wat aangeeft dat het effectief de relatieve ordening van modelcapaciteiten voorspelt in plaats van alleen gemiddelde scores.
• Ablatiestudies: Latente communicatie wordt geïdentificeerd als de primaire bijdrager aan prestatiewinsten. Het verwijderen ervan veroorzaakt de grootste prestatiedaling. De distributionele kop en beperkte correctie bieden consistente, kleinere verbeteringen.
• Flexibiliteit & Efficiëntie: De router gaat effectief om met veranderende kandidaatpools door middel van beschikbaarheidsmaskering. Het behaalt de beste gemiddelde primaire metriek terwijl het de laagste latentie behoudt onder geleerde routers (0,06 ms versus 0,10–0,17 ms voor anderen).

Betekenis en Claims

Het artikel beweert dat LATENTROUTER de specifieke beperkingen van tekstgerichte routering in multimodale systemen aanpakt door expliciet de interactie tussen query-specifieke visuele eisen en modelcapaciteiten te modelleren. De auteurs stellen dat de winsten voortkomen uit een effectievere query-model-matchingmechanisme in plaats van benchmark-specifieke shortcuts.

Het werk toont aan dat het behandelen van routering als een contrfactueel voorspellingsprobleem, gecombineerd met latente communicatie tussen query-capsules en modeltokens, een robuuste selectie mogelijk maakt over heterogene modelpools. De auteurs merken op dat hoewel de router de efficiëntie en kosteneffectiviteit verbetert, het afhankelijk is van kalibratiegegevens voor modelcapaciteitsprofielen, en dat toekomstig werk nodig is voor live implementatie, adaptieve kalibratie voor nieuwe modellen en uitbreidingen naar meerstaps routering. Het artikel benadrukt dat de router een modelselectiemechanisme is en geen garantie voor correctheid of veiligheid, met name in hoog-risicodomeinen.