Résumé Technique : LatentRouter

Énoncé du Problème

Les Modèles de Langage Multimodaux (MLLM) présentent une hétérogénéité significative dans leurs forces à travers des tâches telles que la reconnaissance optique de caractères (OCR), la compréhension de graphiques, le raisonnement spatial et la réponse aux questions visuelles (VQA), ainsi que dans leurs coûts opérationnels et leurs latences. Si une « meilleure » performance moyenne n'implique pas qu'un modèle unique soit universellement optimal, un routage efficace nécessite d'associer les exigences spécifiques des requêtes multimodales (par exemple, texte dense vs mise en page de diagramme) aux capacités des modèles candidats.

Les approches de routage existantes pour les systèmes Multi-LLM sont principalement conçues pour des entrées textuelles uniquement, s'appuyant sur l'estimation de la difficulté de la requête, les scores de confiance ou des politiques en cascade. Ces méthodes échouent souvent dans le domaine multimodal car le choix du modèle optimal dépend de signaux visuels, de la sensibilité à la mise en page et des interactions image-question qui ne peuvent être entièrement capturés par des caractéristiques dérivées du texte seul. La conversion des images en texte explicite (par exemple, légendes, OCR) est coûteuse, incomplète et souvent insuffisante pour les informations visuelles pertinentes pour le routage. Par conséquent, le routage des MLLM fait face à deux défis couplés : préserver des signaux de routage multimodaux compacts mais informatifs à partir de l'entrée, et aligner ces exigences de requête avec des capacités de modèles hétérogènes pour prédire l'utilité.

Méthodologie : LATENTROUTER

Les auteurs proposent LATENTROUTER, un routeur qui formule le routage des MLLM comme une prédiction d'utilité multimodale contrefactuelle. Au lieu de mapper directement une requête vers un identifiant de modèle fixe, le routeur estime comment chaque MLLM candidat se comporterait sur l'entrée image-question actuelle et sélectionne le modèle ayant l'utilité prédite la plus élevée.

Architecture Principale

Le système se compose de cinq composants clés :

1. Capsules de Routage Multimodales :
   Plutôt que d'utiliser un seul vecteur de requête regroupé, LATENTROUTER représente la requête comme un petit ensemble de capsules de routage multimodales apprises ($R(x)$). Elles sont extraites en faisant attention de manière croisée des requêtes de capsules apprises à la séquence conjointe image-question. Elles sont entraînées de bout en bout pour ne conserver que les informations nécessaires à la prédiction du modèle candidat qui performera bien.

2. Jeton de Capacité de Modèle :
   Chaque MLLM candidat est représenté par un jeton de capacité ($a_i$) construit à partir de métadonnées incluant des profils de calibration, un coût normalisé, une latence et des statistiques de comportement au niveau des tranches ou par paires. Cela permet au routeur de gérer des pools de modèles variables sans dimension de classificateur fixe.

3. Communication Latente :
   Le routeur aligne les exigences de la requête avec les capacités du modèle grâce à un processus de communication latente en plusieurs étapes :

   • Attention Conditionnée par le Modèle : Chaque jeton de modèle lit les capsules de routage, permettant à différents modèles de se concentrer sur différents signaux (par exemple, texte visuel vs indices spatiaux).
   • Comparaison par Paires : Les jetons de modèle interagissent via une auto-attention masquée par la disponibilité avec des biais de comparaison par paires pour évaluer les forces relatives.
   • Rétroaction : Les capsules de routage reçoivent une rétroaction pondérée des états des modèles, en mettant l'accent sur les candidats proches de la frontière de décision pour affiner la représentation de la requête.

4. Prédiction de Résultat Contrefactuel Distributionnel :
   Une tête partagée prédit une distribution (moyenne $\mu_i$ et incertitude $\sigma_i$) sur la qualité de la réponse pour chaque modèle candidat. Cette approche distributionnelle exploite le vecteur complet des résultats observés à partir des traces d'entraînement pour modéliser les forces et les faiblesses relatives.

5. Correction de Capsule Bornée :
   Un terme de correction résiduelle ($\Delta^{cap}_i$) est ajouté à la moyenne prédite. Cette correction est bornée par un scalaire $\rho$ (en utilisant une activation $\tanh$), garantissant qu'elle affine les décisions proches sans permettre à des signaux résiduels bruyants de dominer les prédictions de base confiantes.

Entraînement et Politique

Le routeur est entraîné sur des traces de résultats de pools de modèles en utilisant une fonction de perte composite :

• Perte Distributionnelle : Vraisemblance négative gaussienne hétéroscédastique pour prédire la moyenne et l'incertitude.
• Perte de Classement par Paires : Encourage des scores plus élevés pour les modèles ayant une utilité observée plus élevée.
• Perte Listwise : Fait correspondre la distribution d'utilité prédite à la distribution observée.
• Régression d'Utilité et Régularisation : Régression d'utilité directe et régularisation résiduelle.

La politique de routage finale sélectionne le modèle $m_i$ qui maximise $s_i(x) = \tilde{\mu}_i(x) - \lambda c_i$, où $\lambda$ contrôle le compromis entre performance et coût. Les modèles indisponibles sont masqués lors du scoring.

Contributions Clés

1. Formulation d'Utilité Contrefactuelle : L'article reformule le routage des MLLM comme la prédiction du résultat de chaque modèle candidat sur la même requête, soutenant le routage orienté performance et le routage performance-coût, ainsi que des pools de modèles dynamiques via un scoring partagé et un masquage de disponibilité.
2. Architecture d'Adéquation des Capacités Latente : L'introduction d'un routeur qui utilise des capsules de routage apprises et des jetons de capacité de modèle connectés via une communication latente pour aligner les exigences de la requête avec les capacités du modèle.
3. Évaluation Complète : Des expériences étendues sur MMR-Bench et VL-RouterBench démontrant la supériorité par rapport aux modèles fixes, aux approches au niveau des caractéristiques et aux routeurs appris.

Résultats Expérimentaux

• Performance : LATENTROUTER obtient les meilleurs résultats non-oracles sur les deux benchmarks dans les configurations orientées performance et performance-coût. Les améliorations sont statistiquement significatives (par exemple, $p < 0.001$ sur la configuration de coût de VL-RouterBench).
• Sensibilité aux Tâches : Les gains sont les plus prononcés sur les tâches nécessitant des signaux multimodaux fins, tels que l'OCR, la compréhension de graphiques/diagrammes et le raisonnement Math/STEM, où le choix du modèle dépend fortement des caractéristiques visuelles et de mise en page.
• Prédiction Contrefactuelle : Le routeur surpasse les références dans les métriques de classement (NDCG, corrélation de Spearman, rappel Top-3), indiquant qu'il prédit efficacement l'ordre relatif des capacités des modèles plutôt que de simples scores moyens.
• Études d'Ablation : La communication latente est identifiée comme le principal contributeur aux gains de performance. Son retrait provoque la plus grande baisse de performance. La tête distributionnelle et la correction bornée apportent des améliorations constantes mais plus petites.
• Flexibilité et Efficacité : Le routeur gère efficacement les pools de candidats changeants grâce au masquage de disponibilité. Il atteint la meilleure métrique primaire moyenne tout en maintenant la latence la plus faible parmi les routeurs appris (0,06 ms contre 0,10–0,17 ms pour les autres).

Signification et Revendications

L'article revendique que LATENTROUTER adresse les limitations spécifiques du routage centré sur le texte dans les systèmes multimodaux en modélisant explicitement l'interaction entre les exigences visuelles spécifiques à la requête et les capacités du modèle. Les auteurs affirment que les gains découlent d'un mécanisme d'adéquation requête-modèle plus efficace plutôt que de raccourcis spécifiques aux benchmarks.

Le travail démontre que traiter le routage comme un problème de prédiction contrefactuelle, combiné à une communication latente entre les capsules de requête et les jetons de modèle, permet une sélection robuste à travers des pools de modèles hétérogènes. Les auteurs notent que si le routeur améliore l'efficacité et le rapport coût-efficacité, il dépend de données de calibration pour les profils de capacité des modèles, et des travaux futurs sont nécessaires pour le déploiement en direct, la calibration adaptative pour les nouveaux modèles et les extensions au routage multi-étapes. L'article souligne que le routeur est un mécanisme de sélection de modèles et non une garantie de correction ou de sécurité, en particulier dans les domaines à haut risque.