vLLM Semantic Router: Signal Driven Decision Routing for Mixture-of-Modality Models

Le vLLM Semantic Router est un cadre de routage piloté par des signaux composites qui orchestre des règles de décision configurables pour acheminer intelligemment les requêtes vers le modèle le plus adapté dans des déploiements hétérogènes, en optimisant simultanément les coûts, la latence et le respect des contraintes de sécurité et de confidentialité.

L'essentiel

Imaginez que vous êtes le directeur d'un immense hôtel de luxe, mais au lieu d'accueillir des voyageurs, vous recevez des millions de questions chaque jour. Dans votre hôtel, vous avez une équipe très diverse : des experts en mathématiques, des poètes, des codeurs, des traducteurs, et même des robots très rapides mais un peu bêtes, et d'autres très lents mais géniaux.

Le problème ? Comment savoir, en une fraction de seconde, à qui donner chaque question ? Si vous envoyez une question de code à un poète, le résultat sera nul. Si vous envoyez une question simple à un expert très cher, vous perdez de l'argent.

C'est exactement ce que résout le vLLM Semantic Router (le "Routeur Sémantique"), décrit dans ce papier. C'est un système intelligent qui agit comme un concierge ultra-rapide et surdoué pour les modèles d'intelligence artificielle.

Voici comment cela fonctionne, expliqué simplement avec des images :

1. Le Concierge qui a des "Super-Sens" (L'Orchestration des Signaux)

Imaginez que votre concierge ne se contente pas de lire la question. Il a des super-pouvoirs pour analyser la demande en quelques millisecondes :

• L'odorat (Mots-clés) : Il sent immédiatement si la question parle de "cuisine" ou de "chirurgie".
• L'ouïe (Langue) : Il entend si le client parle français, chinois ou un dialecte rare.
• La vue (Contexte) : Il voit si la demande est courte ("Miam") ou un roman entier.
• L'intuition (IA) : Il utilise un petit cerveau artificiel pour deviner si la question est complexe, si elle demande des faits réels ou de la créativité.

Le génie du système, c'est qu'il peut combiner ces sens. Il peut dire : "Si c'est une question de code (odorat) ET qu'elle est en chinois (ouïe) ET que l'utilisateur est un VIP (vue), alors envoie-la au meilleur expert chinois."

2. Le Livre de Recettes Personnalisé (La Décision)

Une fois que le concierge a analysé la demande, il consulte un livre de recettes (les règles de décision). Ce livre n'est pas figé.

• Pour un hôpital, la recette dit : "Toute question sur la santé doit aller à un robot local et sécurisé, jamais sur Internet, et on vérifie qu'il n'y a pas de noms de patients cachés."
• Pour un développeur de jeux, la recette dit : "Si c'est une question simple, envoie-la au robot le moins cher et le plus rapide. Si c'est dur, envoie-la au plus intelligent."

Le système est flexible : on change la recette (la configuration) sans avoir à reconstruire tout l'hôtel (le code).

3. Le Portier de Sécurité (Les Plugins de Sécurité)

Avant de laisser entrer la demande dans la cuisine (le modèle), le système passe par des portiers de sécurité :

• Le détecteur de mensonges (HaluGate) : Si la question demande un fait réel (ex: "Qui a gagné la Coupe du Monde 2022 ?"), le système vérifie d'abord si c'est une question qui mérite une vérification. Si c'est juste une blague, il ne perd pas de temps. Si c'est un fait, il vérifie la réponse du robot pour s'assurer qu'il ne raconte pas n'importe quoi.
• Le filtre à données sensibles : Il scanne la demande pour s'assurer qu'il n'y a pas de numéros de carte de crédit ou d'adresses cachées avant de l'envoyer au modèle.

4. Le Magasin de Mémoire (Caches et Mémoire)

Le système a une mémoire incroyable.

• Le Cache Sémantique : Si quelqu'un demande "Quelle est la capitale de la France ?" et que le robot vient de répondre, le concierge se souvient de la réponse. Il n'a pas besoin de réveiller le robot, il donne la réponse directement. C'est comme si vous aviez déjà écrit la réponse sur un post-it.
• La Mémoire à long terme : Si un utilisateur revient après un mois et dit "Rappelle-toi, j'aime les chats", le système se souvient de cette préférence et ajuste la conversation, comme un ami qui se souvient de vos goûts.

5. L'Économie Intelligente (Sélection de Modèle)

Le système ne choisit pas seulement le "meilleur" robot, mais le meilleur rapport qualité/prix.

• Il utilise 13 méthodes différentes (comme un joueur d'échecs qui calcule plusieurs coups) pour décider : "Est-ce que je dois payer 10$pour un expert ou 0,01$ pour un robot rapide ?"
• Il gère aussi les fournisseurs : il peut envoyer la même demande à Google, Microsoft, Amazon ou à un serveur local, en choisissant celui qui est le moins cher ou le plus rapide à ce moment précis.

En Résumé

Le vLLM Semantic Router est comme un chef d'orchestre magique pour l'IA.

• Il écoute chaque demande avec des super-sens.
• Il décide instantanément quel musicien (modèle) doit jouer.
• Il vérifie que la musique est sûre et ne contient pas de fausses notes.
• Il économise de l'argent en utilisant les musiciens les moins chers quand c'est possible.
• Et tout cela, il le fait en changeant simplement la partition (la configuration), sans avoir à réécrire la musique pour chaque nouveau concert.

C'est ce qui permet aux entreprises d'utiliser des dizaines de modèles d'IA différents de manière fluide, sécurisée et économique, comme si c'était un seul et même super-modèle.

Résumé technique

Résumé Technique : vLLM Semantic Router

1. Problématique

L'écosystème des grands modèles de langage (LLM) est devenu extrêmement fragmenté selon plusieurs axes : la modalité (texte, code, vision, diffusion), l'échelle (de 1 milliard à plus de 100 milliards de paramètres), le coût (variations de prix par token jusqu'à 10x) et la spécialisation (modèles généraux vs. modèles fine-tunés).

Les organisations opèrent désormais des flottes hétérogènes de modèles, combinant des instances locales (vLLM) et des endpoints cloud (OpenAI, Anthropic, Azure, Bedrock, etc.). Cette hétérogénéité pose un défi fondamental d'optimisation au moment de l'inférence : comment router intelligemment chaque requête vers le modèle le plus approprié, tout en respectant des contraintes de coût, de latence, de confidentialité (PII), de sécurité (jailbreak) et de conformité spécifique au déploiement ?

Les approches précédentes se concentraient souvent sur le routage binaire (difficile vs. facile) ou sur la sélection de modèle isolée, sans intégrer la gestion multi-fournisseurs, l'extraction de signaux complexes, ou les politiques de sécurité granulaires dans un cadre unifié.

2. Méthodologie et Architecture

Le système proposé, vLLM Semantic Router, est un framework de routage piloté par les signaux, conçu comme un processeur externe pour Envoy. Son innovation centrale est l'orchestration de signaux composable, permettant d'adapter le même moteur de routage à des scénarios de déploiement radicalement différents (santé, développement, entreprise multi-cloud) uniquement par configuration, sans modification du code.

L'architecture repose sur trois couches distinctes :

A. Couche 1 : Extraction de Signaux (Signal Extraction)

Le système transforme une requête entrante en un vecteur de signaux structuré $S(r)$ basé sur 11 types de signaux orthogonaux :

• Signaux heuristiques (< 1 ms) : Détection de mots-clés (Regex, BM25, N-grammes), longueur du contexte, langue, autorisation (RBAC).
• Signaux appris (10–120 ms) : Similarité d'embeddings, classification de domaine, ancrage factuel, détection de modalité, complexité de la requête, préférences utilisateur et feedback.
• Optimisation : Évaluation paresseuse (lazy evaluation) : seuls les signaux nécessaires aux décisions actives sont calculés, réduisant la latence de 50 à 70 %.

B. Couche 2 : Moteur de Décision (Decision Engine)

Les signaux sont évalués via des règles booléennes composites (arbres de décision avec AND, OR, NOT).

• Une décision $d$ est définie par une formule booléenne, un ensemble de modèles candidats $M_d$, une configuration de plugins et une priorité.
• Le moteur sélectionne la meilleure décision $d^*$ soit par priorité (déterministe), soit par confiance (basée sur les scores des classificateurs).
• L'expressivité du système est prouvée comme étant complète (tout politique de routage peut être exprimée), s'inspirant de la logique combinatoire des circuits numériques.

C. Couche 3 : Chaîne de Plugins (Plugin Chain)

Une fois une décision sélectionnée, une chaîne de plugins spécifique à cette décision est exécutée :

• Pré-routage : Détection de jailbreak, filtrage PII, mise en cache sémantique, injection de contexte RAG, injection de prompts système, mutation d'en-têtes pour l'authentification.
• Sélection de modèle : Un algorithme de sélection sémantique choisit le modèle optimal parmi les candidats de la décision.
• Post-routage : Détection d'hallucinations (HaluGate), écriture dans le cache.

D. Sélection de Modèle Sémantique

Le système intègre 13 algorithmes de sélection unifiés sous une même interface :

• Basés sur le rating (Elo, statique).
• Basés sur les embeddings (RouterDC, hybride).
• Cascades (AutoMix, POMDP).
• Apprentissage Machine classique (KNN, SVM, MLP).
• Apprentissage par Renforcement (Thompson Sampling, GMTRouter).
• Sensibilité à la latence (Latency-Aware).
• Raisonnement multi-tours (ReMoM).

3. Contributions Clés

1. Architecture de Signal-Décision-Plugin Composable : Une architecture en trois couches qui permet de définir des politiques de déploiement complexes (confidentialité stricte, optimisation des coûts, multi-cloud) via des configurations YAML, sans changer l'architecture logicielle.
2. Sélection de Modèle Sémantique avec Conscience des Coûts : Un framework unifié combinant l'analyse sémantique de la requête et les contraintes de coût/latence pour sélectionner le meilleur modèle parmi une flotte hétérogène.
3. HaluGate (Détection d'Hallucinations à Portes) : Un pipeline en trois étapes (Sentinelle, Détecteur, Explainer) qui évite la vérification factuelle pour les requêtes non factuelles (40-60% des cas), réduisant le coût de détection de moitié tout en fournissant des diagnostics au niveau du token.
4. Support Multi-Fournisseurs et Multi-Endpoints : Abstraction native des protocoles (OpenAI, Anthropic, Bedrock, etc.) avec un factory d'autorisation pluggable pour gérer l'authentification (API Keys, OAuth, IAM cloud) et le routage vers plusieurs endpoints avec basculement.
5. Classification Multi-Tâches basée sur LoRA : Utilisation de l'adaptation à faible rang (LoRA) pour servir $n$ tâches de classification (domaine, PII, jailbreak, etc.) depuis un seul modèle de base. Cela réduit la mémoire requise d'un facteur $n$ (ex: 6x pour 6 tâches) par rapport à l'utilisation de modèles indépendants.
6. Support Complet de l'API OpenAI Responses : Gestion transparente des conversations multi-tours étatiques, y compris la traduction entre le format Responses API et Chat Completions, avec persistance de l'historique et du contexte de routage.

4. Résultats et Évaluation

Les évaluations présentées dans le papier démontrent l'efficacité du système sur plusieurs dimensions :

• Efficacité de l'Extraction de Signaux : Les signaux heuristiques s'exécutent en < 1 ms. Les signaux ML (sur GPU A100) varient de 15 à 120 ms. Grâce à l'évaluation parallèle, la latence globale est dominée par le signal le plus lent, et non par la somme.
• Efficacité Mémoire (LoRA) : Pour 6 tâches de classification, l'architecture LoRA réduit la mémoire modèle de ~6x (575 Mo contre 3438 Mo pour des modèles indépendants), tout en maintenant des performances prédictives équivalentes.
• Surcharge du Moteur de Décision : L'évaluation des règles booléennes est négligeable (< 0,1 ms pour 10 décisions), confirmant que le goulot d'étranglement reste l'extraction des signaux.
• Efficacité du Cache Sémantique : Avec un seuil de similarité de 0,92, les requêtes exactes obtiennent un taux de succès de 100% avec une latence de recherche < 5 ms, éliminant l'appel au modèle backend.
• Validation de Scénarios Diversifiés : Le système a été testé avec succès sur des scénarios variés (santé avec filtrage PII strict, outils développeurs avec cache agressif, entreprise multi-cloud avec basculement), prouvant la flexibilité de l'orchestration composable.

5. Signification et Impact

Le vLLM Semantic Router représente une avancée majeure dans la gestion des infrastructures LLM en production. Il résout le problème de la complexité croissante des flottes de modèles en passant d'un routage statique ou basé sur une seule dimension à une orchestration dynamique, contextuelle et pilotée par les signaux.

Ses principales implications sont :

• Opérationnel : Il permet aux équipes de gérer des déploiements hybrides (local/cloud) avec des politiques de sécurité et de coût différenciées via une seule configuration.
• Économique : L'optimisation des coûts via la sélection intelligente de modèles et la réduction de la mémoire via LoRA rendent les déploiements à grande échelle plus viables.
• Sécurité et Fiabilité : L'intégration native de la détection d'hallucinations (HaluGate) et du filtrage PII/jailbreak au niveau du pipeline de routage assure une qualité de service et une conformité accrues.
• Évolutivité : L'architecture modulaire (signaux, décisions, plugins) permet d'ajouter facilement de nouveaux fournisseurs, de nouveaux types de signaux ou de nouveaux algorithmes de sélection sans réécrire le cœur du système.

En résumé, ce travail fournit les fondations nécessaires pour passer d'une utilisation ponctuelle de LLM à une infrastructure de modèles unifiée, intelligente et adaptative, capable de répondre aux exigences rigoureuses des entreprises modernes.