Résumé Technique : Routage de LLM à Niveaux Multiples par Classificateur à Porte pour les Industries Réglementées

Énoncé du Problème

Le déploiement de modèles de langage de grande taille (LLM) dans les industries réglementées (ex. : services financiers, santé) fait face à un arbitrage critique entre capacité, efficacité des coûts et conformité réglementaire. Les architectures de service actuelles ne parviennent pas à traiter simultanément trois contraintes spécifiques :

1. Résidence des Données et Conformité : Les réglementations telles que le RGPD, le SEBI, la RBI et la DPDPA de l'Inde imposent que les informations personnellement identifiables (PII) ne franchissent pas les frontières juridictionnelles. Les déploiements à modèle unique ne peuvent pas appliquer cela car les données entrent dans l'endpoint du modèle avant toute décision de routage.
2. Inefficacité du Service à Modèle Unique : Router toutes les requêtes vers un seul grand modèle consomme la pleine capacité GPU, quel que soit la complexité de la requête. Cela crée une contention d'infrastructure et ignore la réalité selon laquelle la plupart des requêtes dans les secteurs réglementés sont des recherches simples nécessitant uniquement de petits modèles.
3. Limites des Approches de Routage Existantes :
   • Mélange d'Experts (MoE) : Bien que le MoE route les tokens entre les couches d'experts, tous les experts restent chargés en mémoire, et le routage se produit après que les données sont arrivées à l'endpoint. Cela empêche l'application géographique de la résidence des données.
   • Méthodes de Routage Antérieures (FrugalGPT, RouteLLM, Hybrid LLM) : Ces approches se concentrent sur le coût ou la qualité mais manquent de détection intégrée des PII et de routage géographique. Elles n'imposent pas la conformité par conception, permettant souvent aux données sensibles de traverser des infrastructures transrégionales avant qu'une décision ne soit prise.

Méthodologie

Le document propose ComplianceGate, une architecture de routage par classificateur à porte qui impose la conformité et optimise les coûts au niveau de la couche de pré-inférence. Le système opère au sein d'un réseau privé et se compose de deux composants principaux :

1. Encodeur Classificateur

Un encodeur transformer bidirectionnel (12 couches, 768 dimensions cachées, ~134M de paramètres) se situe avant toute inférence de décodeur.

• Entraînement : Pré-entraîné sur 2 milliards de tokens de texte anglais et affiné sur 50 000 exemples spécifiques au domaine.
• Fonction : Il évalue le texte brut de la requête pour la complexité (simple, moyenne, complexe) et la sensibilité (présence de PII vs non-sensible).
• Sortie : Une distribution de probabilité sur six étiquettes (le produit croisé de 3 niveaux de complexité et de 2 dimensions de sensibilité) avec un score de confiance.
• Performance : Le temps d'inférence est inférieur à 10 ms (spécifiquement 7 ms lors des expériences).

2. Logique de Routage et Repli (Fallback)

La couche de routage interprète la sortie du classificateur pour prendre une décision déterministe avant tout calcul de LLM :

• Application Géographique : Les requêtes contenant des PII sont routées vers des endpoints locaux (au sein de la juridiction). Les requêtes non-sensibles sont routées vers des infrastructures transrégionales.
• Sélection de Niveau de Modèle (Tier) :
  • Requêtes simples $\rightarrow$ Petits modèles denses et rapides (ex. : Nova Lite, Gemma 4B).
  • Requêtes moyennes $\rightarrow$ Modèles de taille intermédiaire (ex. : Gemma 27B, Ministral 14B).
  • Requêtes complexes $\rightarrow$ Grands modèles capables (ex. : Qwen3-480B).
• Repli Basé sur la Confiance : Si la confiance du classificateur tombe en dessous d'un seuil configurable (par défaut 80 %), le système bascule par défaut sur l'étiquette la plus restrictive (complex_pii). Cela garantit que, en cas d'incertitude, les requêtes sont routées vers des modèles locaux à pleine capacité, empêchant structurellement les violations de résidence des données.

3. Architecture de Déploiement

Le système est conteneurisé et déployé via l'infrastructure-as-code. Chaque niveau de modèle opère sur une infrastructure indépendante sans mémoire partagée ni domaines de défaillance, permettant une mise à l'échelle et des mises à jour indépendantes sans affecter les autres niveaux.

Contributions Clés

1. Conformité par Conception : L'architecture rend les violations de résidence des données structurellement impossibles en détectant les PII et en routant vers des endpoints locaux avant que tout calcul de LLM ne commence.
2. Optimisation des Coûts Multi-Niveaux : Contrairement au routage binaire ou au MoE, ce système supporte plusieurs niveaux de modèles. Il route les requêtes simples vers des modèles coûtant 6 à 8 fois moins cher que les modèles de pointe, réduisant ainsi considérablement les coûts de service proportionnellement à la complexité réelle du trafic.
3. Performance et Résilience : En évitant la surcharge du traitement des requêtes simples par des modèles massifs, le système réduit la latence et augmente le débit. Les niveaux indépendants garantissent que les défaillances d'un modèle ne se propagent pas à l'ensemble du système.
4. Modèle de Coût Formel : Le document dérive un modèle mathématique pour les économies fractionnaires ($S$), démontrant que les économies sont maximisées lorsque les distributions de requêtes sont biaisées vers des requêtes simples (typiques dans les services financiers).

Résultats Expérimentaux

Le système a été évalué sur 600 requêtes en utilisant Amazon Bedrock (us-east-2) contre une base Qwen3-480B-A35B (MoE) versus la configuration de routage à porte.

• Précision : L'encodeur classificateur a atteint une précision de 99,2 % avec un rappel de PII quasi parfait.
• Réduction de la Latence :
  • Requêtes Simples : 2 à 4× plus rapides (490–840ms vs ~1850ms pour la base).
  • Requêtes Moyennes : 1,7 à 3,3× plus rapides (1140–2250ms vs ~3750ms pour la base).
  • Requêtes Complexes : Aucune différence (même modèle utilisé).
  • Latence Médiane : Réduction globale de 39 %.
• Débit : Le routage à porte a atteint 122–200 tokens/seconde pour les requêtes simples/moyennes, contre 50–64 tokens/seconde pour la base MoE.
• Prédictibilité (Variance) :
  • La base MoE présentait une forte variance de latence (ratio Max/Min allant jusqu'à 34,5×).
  • Le routage à porte a réduit la variance à 1,1–2,0×, rendant les garanties de SLA réalisables.
• Économies de Coût :
  • 33 % d'économies sous une distribution de requêtes égale (33 % simple/moyen/complexe).
  • 52 % d'économies sous une distribution biaisée typique des services financiers (60 % simple, 25 % moyen, 15 % complexe).
  • 74 % d'économies projetées sous des distributions fortement biaisées (70 % simple).

Signification et Revendications

Le document affirme que ComplianceGate constitue une alternative prête pour la production aux déploiements à modèle unique et MoE pour les industries réglementées. Sa signification réside dans le passage d'une application de politique "a posteriori" à une application structurelle pré-inférence.

• Avantage Structurel : Contrairement au MoE, qui ne peut pas imposer de routage géographique une fois que les données sont entrées dans le modèle, cette architecture impose des limites juridictionnelles au niveau de la couche de routage.
• Scalabilité : Elle permet une mise à l'échelle indépendante des niveaux de modèles, alors que le MoE nécessite de mettre à l'échelle l'ensemble du cluster.
• Praticité : Avec une surcharge de routage négligeable (<0,1 % du coût total) et une haute précision de classification, le système démontre qu'un encodeur entraîné peut satisfaire simultanément les mandats de conformité stricts (résidence des données) et les objectifs agressifs d'efficacité des coûts sans sacrifier la qualité des réponses pour les requêtes complexes.

Les auteurs concluent que la valeur de ce travail ne réside pas dans les modèles spécifiques choisis, mais dans le cadre de routage qui permet d'associer le bon modèle à la bonne requête en fonction de la complexité et de la sensibilité mesurables par requête, par juridiction, et selon les contraintes.