From Prompt to Service: An SLM-Based Agent Orchestration Gateway for AI-Driven Virtual Worlds

Résumé Technique : Une passerelle d'orchestration d'agents basée sur les SLM pour les mondes virtuels pilotés par l'IA

Énoncé du problème
À mesure que les capacités de l'IA générative s'étendent, les mondes virtuels pilotés par l'IA font face à un défi architectural majeur : les utilisateurs interagissent via des interfaces multimodales, mais leurs requêtes exigent des modèles de backend et des ressources computationnelles fondamentalement différents (par exemple, le dialogue conversationnel, la traduction, la recherche spécifique à un domaine ou la génération d'actifs 3D). L'intégration directe de ces diverses capacités dans les clients de mondes virtuels réduit l'extensibilité, complique la maintenance et limite la capacité de coordination des services distribués entre l'edge et le cloud. Les approches actuelles manquent souvent d'une couche de coordination au moment de l'exécution capable d'interpréter l'intention de l'utilisateur et d'orienter les requêtes vers des services d'IA hétérogènes sans coupler étroitement le client à des points de terminaison, des formats de charge utile ou des lieux de déploiement spécifiques.

Méthodologie
Les auteurs proposent et évaluent une passerelle d'orchestration d'agents basée sur les SLM, un mécanisme de coordination léger conçu pour découpler les clients de mondes virtuels des backends d'IA hétérogènes. Le système fonctionne comme suit :

1. Architecture : La passerelle est implémentée sous la forme d'un service FastAPI basé sur Python tournant sur un appareil edge (NVIDIA Jetson Orin NX 8GB). Elle expose un point de terminaison REST unique au client du monde virtuel.
2. Routage d'intention : Lors de la réception d'un prompt utilisateur, la passerelle transmet ce dernier à un Routeur d'Intention propulsé par un petit modèle de langage (SLM). Le routeur classifie l'intention sémantique et renvoie une décision JSON structurée (route sélectionnée, étiquette d'intention, score de confiance et requête normalisée).
3. Registre de services et validation : Un registre configurable maintient le catalogue des services disponibles (ex: RAG, LLM affinés, texte-vers-3D). La passerelle valide la décision du routeur par rapport à ce registre avant d'invoquer le backend approprié.
4. Configuration de l'évaluation : Le système a été testé au sein du banc d'essai du musée virtuel InterwovenXR, en se concentrant sur un scénario impliquant l'église Panagia Aggeloktisti. L'évaluation a traité deux questions de recherche (RQ) :
   • RQ1 : Les SLM compacts peuvent-ils servir de routeurs d'intention fiables sur du matériel edge ?
   • RQ2 : Une configuration en couches (séparant la reconnaissance d'intention de la génération de réponse) offre-t-elle des avantages pratiques par rapport à une configuration à modèle unique ?
5. Design expérimental :
   • Étape 1 : Évaluation de la précision du routage, des taux de sorties invalides et de la latence en utilisant un jeu de données de 500 prompts répartis sur cinq routes de service (Conversationnel, Adaptation linguistique, Expert de domaine, Recherche de connaissances, Génération d'actifs). Diverses familles de SLM (incluant Qwen2.5 et SmolLM2) ont été testées, les modèles de moins d'un milliard de paramètres ayant subi un affinement spécifique via QLoRA 4-bit.
   • Étape 2 : Évaluation de la latence de bout en bout pour une configuration en couches où un modèle sub-milliard de paramètres affiné gérait le routage, et un SLM plus large gérait la génération de réponse conversationnelle localement.

Résultats clés

• Précision du routage : Les modèles de base de moins d'un milliard de paramètres (ex: Qwen2.5-0.5B, SmolLM2-360M) ont peu performé sans adaptation (16–24 % de précision). Cependant, l'affinement spécifique (fine-tuning) a considérablement amélioré les performances. Le modèle Qwen2.5-0.5B-FT affiné a atteint une précision de routage de 83,00 % avec une latence moyenne de 392,0 ms, une amélioration substantielle par rapport à son modèle de base tout en maintenant une faible latence.
• Sorties invalides : L'affinement a également réduit les taux de sortie JSON invalide, bien que SmolLM2-360M-FT présente toujours un taux plus élevé (22,60 %) par rapport à Qwen2.5-0.5B-FT (3,20 %).
• Configuration en couches : L'approche en couches (routeur affiné + modèle conversationnel plus grand) s'est avérée réalisable sur du matériel edge de milieu de gamme. Les quatre paires testées ont atteint des latences moyennes de bout en bout inférieures à 1,6 seconde (médiane < 1,5s), respectant le seuil de 2 secondes pour une utilisation interactive.
• Efficacité : La configuration en couches s'est révélée plus rapide que l'utilisation d'un seul modèle plus grand pour le routage et la génération. Par exemple, la paire SmolLM2-360M-FT + Qwen2.5-1,5B a atteint une latence moyenne de 1306,06 ms, démontant que la séparation de l'étape de décision réduit le coût computationnel sans sacrifier la qualité de la réponse pour les tâches conversationnelles.

Signification et contributions
L'article revendique trois contributions primaires :

1. Modèle architectural : Il introduit une architecture de routage de service découplée et pilotée par l'intention qui permet aux agents virtuels d'agir comme des points d'accès unifiés à des services d'IA générative distribués, permettant l'extensibilité sans modification du client.
2. Viabilité des SLM affinés : Il démonte que les modèles compacts, de moins d'un milliard de paramètres, lorsqu'ils sont affinés pour des tâches de routage spécifiques, peuvent servir de routeurs d'intention fiables et à faible latence sur du matériel edge, surmontant leurs limites en matière de suivi d'instructions général.
3. Stratégie d'orchestration en couches : Il fournit des preuves empiriques qu'une configuration en couches — utilisant un très petit modèle pour une reconnaissance d'intention rapide et un modèle compact plus grand pour la génération de réponse — est plus efficace et pratique pour les mondes virtuels supportés par l'edge qu'une délégation des deux tâches à un seul modèle.

Limites et travaux futurs
Les auteurs notent que l'évaluation a été menée dans un jeu de données contrôlé et un scénario unique de musée virtuel, limitant la généralisabilité à d'autres domaines. L'étude a mesuré la précision du routage et la latence, mais n'a pas évalué la qualité perceptuelle des réponses générées par des études utilisateurs. De plus, les modèles affinés sont spécifiques au schéma de routage défini, nécessitant un réentraînement si les définitions de services changent. Les travaux futurs visent à évaluer des architectures plus petites (<500M de paramètres), à étendre le jeu de données pour inclure des dialogues multi-tours et des prompts ambigus, et à mener des études utilisateurs interactives complètes pour mesurer l'engagement et l'immersion.