Résumé technique : Routage d'agents d'apprentissage à partir d'une expérience précoce

Énoncé du problème

Les agents de modèles de langage (LLM) démontrent de fortes capacités en raisonnement complexe, en planification et en utilisation d'outils, mais engendrent une latence élevée et des coûts computationnels importants. À l'inverse, l'inférence directe par LLM est rapide et rentable, mais souvent peu fiable pour des tâches dépassant ses limites de capacité. Le défi central abordé dans ce travail est le routage des requêtes entre l'inférence légère d'un LLM et l'exécution complète d'un agent dans des conditions de démarrage à froid réalistes. Dans ces scénarios, les requêtes entrantes manquent de données de performance antérieures ou d'étiquettes de vérité terrain, rendant l'entraînement supervisé standard d'un routeur impraticable. Les recherches existantes se concentrent largement sur le routage au sein d'espaces homogènes (par exemple, entre différents LLM ou entre différents agents), laissant le problème du routage hybride entre LLM et agents largement inexploré.

Méthodologie : BoundaryRouter

Les auteurs proposent BoundaryRouter, un cadre de routage sans entraînement conçu pour prendre des décisions de routage sans supervision par vérité terrain. Le système fonctionne grâce à trois mécanismes fondamentaux :

1. Apprentissage à partir d'une expérience précoce

Pour surmonter le problème du démarrage à froid, BoundaryRouter construit une mémoire d'expérience précoce ($M$) compacte.

• Construction : Un petit ensemble de questions de départ ($D_{seed}$) est exécuté à la fois sur le LLM léger et sur l'agent complet.
• Données enregistrées : Pour chaque requête, le système enregistre la question d'entrée, les sorties des deux solveurs ($y_{LLM}, y_{Agent}$) et leurs latences respectives ($t_{LLM}, t_{Agent}$).
• Contrainte : Crucialement, aucune réponse de vérité terrain, aucune étiquette de correction et aucune récompense ne sont stockées. La mémoire capture les différences comportementales systématiques (par exemple, les modèles de réponse et les temps d'exécution) entre les deux systèmes.

2. Routage augmenté par la récupération

Au moment de l'inférence, pour une nouvelle requête $x$ :

• Le système récupère les $K$ enregistrements les plus similaires de la mémoire d'expérience précoce en utilisant un récupérateur hybride (combinant une correspondance lexicale épars et une similarité sémantique dense).
• Ces cas récupérés servent de preuves, permettant au routeur de comparer la requête actuelle aux comportements historiques des deux solveurs pour inférer des régularités (par exemple, si une formulation similaire a précédemment conduit à un raisonnement multi-étapes spécifique à l'agent ou à des pics de latence).

3. Chaîne de pensée (CoT) guidée par une grille d'évaluation

Pour garantir que les décisions s'alignent sur des critères comportementaux spécifiques plutôt que sur un raisonnement ouvert, le LLM de routage utilise une CoT guidée par une grille d'évaluation.

• Au lieu d'un raisonnement libre, le routeur suit une grille de décision fixe encodée dans l'invite.
• Cette grille dirige le modèle pour évaluer explicitement les cas récupérés selon des dimensions observables (caractéristiques de la réponse et temps de réponse) afin de trouver un compromis entre la qualité de réponse attendue et la latence.
• La sortie est une décision de routage binaire : $Route(x) \in \{LLM, Agent\}$.

Contributions clés

1. Le cadre BoundaryRouter

L'article introduit une méthode de routage novatrice et sans entraînement qui exploite l'expérience comportementale précoce et un raisonnement structuré. Elle permet un routage fiable dans des conditions de démarrage à froid où les étiquettes de vérité terrain sont indisponibles, comblant ainsi le fossé entre l'inférence LLM rapide et peu coûteuse et l'exécution d'agent robuste mais coûteuse.

2. La référence RouteBench

Pour évaluer systématiquement ce problème, les auteurs introduisent RouteBench, une référence spécifiquement conçue pour le routage LLM-agent.

• Composition : Dérivée des ensembles de données GAIA et MMLU, elle inclut des paires de sorties de solveurs, des données de latence et des étiquettes de routage annotées par des humains basées sur une règle déterministe (priorité à la correction, départage par l'efficacité et repli en cas d'échec).
• Ensembles d'évaluation : Elle évalue la généralisation selon trois dimensions :
  • Ensemble de base : Tâches intra-domaine.
  • Ensemble de reformulation : Requêtes perturbées linguistiquement pour tester la robustesse.
  • Ensemble avancé : Tâches extra-domaine pour tester le décalage de distribution.
• Métriques : Elle utilise la précision au niveau de l'instance, les scores F1 au niveau du solveur et un RouteBenchScore composite pour mesurer l'efficacité globale du routage.

Résultats expérimentaux

Des expériences ont été menées sur RouteBench en utilisant 14 modèles contemporains (y compris GPT-5, Gemini-3-Pro et Claude Sonnet 4) comme colonne vertébrale de routage.

• Compromis Performance vs Coût : BoundaryRouter a réduit le temps d'inférence moyen de 60,6 % par rapport à l'utilisation exclusive de l'agent, tout en améliorant les performances de 28,6 % par rapport à l'inférence LLM directe.
• Comparaison avec les références :
  • Par rapport au routage basé sur des invites (sans expérience), BoundaryRouter a amélioré la qualité du routage de 37,9 %.
  • Par rapport au routage par récupération uniquement (sans raisonnement guidé par une grille), il a amélioré les performances de 8,2 %.
• Généralisation : La méthode a maintenu de solides performances sur l'ensemble avancé (extra-domaine), démontrant que les signaux comportementaux précoces associés à un raisonnement contraint par une grille peuvent se généraliser au-delà de la distribution d'entraînement.
• Stratification des modèles : Parmi les modèles de pointe, GPT-5, Gemini-3-Pro-Preview et Gemini-2.5-Pro ont obtenu les meilleures performances de routage, en particulier dans la gestion des décalages extra-domaine.

Importance et affirmations

L'article affirme que les signaux comportementaux précoces, lorsqu'ils sont associés à un raisonnement guidé par une grille, peuvent permettre un routage fiable entre les LLM et les agents, même en l'absence d'étiquettes de vérité terrain ou de supervision de routage.

• Praticité : Le cadre offre une voie pratique vers une coordination évolutive dans des systèmes de raisonnement hétérogènes, sans nécessiter de données d'entraînement supervisé coûteuses.
• Insight sur la difficulté du routage : Les résultats soulignent que le routage reste un problème difficile même dans des contextes intra-domaine, les performances se dégradant significativement sous les décalages de distribution pour les modèles plus faibles.
• Direction future : Bien que le travail actuel se concentre sur le routage binaire entre un seul LLM et un seul pipeline d'agent, les auteurs suggèrent que cette approche pose les bases de scénarios plus complexes impliquant plusieurs agents ou des outils hétérogènes.

Les auteurs soulignent que leurs résultats démontrent la viabilité de l'utilisation d'une expérience précoce auto-générée comme référence légère pour guider les décisions au niveau du système, déplaçant le paradigme de la sélection statique de modèles vers une coordination dynamique et pilotée par l'expérience.