💬 NLP

EvolveRouter: Co-Evolving Routing and Prompt for Multi-Agent Question Answering

Le papier présente EvolveRouter, un cadre entraînable qui améliore simultanément la qualité des agents et la structure de leur collaboration via un processus de co-évolution en boucle fermée et une stratégie d'inférence adaptative, surpassant ainsi les méthodes d'acheminement existantes pour la réponse aux questions multi-agents.

Auteurs originaux : Jiatan Huang, Zheyuan Zhang, Kaiwen Shi, Yanfang Ye, Chuxu Zhang

Publié 2026-04-08

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jiatan Huang, Zheyuan Zhang, Kaiwen Shi, Yanfang Ye, Chuxu Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 L'Idée de Base : Le Chef d'Orchestre qui Apprend

Imaginez que vous avez un grand restaurant avec 24 cuisiniers différents (ce sont nos "agents" ou intelligences artificielles).

Certains sont excellents pour faire des gâteaux (répondre aux questions de cuisine).
D'autres sont des experts en poisson.
D'autres encore sont très rapides mais font parfois des erreurs de goût.

Le problème, c'est que si vous commandez un gâteau, vous ne voulez pas que le cuisinier poissonnier essaie de le faire, même s'il est très rapide. Et si vous commandez du poisson, vous ne voulez pas attendre que le pâtissier se mette au four.

Jusqu'à présent, les systèmes existants faisaient deux choses :

Ils choisissaient le "meilleur" cuisinier pour chaque commande (le Routage).
Mais ils laissaient les cuisiniers avec leurs recettes figées, même si certaines étaient mal écrites ou confuses.

EVOLVEROUTER change la donne. C'est un système en deux temps qui dit : "Non seulement je vais choisir le bon cuisinier, mais je vais aussi améliorer sa recette pendant que je travaille !".

🔄 Le Secret : La "Co-Évolution" (Une Boucle Magique)

Le papier propose une méthode géniale appelée co-évolution. Imaginez un entraînement sportif où le coach et les athlètes s'améliorent ensemble.

1. Le Coach (Le Routeur) observe et diagnostique

Le "Coach" (le système de routage) regarde les cuisiniers travailler. Il remarque : "Tiens, le cuisinier 'Cot' (Chain-of-Thought) se trompe souvent sur les questions de géographie. Il confond les villes et les pays."

Au lieu de juste le punir ou l'ignorer, le Coach utilise ces observations pour réécrire la recette de ce cuisinier. Il lui dit : "La prochaine fois, lis bien la question avant de commencer, et vérifie deux fois si tu parles de ville ou de pays."

2. Les Cuisiniers (Les Agents) s'améliorent

Grâce à cette nouvelle recette (prompt optimisé), le cuisinier fait de meilleurs gâteaux.

3. La Boucle se referme

Maintenant que les cuisiniers sont meilleurs, le Coach peut les observer plus précisément. Comme ils font moins d'erreurs "bêtes", le Coach apprend encore mieux à les classer.

Résultat : Plus les cuisiniers sont bons, mieux le Coach sait les choisir. Et plus le Coach sait les choisir, plus il peut leur donner des conseils précis pour s'améliorer. C'est un cercle vertueux !

🎯 L'Autre Astuce : La "Réunion Dynamique" (Adaptive Inference)

Avant, pour répondre à une question difficile, on demandait l'avis de tous les 24 cuisiniers, puis on prenait la moyenne. C'était lent et cher (comme payer 24 personnes pour une simple question sur la météo).

EVOLVEROUTER utilise une stratégie intelligente : l'accord pondéré.

Imaginez que vous posez une question simple : "Quel est le ciel ?"

Le Coach appelle le premier cuisinier. Il répond : "C'est bleu".
Il appelle le deuxième. Il répond : "C'est bleu".
Le troisième dit aussi : "C'est bleu".

STOP ! 🛑
Le système détecte que les trois premiers sont d'accord avec une forte confiance. Il n'a pas besoin d'appeler les 21 autres. Il arrête la réunion et donne la réponse.

Mais si la question est très difficile (ex: "Comment réparer un moteur de fusée avec du chewing-gum ?"), les premiers cuisiniers vont donner des réponses différentes. Le système va alors continuer à appeler d'autres experts jusqu'à ce qu'un consensus clair se dégage.

Avantage : On économise énormément de temps et d'argent (calculs) en ne faisant travailler que le nombre nécessaire d'experts pour chaque question.

🏆 Pourquoi c'est important ? (Les Résultats)

Les chercheurs ont testé ce système sur 5 types de questions difficiles (comme des énigmes complexes, des faits historiques, ou de la santé).

Avant : Les meilleurs systèmes existants choisissaient bien, mais ne corrigeaient pas les erreurs de base des agents.
Avec EVOLVEROUTER :
1. Les agents deviennent plus précis grâce aux nouvelles recettes.
2. Le système choisit mieux qui travailler.
3. Il ne fait travailler que le nombre nécessaire de personnes.

Le résultat ? Ils battent tous les records précédents (SOTA) avec une grande marge, tout en utilisant moins de ressources informatiques.

📝 En Résumé

Pensez à EVOLVEROUTER comme à une équipe de super-héros :

Le Chef (le routeur) sait exactement quel super-héros envoyer sur quelle mission.
Mais il a aussi un Atelier d'entraînement : si un super-héros échoue, le Chef lui donne un nouveau costume et une nouvelle stratégie pour qu'il soit plus fort la prochaine fois.
Et le Chef est très économe : il n'envoie pas toute l'équipe pour une petite mission, juste les membres nécessaires jusqu'à ce que le problème soit résolu.

C'est une méthode qui rend l'intelligence artificielle non seulement plus intelligente, mais aussi plus efficace et moins coûteuse.

Titre : EVOLVEROUTER : Co-évolution du routage et des prompts pour la réponse aux questions multi-agents

1. Problématique et Contexte

Les agents basés sur les grands modèles de langage (LLM) démontrent des forces complémentaires selon les tâches, les modèles de base (backbones) et les stratégies de prompting. Cependant, l'exploitation de ces forces dans un cadre multi-agent se heurte à deux limitations majeures des méthodes existantes :

Agents statiques et sous-optimaux : Les méthodes de routage actuelles optimisent uniquement le choix de l'agent à invoquer pour une requête donnée, en traitant le comportement des agents comme fixe. Or, de légères variations dans les instructions (prompts) peuvent entraîner des différences de performance significatives. Un routage efficace ne peut pas compenser des configurations d'agents sous-optimales.
Schémas de collaboration rigides : Les approches existantes tendent soit à sélectionner un seul agent, soit à agréger les réponses d'un ensemble fixe d'agents. Cela conduit soit à manquer l'expertise complémentaire, soit à gaspiller des ressources computationnelles en incluant des agents non pertinents ou faibles pour une requête spécifique.

L'objectif est donc de concevoir un système capable d'adapter dynamiquement à la fois qui participe (le routage) et comment ils participent (la qualité des agents et le nombre de participants).

2. Méthodologie : Le Framework EVOLVEROUTER

EVOLVEROUTER est un framework entraînable qui résout ces limitations via un processus de co-évolution en boucle fermée entre le routage et l'amélioration des agents, couplé à une stratégie d'inférence adaptative.

A. Représentation et Routage Basé sur les Graphes de Connaissance (KG)

Construction du KG : Chaque instance de question-réponse est transformée en un graphe de connaissances hétérogène $G = (V, E)$ . Les nœuds incluent la requête ( $V_Q$ ), les agents ( $V_A$ ) et les entités contextuelles ( $V_E$ ).
Arêtes : Les arêtes codent les relations entre requête-entité, entité-entité, agent-entité (perspective de l'agent sur le contexte) et des arêtes requête-agent apprenables qui portent le signal de routage.
RouterGNN : Un Réseau de Neurones à Graphes (GNN) hétérogène apprend une fonction de score $s(q, a)$ pour prédire la distribution de probabilité $p_\theta(a|q)$ , déterminant quels agents sont les plus adaptés à la requête.

B. Co-évolution en Boucle Fermée (Closed-Loop Co-Evolution)

Le cœur de la méthode est une optimisation alternée sur $R$ rounds :

Entraînement du Routeur et Diagnostic : Le routeur est entraîné pour minimiser la divergence KL entre sa distribution de sortie et une distribution cible "douce" basée sur les scores F1 des agents.
Collecte de Signaux Diagnostiques : Le système identifie les échecs spécifiques (archives d'échecs, statistiques de poids du routeur).
Raffinement Ciblé des Prompts (Prompt Refinement) :
- Sélection : Un score de priorité est calculé : $priority(a) = severity(a) \times (\alpha + w(a))$ , où $severity$ est l'erreur de l'agent et $w(a)$ son poids moyen appris par le routeur. Cela priorise les agents qui sont à la fois faibles et fortement utilisés par le routeur.
- Réécriture : Un LLM générateur propose des réécritures de prompts pour les agents sélectionnés, en se basant sur les échecs diagnostiqués, tout en préservant la stratégie de raisonnement de base.
- Validation : Les nouveaux prompts sont validés sur un sous-ensemble ciblé. Seuls ceux qui améliorent la performance sans régression sont acceptés.
Mise à Jour Incrémentale : Le routeur est ré-entraîné (fine-tuning) sur les agents mis à jour, en reprenant les poids du round précédent pour préserver les connaissances acquises, plutôt que de réinitialiser l'entraînement.

C. Inférence Adaptative via Accord de Réponses

Au lieu d'utiliser un nombre fixe d'agents ou de s'arrêter arbitrairement, EVOLVEROUTER utilise une stratégie d'arrêt dynamique :

Les agents sont interrogés séquentiellement selon le classement du routeur.
Un score d'accord pondéré est calculé à chaque étape.
L'inférence s'arrête dès que l'accord pondéré dépasse un seuil $\tau$ (après un minimum d'agents $k_{min}$ ).
Cela permet de déterminer la taille de collaboration effective $K(q)$ pour chaque requête, réduisant ainsi le coût computationnel.

3. Contributions Clés

Co-évolution Boucle Fermée : Premier framework à coupler le routage et le raffinement des prompts. Les diagnostics du routeur guident l'amélioration des agents, et des agents améliorés fournissent un signal de supervision plus propre pour le routeur.
Collaboration Adaptative : Remplacement des schémas rigides par une sélection dynamique du nombre d'agents basée sur l'accord des réponses, optimisant le compromis précision/coût.
Performance et Efficacité : Démonstration que l'amélioration conjointe de la qualité des agents et de la stratégie de collaboration surpasse les méthodes de routage statiques.

4. Résultats Expérimentaux

Les expériences ont été menées sur cinq benchmarks de réponse aux questions (QA) : 2WikiMultihopQA, HotpotQA, NewsQA, TriviaQA et NGQA.

Performance Supérieure : EVOLVEROUTER surpasse systématiquement les meilleures méthodes de routage (SOTA) et les agrégations heuristiques sur tous les benchmarks, avec des gains significatifs en F1 et Exact Match (EM).
- Exemple : Sur TriviaQA, gain de +7.08 en F1 et +8.67 en EM par rapport au meilleur baseline (AgentRouter).
Analyse par Ablation :
- L'optimisation des prompts (PO) apporte la majeure partie des gains, confirmant que la qualité du prompt est un facteur limitant critique.
- L'adaptation de $K$ (nombre d'agents) apporte des gains supplémentaires constants et réduit la variance des résultats.
Réduction des Coûts : La stratégie adaptative réduit le nombre moyen d'appels aux agents de 24 à 2.9–7.4 par requête (réduction de 69% à 88% du coût computationnel) tout en maintenant ou améliorant la précision.
Robustesse : Le système montre une variance inférieure aux méthodes de base, indiquant une plus grande stabilité.

5. Signification et Impact

Ce travail démontre que le routage et la conception des agents ne doivent pas être traités comme des problèmes séparés. En introduisant une boucle de rétroaction où le système apprend non seulement qui choisir, mais aussi comment améliorer les choix, EVOLVEROUTER ouvre une nouvelle voie pour les systèmes multi-agents.

Les implications principales sont :

Efficacité : Possibilité d'utiliser des modèles plus petits ou des configurations simples de manière compétitive grâce à un routage intelligent et des prompts optimisés.
Adaptabilité : Capacité à s'adapter à la complexité de chaque requête sans surcoût computationnel inutile.
Généralisation : La méthode s'avère efficace sur des domaines variés, allant du raisonnement multi-sauts (HotpotQA) à la santé nutritionnelle (NGQA), prouvant sa robustesse face à des structures de graphes et des contextes différents.

En résumé, EVOLVEROUTER établit un nouveau standard pour les systèmes multi-agents en prouvant que l'optimisation conjointe de l'architecture de collaboration et de la qualité des composants individuels est la clé pour débloquer le plein potentiel des LLMs.