Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets

Cette étude démontre que, sous un budget de tokens de raisonnement égalisé, les systèmes à agent unique surpassent ou égalent les systèmes multi-agents sur les tâches de raisonnement multi-sauts, révélant que les avantages précédemment attribués aux architectures multi-agents proviennent en réalité d'une utilisation accrue du calcul et du contexte plutôt que d'un bénéfice architectural intrinsèque.

L'essentiel

🧠 Le Grand Duel : Le Génie Solitaire contre l'Équipe de Choc

Imaginez que vous devez résoudre une énigme très complexe, comme un casse-tête de 1000 pièces ou un mystère policier qui demande de relier trois indices différents.

Il y a deux façons de procéder :

1. Le Détective Solitaire (SAS) : Un seul expert très intelligent qui réfléchit tout seul dans sa tête, prend des notes, et trouve la solution.
2. L'Équipe de Choc (MAS) : Un groupe de spécialistes (un planificateur, un expert des faits, un sceptique, etc.) qui discutent entre eux, échangent des notes et essaient de trouver la solution ensemble.

Le mythe populaire : On pense souvent que l'équipe de choc est toujours meilleure parce qu'il y a "plus de cerveaux" et plus de discussions.

La découverte de l'article : Les chercheurs ont découvert que si on donne exactement la même quantité de "temps de réflexion" aux deux, le Détective Solitaire gagne souvent la partie, ou du moins, il fait aussi bien que l'équipe.

---

🎒 L'Analogie du Sac à Dos (Le Budget de Pensée)

Pour comprendre pourquoi, imaginez que chaque méthode a un sac à dos avec une taille fixe. Ce sac représente le nombre de "mots de réflexion" (ou de tokens) que l'ordinateur a le droit d'utiliser pour penser avant de donner la réponse.

• Le Détective Solitaire : Il remplit son sac avec ses propres pensées. Tout est dans sa tête, tout est connecté. Il n'a pas besoin de perdre du temps à écrire des lettres à ses collègues.
• L'Équipe de Choc : Chaque membre de l'équipe doit écrire une lettre pour expliquer ce qu'il pense, puis un chef de projet doit lire toutes ces lettres et résumer le tout.
  • Le problème : Une grande partie du "sac" est gaspillée en courrier (les échanges entre les agents) plutôt qu'en réflexion pure. C'est comme si l'équipe passait plus de temps à se passer des papiers qu'à résoudre le problème.

📉 La Théorie de l'Information : Le Jeu du Téléphone Arabe

Les chercheurs utilisent une idée mathématique appelée l'Inégalité de Traitement de l'Information. Imaginez le jeu du "téléphone arabe" où l'on chuchote une phrase d'une personne à l'autre.

• Plus vous passez le message de main en main (plus il y a d'agents), plus le message risque d'être déformé ou d'oublier des détails importants.
• Le Détective Solitaire, lui, garde l'information complète dans sa propre tête. Il ne perd rien en transmission.
• Conclusion : À moins que le contexte ne soit trop bruyant ou trop long pour un seul cerveau, le solitaire est plus efficace car il ne perd pas d'informations dans les échanges.

🧪 Quand l'Équipe de Choc gagne-t-elle ?

L'article dit que l'équipe de choc n'est pas inutile, mais elle n'est utile que dans des cas précis :

• Quand le contexte est "pourri" : Imaginez que le Détective Solitaire doit lire un livre où 50% des pages sont tachées d'encre ou remplacées par du charabia. Il va se perdre.
• L'avantage de l'équipe : Dans ce cas, l'équipe peut diviser le travail. Un agent nettoie une partie, un autre filtre le bruit, un autre vérifie. Si le contexte est très difficile, l'équipe peut mieux survivre au chaos.

⚠️ Le Piège des "Faux Résultats"

Les chercheurs ont aussi dénoncé un problème dans les études précédentes :

• Souvent, on compare l'équipe de choc au détective solitaire, mais l'équipe a beaucoup plus de temps (plus de "tokens") pour réfléchir.
• C'est comme comparer un coureur de 100m qui court 10 secondes à un autre qui court 20 secondes. Bien sûr, celui qui court plus longtemps va aller plus loin !
• Quand on égalise le temps de course (le budget), le détective solitaire rattrape son retard et dépasse souvent l'équipe.

🏁 En Résumé

1. Moins c'est parfois plus : Pour les tâches de raisonnement logique, un seul modèle intelligent qui réfléchit bien vaut souvent mieux qu'un groupe qui discute, si on limite le temps de réflexion.
2. La communication coûte cher : Faire parler plusieurs IA entre elles consomme du "carburant" (des mots) qui pourrait être utilisé pour réfléchir plus profondément.
3. L'exception : Si l'information est très difficile à trouver ou très bruyante, une équipe structurée peut aider à trier le bon du mauvais.

La leçon pour l'avenir : Ne croyez pas aveuglément que "plus d'agents = plus intelligent". Parfois, un seul cerveau bien entraîné, avec un bon budget de réflexion, est la solution la plus efficace et la plus économique.

Résumé technique

1. Problématique

L'article remet en question la supériorité présumée des systèmes multi-agents (MAS) par rapport aux systèmes à agent unique (SAS) pour les tâches de raisonnement multi-sauts (multi-hop reasoning).

• Le biais de calcul : Les études précédentes montrant des avantages pour les MAS sont souvent confondues par une augmentation non contrôlée de la computation au moment du test (test-time computation). Les MAS génèrent généralement plus de tokens de raisonnement (traces plus longues, interactions multiples) que les SAS, ce qui rend difficile de déterminer si les gains proviennent de l'architecture elle-même ou simplement d'une plus grande dépense de ressources.
• La question centrale : Lorsque le budget de tokens de raisonnement est strictement normalisé, les systèmes multi-agents surpassent-ils encore les systèmes à agent unique ?

2. Méthodologie

Les auteurs ont mené une étude empirique rigoureuse et contrôlée pour isoler l'effet de l'architecture du facteur de calcul.

• Contrôle du budget : La variable clé est le budget de tokens de réflexion (thinking tokens), défini comme le nombre total de tokens utilisés pour le raisonnement intermédiaire, excluant les prompts et la réponse finale. Tous les systèmes (SAS et MAS) ont été évalués avec des budgets identiques.
• Modèles et Données :
  • Modèles : Trois familles de modèles ont été testées : Qwen3, DeepSeek-R1-Distill-Llama, et Gemini 2.5 (Flash et Pro).
  • Tâches : Deux ensembles de données de questions à plusieurs sauts : FRAMES et MuSiQue (filtré sur des questions à 4 sauts pour la complexité).
• Architectures comparées :
  • SAS (Single-Agent) : Un seul passage direct avec un budget global $B$. Une variante "SAS-L" a été introduite pour forcer une réflexion plus longue chez les modèles Gemini.
  • MAS (Multi-Agent) : Cinq architectures ont été évaluées sous le même budget global :
    1. Séquentiel : Décomposition en étapes séquentielles (le comparateur le plus direct).
    2. Parallèle (Sous-tâches) : Tâches indépendantes résolues en parallèle.
    3. Parallèle (Rôles) : Agents spécialisés (Solveur, Extracteur de faits, Sceptique, etc.).
    4. Débat : Deux agents débattent et critiquent leurs réponses.
    5. Ensemble : Plusieurs agents répondent indépendamment, un juge sélectionne la meilleure.
• Justification Théorique : L'article utilise l'inégalité de traitement de l'information (Data Processing Inequality - DPI). Il démontre que, sous un budget fixe, un système multi-agent qui transforme le contexte complet $C$ en messages intermédiaires $M$ ne peut pas augmenter l'information mutuelle avec la réponse vraie $Y$ par rapport au contexte complet. En fait, la communication entre agents introduit des goulots d'étranglement et une perte d'information potentielle ($I(Y; C) \ge I(Y; M)$).

3. Contributions Clés

1. Argument Théorique : Une démonstration basée sur la théorie de l'information prouvant que, sans dégradation du contexte, l'architecture SAS est intrinsèquement plus efficace en termes d'information car elle évite les pertes de transmission entre agents.
2. Évaluation Empirique Contrôlée : Une comparaison à budget égal montrant que les SAS égalent ou surpassent systématiquement les MAS sur des tâches de raisonnement complexe.
3. Analyse Diagnostique des Méthodologies :
   • Identification d'artefacts dans le contrôle des budgets via API (notamment chez Gemini 2.5), où le nombre de tokens rapporté par l'API ne correspond pas à la quantité réelle de texte de réflexion visible.
   • Mise en évidence de la vulnérabilité des benchmarks standards au paraphrasage et à la mémorisation.
   • Analyse des modes d'échec (failure modes) montrant que les MAS ont tendance à "sur-explorer" ou à perdre le fil, tandis que les SAS sont plus précis mais parfois trop restrictifs.

4. Résultats Principaux

• Performance Dominante des SAS : Sur l'ensemble des modèles et des jeux de données, le système à agent unique (SAS) est soit le meilleur, soit statistiquement indistinguable du meilleur système, à condition que le budget de tokens soit égal. Les architectures MAS ne surpassent pas les SAS dans des conditions normales.
• Effet du Budget de Tokens : L'augmentation du budget de tokens améliore les performances jusqu'à un certain point de saturation, après quoi les rendements décroissent. Les MAS ne parviennent pas à convertir efficacement un budget supplémentaire en meilleures réponses par rapport aux SAS.
• Rôle de la Dégradation du Contexte : L'étude confirme la prédiction théorique selon laquelle les MAS deviennent compétitifs uniquement lorsque l'utilisation effective du contexte par un agent unique est dégradée (ex: contexte bruité, masqué ou contenant des leurres). Dans ces scénarios spécifiques, la décomposition structurée des MAS aide à filtrer le bruit, mais ce n'est pas le cas par défaut.
• Observations sur Gemini : Les modèles Gemini 2.5 montrent une sous-utilisation de leur budget de réflexion en mode SAS (le texte visible plafonne). La variante SAS-L (avec instructions pour analyser plus) a permis de combler cet écart, confirmant que l'avantage apparent des MAS chez Gemini était souvent dû à une meilleure exploitation du budget disponible plutôt qu'à une supériorité architecturale.

5. Signification et Implications

• Réévaluation des Architectures Multi-Agents : Les avantages rapportés des systèmes multi-agents sont souvent attribuables à une consommation de calcul non contrôlée (plus de tokens) et non à une supériorité inhérente de l'architecture. Pour des tâches de raisonnement pur, un agent unique bien configuré est souvent plus efficace.
• Importance du Contrôle des Ressources : L'article souligne la nécessité critique de normaliser les budgets de tokens (et non seulement le nombre d'appels API) lors de la comparaison des stratégies de raisonnement.
• Fiabilité des Benchmarks : Les résultats mettent en lumière des problèmes méthodologiques majeurs, notamment la fiabilité des compteurs de tokens des API (qui peuvent être gonflés) et la sensibilité des benchmarks à la formulation des questions (mémorisation).
• Futur de la Recherche : Les travaux futurs devraient se concentrer sur les régimes spécifiques où les systèmes multi-agents apportent une valeur ajoutée réelle (ex: contextes très longs et bruités, tâches nécessitant une spécialisation stricte) plutôt que de les considérer comme une solution universelle supérieure.

En conclusion, l'article démontre que pour le raisonnement multi-sauts, la simplicité et l'efficacité informationnelle d'un agent unique l'emportent souvent sur la complexité de coordination d'un système multi-agent, à moins que les contraintes de contexte ne dégradent la capacité d'un agent unique à traiter l'information.