💬 NLP

From Standalone LLMs to Integrated Intelligence: A Survey of Compound Al Systems

Cette enquête définit les systèmes d'IA composés comme un paradigme émergent qui intègre les grands modèles de langage à des composants externes tels que les récupérateurs et les agents, en proposant une taxonomie unifiée et une analyse des paradigmes fondamentaux comme le RAG et les agents LLM pour remédier à la fragmentation actuelle et orienter les recherches futures en intelligence artificielle au niveau des systèmes.

Auteurs originaux : Jiayi Chen, Junyi Ye, Guiling Wang

Publié 2026-05-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiayi Chen, Junyi Ye, Guiling Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une bibliothécaire brillante et bien informée nommée « LLM » (Large Language Model). Cette bibliothécaire a lu presque tous les livres jamais écrits jusqu'à une certaine date. Elle est incroyablement rapide pour écrire des histoires, répondre à des questions et discuter. Cependant, elle a trois gros problèmes :

Elle oublie des choses : Elle ne peut pas se souvenir des faits survenus après qu'elle a arrêté ses études (ses connaissances sont « périmées»).
Elle invente des choses : Parfois, quand elle ne connaît pas la réponse, elle invente avec assurance un fait faux (cela s'appelle une «hallucination»).
Elle ne peut pas faire de mathématiques ni utiliser d'outils : Elle est excellente pour parler, mais elle ne peut pas réellement calculer une équation complexe, rechercher sur l'internet en direct ou contrôler un bras robotique.

Ce papier présente une nouvelle façon de construire l'IA appelée Systèmes d'IA Composés (CAIS). Au lieu de se fier uniquement à cette seule bibliothécaire, les CAIS construisent une équipe ou un orchestre autour de la bibliothécaire pour résoudre ces problèmes.

Voici comment le papier décompose cette «équipe», en utilisant des analogies simples :

1. Les Quatre Membres Clés de l'Équipe (Les Axes)

Le papier organise ce nouveau monde de l'IA en quatre rôles principaux qui travaillent ensemble :

Le Chercheur (RAG - Génération Augmentée par Récupération) :
- Le Problème : La bibliothécaire ne connaît pas les actualités d'aujourd'hui ni les fichiers privés de votre entreprise.
- La Solution : Avant que la bibliothécaire ne réponde, un Chercheur court vers les rayons de la bibliothèque (ou l'internet) pour trouver les documents spécifiques et à jour. Il remet ces notes à la bibliothécaire afin qu'elle puisse répondre en se basant sur des faits, et non sur des suppositions.
- Analogie : C'est comme donner un mémo de triche à la bibliothécaire juste avant un examen.
Le Chef de Projet (Agents LLM) :
- Le Problème : La bibliothécaire est bonne pour une tâche, mais elle se perd dans un projet long et compliqué qui nécessite de nombreuses étapes.
- La Solution : Un Agent est une version de la bibliothécaire capable de planifier. Il décompose une grande tâche (comme «Planifier des vacances») en petites étapes (Réserver un vol -> Trouver un hôtel -> Vérifier la météo). Il peut aussi utiliser des outils, comme appeler une API de voyage ou faire des mathématiques, puis vérifier son propre travail pour corriger les erreurs.
- Analogie : C'est comme un contremaître qui ne pose pas seulement des briques, mais qui dessine les plans, commande les matériaux et inspecte le travail.
L'Expert Multi-Sensoriel (MLLMs - LLMs Multimodaux) :
- Le Problème : La bibliothécaire ne peut lire que du texte. Si vous lui montrez une photo d'un moteur cassé ou une vidéo d'une tempête, elle est aveugle.
- La Solution : Ce sont des bibliothécaires à qui l'on a donné des yeux et des oreilles. Ils peuvent regarder des images, écouter de l'audio et regarder des vidéos, puis décrire ce qu'ils voient ou répondre à des questions à ce sujet.
- Analogie : C'est comme donner des lunettes et des écouteurs à la bibliothécaire pour qu'elle puisse comprendre un monde qui n'est pas seulement fait de mots écrits.
Le Chef d'Orchestre (Orchestration) :
- Le Problème : Si vous avez un Chercheur, un Chef de Projet et un Expert Multi-Sensoriel, ils pourraient tous parler en même temps ou se confondre sur qui fait quoi.
- La Solution : Le Chef d'Orchestre est le système qui gère toute l'équipe. Il décide quand appeler le Chercheur, quand demander au Agent de planifier, et comment combiner leurs réponses en un résultat final unique. Il s'assure que l'équipe travaille harmonieusement ensemble.
- Analogie : Pensez à un orchestre symphonique. La bibliothécaire est le violoniste, mais le Chef d'Orchestre s'assure que les tambours, les flûtes et les violons jouent tous au bon moment pour faire de la musique, et non du bruit.

2. Comment Ils Travaillent Ensemble (Le Pipeline)

Le papier explique qu'un Système d'IA Composé réel n'est pas seulement l'une de ces choses ; c'est généralement toutes à la fois.

Imaginez que vous demandez au système : «Analysez cette photo d'une machine cassée et trouvez le manuel pour la réparer.»

L'Expert Multi-Sensoriel regarde la photo et comprend de quelle machine il s'agit.
Le Chercheur sort et trouve le manuel spécifique pour ce modèle de machine.
Le Chef de Projet (Agent) détermine les étapes pour la réparer et décide d'utiliser un outil pour vérifier si la pièce est en stock.
Le Chef d'Orchestre (Orchestration) gère le flux, s'assurant que l'analyse de la photo a lieu avant la recherche du manuel, et combine tout cela en une réponse claire pour vous.

3. Les Défis Actuels

Le papier admet que si cette approche par «équipe» est puissante, elle est aussi désordonnée pour le moment :

C'est compliqué : Construire une équipe est plus difficile que d'embaucher une seule personne. Si une partie tombe en panne, tout le système peut échouer.
Ils ne parlent pas la même langue : Différents outils et agents utilisent souvent des formats différents, ce qui rend difficile leur connexion (comme essayer de brancher un chargeur européen dans une prise américaine).
C'est difficile à tester : Nous n'avons pas encore de tests parfaits pour voir si toute l'équipe fonctionne bien, surtout lorsqu'ils regardent des images et parlent à des outils en même temps.

4. L'Avenir : La Standardisation

Le papier souligne que les gens commencent à créer des «adaptateurs universels» (comme le Protocole de Contexte de Modèle ou MCP). Ce sont comme des multiprises universelles qui permettent à n'importe quel outil d'IA de se brancher facilement sur n'importe quel système d'IA. L'objectif est d'arrêter de construire des ponts personnalisés pour chaque connexion et d'avoir plutôt une méthode standard pour que tous ces composants d'IA puissent communiquer entre eux.

Résumé

En bref, ce papier dit : Arrêtez d'essayer de créer un seul cerveau géant qui fait tout parfaitement. Au lieu de cela, construisez un système intelligent qui connecte un cerveau (le LLM) à une banque de mémoire (Récupération), un planificateur (Agents), des yeux/oreilles (Multimodal) et un gestionnaire (Orchestration). Ce système «Composé» est l'avenir de l'IA car il surpasse les limites de n'importe quel modèle unique.

Résumé Technique : Des LLM Autonomes à l'Intelligence Intégrée : Une Étude des Systèmes d'IA Composés

1. Énoncé du Problème

Bien que les Modèles de Langage (LLM) aient évolué pour devenir une infrastructure fondamentale de l'IA, ils possèdent des limitations structurelles inhérentes qui entravent leur déploiement dans des environnements dynamiques et réels. Ces limitations incluent l'hallucination (une sortie fluide mais factuellement inexacte), l'obsolescence (incapacité d'accéder aux connaissances post-entraînement) et le raisonnement borné (fenêtres de contexte finies contraignant le raisonnement multi-sauts et la décomposition de tâches à long horizon).

Pour surmonter ces obstacles, la communauté converge vers les Systèmes d'IA Composés (CAIS). Les CAIS sont définis comme des architectures modulaires et extensibles qui intègrent des LLM avec des composants externes spécialisés — tels que des récupérateurs, des agents utilisant des outils, des planificateurs symboliques, des modules de mémoire et des encodeurs multimodaux. Cependant, malgré une adoption croissante, le paysage des CAIS reste fragmenté. La littérature existante traite de composants isolés (par exemple, des études spécifiques sur la RAG, des cadres d'agents ou des méthodes d'optimisation) mais manque d'un cadre unifié au niveau du système pour l'analyse, la taxonomie et l'évaluation qui synthétise les interactions à travers toute la pile.

2. Méthodologie

Les auteurs ont mené une étude systématique basée sur une recherche bibliographique structurée à travers quatre grandes bases de données académiques (ACM Digital Library, arXiv, IEEE Xplore, Semantic Scholar) et une inspection manuelle des actes de conférences de premier plan (ACL, NeurIPS, ICML, CVPR, etc.).

Portée de la recherche : Publications de 2020 au début de 2026, ciblant la période suivant l'introduction de GPT-3 et des travaux fondateurs sur la RAG.
Critères de sélection : Les articles ont été inclus s'ils utilisaient un LLM comme composant de raisonnement principal combiné à au moins un module externe (récupérateur, outil, mémoire, API, encodeur ou cadre d'orchestration) et présentaient des résultats empiriques, des architectures ou des analyses systématiques novateurs.
Corpus final : Environ 220 articles ont été retenus et analysés.
Construction de la taxonomie : Les auteurs ont organisé le paysage selon quatre axes orthogonaux : Génération Augmentée par la Récupération (RAG), Agents LLM, LLM Multimodaux (MLLM) et Orchestration.

3. Contributions Clés

A. Taxonomie Multidimensionnelle et Cadre Unifié

L'article propose une représentation formelle des CAIS comme une fonction $f(L, C, D)$ , où :

$L$ : L'ensemble des LLM (généraux ou affinés).
$C$ : L'ensemble des composants externes (outils, récupérateurs, encodeurs, etc.).
$D$ : La conception du système définissant l'architecture, la topologie et la coordination.

L'étude intègre quatre axes fondamentaux dans un cadre cohérent :

RAG : Ancrage des LLM dans une mémoire non paramétrique externe.
Agents LLM : Prise de décision autonome, planification et utilisation d'outils dans des boucles itératives.
MLLM : Extension des LLM pour percevoir et raisonner sur des modalités non textuelles (images, audio, vidéo).
Orchestration : La conception structurelle et de coordination intégrant tous les composants.

B. Analyse Comparative et Compromis

L'article fournit quatre tableaux de comparaison structurés résumant les compromis de conception pour chaque axe :

Paradigmes de Récupérateurs RAG (Tableau 2) : Compare les approches Sparse, Dense, Graph, Hybride et LLM-as-Retriever selon la latence, le rappel, l'évolutivité, l'interprétabilité et la spécificité du domaine. Il met en évidence que les récupérateurs hybrides atteignent souvent le rappel le plus élevé, tandis que le LLM-as-retriever offre de la flexibilité à des coûts d'inférence élevés.
Cadres de Raisonnement des Agents LLM (Tableau 3) : Analyse des cadres tels que Chain-of-Thought, ReAct, Tree of Thoughts, Reflexion et Self-RAG. Il note que bien que ReAct soit la base la plus largement adoptée pour l'utilisation d'outils, Tree of Thoughts engendre des coûts de calcul élevés pour une planification profonde, et Reflexion offre une forte récupération d'erreurs via la mémoire.
Architectures MLLM (Tableau 5) : Compare les stratégies de fusion (attention croisée, pont Q-Former, projection linéaire, natif de bout en bout). Il identifie que si l'entraînement natif de bout en bout (par exemple, Gemini) offre un raisonnement puissant, les approches modulaires (par exemple, LLaVA, BLIP-2) offrent une meilleure efficacité et évolutivité.
Cadres d'Orchestration (Tableau 7) : Évalue des cadres comme LangChain, AutoGen, DSPy et CrewAI sur la base de la topologie, des mécanismes de coordination et du support des outils.

C. Paysage de la Standardisation et de l'Interopérabilité

L'étude cartographie la pile de standardisation émergente comme une architecture à trois couches :

Couche Schéma : Interfaces d'outils structurées (par exemple, appel de fonction OpenAI, Schéma JSON).
Couche Protocole d'Accès aux Outils : Le Protocole de Contexte de Modèle (MCP), qui standardise la communication entre les systèmes d'IA et les serveurs d'outils externes.
Couche d'Interopérabilité des Agents : Protocoles inter-cadres incluant Agent-to-Agent (A2A), Agent Communication Protocol (ACP), Agent Network Protocol (ANP) et Agent Spec.
Les auteurs soutiennent que l'interopérabilité converge grâce à la « traduction et la mise en couches » (adaptateurs et représentations intermédiaires) plutôt qu'à une norme universelle unique.

D. Méthodologies d'Évaluation

L'article examine les benchmarks à travers les quatre axes, notant un écart persistant dans les métriques unifiées au niveau du système.

RAG : Évalué sur la qualité de récupération (MRR, nDCG) et la factualité de la génération (EM, F1) en utilisant des jeux de données comme HotpotQA et BEIR.
Agents : Évalués sur la fidélité du rôle, la précision de la trace de raisonnement et l'efficacité de l'utilisation d'outils.
MLLM : Testés sur la QA visuelle, la compréhension de documents et l'alignement de sécurité (par exemple, MM-SafetyBench).
Orchestration : Mesurée via les performances de l'infrastructure (débit, latence) et les métriques de coordination du système.

4. Résultats et Constats

Complexité du Système : Les CAIS introduisent une surcharge d'ingénierie significative. Le débogage et l'optimisation deviennent super-linéairement difficiles à mesure que le nombre de composants intégrés augmente.
Modes de Défaillance : L'étude identifie des modes de défaillance spécifiques dans les MLLM (hallucinations visuelles, incohérences inter-modales) qui propagent des erreurs à travers l'ensemble du pipeline CAIS.
Compromis de Conception : Il n'existe pas de configuration optimale unique. Par exemple, tandis que les récupérateurs denses capturent la similarité sémantique, ils manquent de l'interprétabilité des méthodes éparses ; de même, l'entraînement MLLM de bout en bout produit de fortes performances mais sacrifie la modularité.
Lacunes de Standardisation : Bien que des protocoles comme MCP gagnent du terrain, la gouvernance de la sécurité (authentification, mise en quarantaine) pour les interfaces standardisées reste sous-développée, introduisant de nouvelles surfaces d'attaque.

5. Signification et Revendications

L'article se positionne comme la première synthèse systémique complète et transversale des Systèmes d'IA Composés. Sa signification réside dans :

Unifier la Recherche Fragmentée : Il comble le fossé entre les études isolées sur la RAG, les agents et les modèles multimodaux, fournissant un vocabulaire partagé et un cadre conceptuel.
Fournir un Plan de Conception : En formalisant le modèle $f(L, C, D)$ et en analysant les compromis, il offre aux chercheurs et aux praticiens une base pour concevoir les systèmes d'IA de nouvelle génération qui passent de « solistes autonomes » à des « orchestrateurs d'ensembles d'IA hétérogènes ».
Identifier les Défis Critiques : Il expose explicitement les directions de recherche ouvertes, notamment le besoin de pipelines entraînables de bout en bout, de métriques d'évaluation unifiées pour les tâches interactives/multimodales et de cadres de gouvernance robustes pour l'interopérabilité.

Les auteurs concluent que alors que les CAIS s'étendent vers des environnements réels, multimodaux et interactifs, une perspective au niveau du système synthétisant la récupération, l'agence, la perception et l'orchestration est essentielle pour faire avancer le domaine.