🤖 AI

Agentic System as Compressor: Quantifying System Intelligence in Bits

Cet article propose un cadre qui quantifie l'intelligence d'un système agentique comme la réduction du nombre de bits nécessaires pour reconstruire un objet cible, démontrant à travers cinq expériences contrôlées que les composants agentiques tels que l'utilisation d'outils et la recherche compressent efficacement l'information et diminuent l'incertitude résiduelle.

Auteurs originaux : Zihan Qin, Hongrui Zhang

Publié 2026-06-25

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zihan Qin, Hongrui Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'envoyer un message très complexe à un ami, mais que vous avez une limite stricte sur le nombre de « bits » (petites unités d'information) que vous pouvez envoyer. Habituellement, si vous voulez envoyer une longue histoire ou une instruction complexe, vous devez tout écrire mot pour mot. Cela prend beaucoup de place.

Cet article propose une nouvelle façon de mesurer à quel point un système est « intelligent ». Au lieu de demander : « Le système a-t-il trouvé la bonne réponse ? » (ce qui est comme un simple test de réussite ou d'échec), il demande : « Quelle quantité d'informations le système a-t-il dû envoyer pour accomplir la tâche ? »

Les auteurs appellent cela la « Compression Agentique ». Voici l'idée centrale décomposée avec des analogies simples :

1. Le concept central : L'intelligence comme un raccourci

Considérez l'intelligence non pas comme le fait de « tout savoir », mais comme le fait de connaître les meilleurs raccourcis.

L'ancienne méthode (Le modèle seul) : Imaginez que vous essayez de décrire un coup d'échecs spécifique à un ami via un talkie-walkie. Si vous dites simplement « Le cavalier va à la case B », vous devez décrire tout l'état du plateau à chaque fois. Cela représente beaucoup de mots (bits).
La méthode agentique (Le système) : Maintenant, imaginez que vous et votre ami possédez tous deux un livre de règles (l'environnement) et un ensemble d'outils. Vous n'avez pas besoin de décrire tout le plateau. Vous dites juste : « Cavalier en B ». Comme votre ami possède le même livre de règles, il sait instantanément de quel mouvement exact il s'agit, car les règles des échecs éliminent déjà tous les mouvements illégaux. Vous avez ainsi économisé énormément d'espace.

L'article soutient que plus le système est intelligent, moins il a besoin d'envoyer de bits. Si un système utilise des outils, recherche sur le web ou vérifie son propre travail, il peut compresser le message en un indice minuscule. S'il doit envoyer l'intégralité du message à partir de zéro, il est « moins intelligent » selon cette métrique spécifique.

2. Comment ils l'ont mesuré (Les trois outils)

Pour tester cela, les chercheurs ont construit une « machine de compression » qui tente de réduire les messages de trois manières différentes :

La méthode de la « Copie Exacte » (Codage Arithmétique) : C'est comme une machine à écrire ultra-précise. Si le système doit envoyer une chaîne de texte spécifique, il calcule la probabilité de chaque lettre et envoie le code le plus efficace possible. C'est la base de référence.
La méthode de la « Graine Magique » (Codage par Graine) : C'est comme un jeu de « Devine le nombre ». Imaginez que le système possède une liste de 1 000 réponses possibles. Au lieu d'écrire la réponse, l'émetteur dit simplement : « C'est la 42ème de la liste ». Le récepteur possède la même liste et les mêmes règles, il choisit donc simplement la 42ème. C'est incroyablement efficace si la bonne réponse est probablement sur la liste.
Le « Filet de Sécurité » (Repli) : Si la méthode de la « Graine Magique » échoue (la bonne réponse n'était pas dans les 1 000 premières), le système revient à la méthode de la « Copie Exacte » pour s'assurer que le message passe.

3. Ce qu'ils ont testé (Les cinq expériences)

Ils ont testé cette idée sur cinq scénarios différents pour voir si l'ajout d'outils « agentiques » permettait réellement d'économiser des bits :

Texte inversé : Ils ont pris une histoire et l'ont inversée.
- Sans outils : Le système devait envoyer les lettres inversées une par une.
- Avec outils : L'émetteur et le récepteur se sont mis d'accord sur une règle : « Nous allons tous les deux inverser le texte. » L'émetteur a simplement envoyé le texte normal. Résultat : Économies massives de bits.
Mouvements d'échecs :
- Sans outils : Envoyer un mouvement comme « Cavalier en B » nécessite de décrire tout le contexte du plateau.
- Avec outils : Le système utilise un moteur d'échecs (l'environnement) qui connaît les coups légaux. Il envoie uniquement le mouvement, et le moteur filtre les mouvements impossibles. Résction : Économies significatives.
Séquences de protéines (Science) :
- Ils ont tenté de générer des structures protéiques.
- Avec outils : Ils ont utilisé un « modèle » (une protéine similaire connue) pour guider la supposition.
- Résultat : Le système n'a pas eu à deviner toute la structure à partir de zéro ; il a simplement comblé les lacunes. Cela a permis d'économiser une quantité massive de données.
Récupération (RAG) :
- Ils ont posé des questions dont la réponse était cachée dans un document.
- Avec outils : Si le système a récupéré le bon document, il n'a eu qu'à envoyer un indice minuscule pour obtenir la réponse. S'il a récupéré le mauvais document, il a dû envoyer beaucoup plus d'informations.
- Résultat : Une bonne information (documents pertinents) a considérablement réduit les bits nécessaires.
Compression d'histoire :
- Ils ont tenté de résumer une histoire.
- Résultat : Ils ont constaté que si l'on laisse le système « réfléchir » plus longtemps (utiliser plus de puissance de calcul/recherche), il peut trouver un résumé plus court. Cela a prouvé un arbitrage : Plus de puissance de calcul = Message plus court.

4. Les grandes conclusions

L'article souligne trois points principaux en utilisant cette méthode de « comptage de bits » :

Les outils rendent les systèmes plus intelligents : Ajouter des outils (comme un moteur d'échecs ou une barre de recherche) ne sert pas seulement à aider le système à trouver la bonne réponse ; cela change fondamentalement la façon dont le système communique, permettant d'envoyer des messages beaucoup plus courts.
La rigueur coûte des bits : Si vous exigez une reconstruction parfaite, mot pour mot, vous avez besoin de plus de bits. Si vous vous souciez seulement de l'« essence » ou du « sens » (compression sémantique), vous pouvez envoyer moins de bits. L'intelligence du système dépend de la rigueur des règles.
Puissance vs Efficacité : Il existe un équilibre entre la puissance de calcul utilisée et la brièveté du message. Si vous laissez le système chercher plus intensément, il peut trouver un moyen plus court et plus efficace de décrire la réponse.

Résumé

En termes courants, ce papier suggère que l'intelligence véritable des systèmes d'IA ne réside pas seulement dans le cerveau du modèle ; c'est toute l'équipe qui compte.

Si vous avez un travailleur intelligent (le modèle d'IA) mais aucun outil, il doit tout faire à partir de zéro, ce qui est inefficace. Mais si vous lui donnez une bibliothèque, une calculatrice et un livre de règles (le système agentique), il peut accomplir le même travail avec une simple petite note. Les auteurs affirment : « Moins vous avez besoin d'écrire de mots pour accomplir la tâche, plus votre système est intelligent. » Ils ont créé une façon de compter ces mots (les bits) pour mesurer précisément la valeur ajoutée de chaque outil à l'équipe.

Résumé technique : Le système agentique comme compresseur : quantifier l'intelligence du système en bits

1. Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés non pas comme des prédicteurs isolés, mais comme des systèmes agentiques qui intègrent des outils, des mécanismes de recherche, des contraintes d'environnement, des vérificateurs et une recherche multi-tours. Les métriques d'évaluation actuelles (par exemple, la précision, le taux de réussite) ne parviennent pas à capturer l'origine de la capacité au sein de ces flux de travail complexes. Un taux de réussite élevé ne permet pas de distinguer si la performance provient de la capacité de prédiction intrinsèque du modèle ou de composants externes (par exemple, un récupérateur fournissant des preuves, un environnement basé sur des règles filtrant les mouvements illégaux, ou un vérificateur corrigeant des erreurs). De plus, les taux de réussite manquent souvent de résolution dans les tâches difficiles où les deux systèmes « échouent presque » (succès proche de zéro) malgré des niveaux de certitude résiduelle très différents sur l'espace cible.

Le document répond au besoin d'un cadre analytique unifié et fin pour quantifier l'intelligence du système en mesurant la quantité d'incertitude résiduelle que différents composants (modèles, outils, environnements) éliminent d'une distribution cible.

2. Méthodologie : Longueur de code agentique

Les auteurs opérationnalisent le principe selon lequel « la compression est l'intelligence » en traitant un système agentique comme un compresseur conditionnel. Sous une distribution de tâches, un standard d'observation, une interface de système et un budget de calcul fixes, un système plus intelligent nécessite moins de bits pour reconstruire un objet cible.

2.1 Cadre théorique

Définition du système agentique : Défini comme un triplet $A = (P, M, E)$ , où $P$ est le programme, $M$ représente les interfaces de modèles et $E$ représente les interfaces d'environnement (outils, API, récupérateurs).
Compression conditionnelle : Le système compresse une cible $x$ étant donné une condition publique $c$ (par exemple, un prompt ou une spécification de tâche). La longueur de code $L(x|c)$ mesure l'information que l'encodeur doit transmettre pour permettre à un décodeur (partageant les mêmes conditions de système) de reconstruire $x$ .
Équivalence d'observation : La reconstruction ne nécessite pas une récupération octet par octet exacte. Au lieu de cela, la sortie du décodeur $\hat{x}$ doit satisfaire $y \approx_O x$ sous une famille d'observations $O$ (par exemple, l'équivalence fonctionnelle dans le repliement des protéines ou l'équivalence sémantique dans la narration).
Valeur du composant : La contribution d'un composant spécifique $g$ est définie comme la réduction marginale de la longueur de code moyenne : $\Delta_g = \bar{L}_{\Pi \setminus g} - \bar{L}_{\Pi_g}$ .

2.2 Schémas de codage

Pour estimer la longueur de code dans les contextes agentiques, les auteurs proposent un protocole de compression-décompression exécutable combinant trois schèmes :

Codage arithmétique : Utilisé pour l'encodage exact de sorties spécifiques. Il accumule la log-vraisemblance négative (NLL) jeton par jeton, convertissant les prédictions du modèle en longueur de code.
Codage par graine (Seed Coding) : Utilisé pour les tâches avec des sorties qualifiantes denses (par exemple, des environnements déterministes ou reproductibles). L'encodeur transmet une description latente plus le rang de la première graine aléatoire produisant une sortie qualifiante. Le coût est de $\lceil \log_2 N \rceil$ bits, où $N$ est le budget d'échantillonnage.
Repli (Fallback) : Si le codage par graine échoue dans le budget imparti, le système se replie sur le codage arithmétique. Un sélecteur d'un bit distingue le chemin.

3. Contributions clés

Perspective au niveau du système : Le papier est le premier à appliquer la vue « la compression est l'intelligence » aux systèmes agentiques plutôt qu'aux modèles isolés, traitant les outils, les environnements et les processus d'interaction comme faisant partie intégrante du mécanisme de compression.
Métrique de valeur de bit marginal : Introduit une métrique quantitative pour analyser la contribution de composants spécifiques (par exemple, un récupérateur ou un vérificateur) via la réduction de la longueur de code moyenne, offrant une résolution plus élevée que les taux de réussite.
Protocole exécutable : Combine le codage arithmétique, le replay de graine et le repli en un protocole unifié capable de mesurer la longueur de code à travers divers types de tâches.
Validation empirique : Valide le cadre à travers cinq contextes distincts (A–E), démontrant sa capacité à analyser la valeur des composants, la granularité de l'observation et les compromis de calcul.

4. Résultats expérimentaux

Le cadre a été évalué dans cinq contextes (A–E), isolant les composants agentiques typiques :

A. Texte inversé (Outil déterministe) : L'utilisation d'une transformation inverse partagée a réduit la longueur de code de 2,877 à 0,742 bits/octet, démontrant que les outils déterministes peuvent réduire considérablement l'incertitude résiduelle.
B. Mouvements d'échecs (Environnement basé sur des règles) : L'imposition de contraintes de mouvements légaux via un environnement basé sur des règles a réduit la longueur de code de 9,828 à 6,545 bits/coup (économie de 3,283 bits/coup), montrant comment les contraintes d'environnement rétrécissent l'espace des candidats.
C. Séquences protéiques (Templates scientifiques) :
- Les templates homologues calibrés ont réduit la longueur de code de 200,65 à 116,80 bits/séquence (83,85 bits économisés).
- C' (Équivalence fonctionnelle et vérificateur) : Dans une tâche d'équivalence fonctionnelle où les taux de réussite étaient faibles, l'ajout d'un retour de vérificateur et de réparation a réduit la longueur de code moyenne de 402,99 à 27,58 bits/séquence (économie de 375,41 bits/séquence), même si les taux de réussite n'ont augmenté que de 68 % à 98 %. Cela souligne la sensibilité de la métrique là où les taux de réussite plafonnent.
D. Génération augmentée par récupération (RAG) : Les documents pertinents ont réduit la longueur de code de la réponse de 18,29 bits en moyenne par rapport à un échec de récupération. Les documents distracteurs n'ont apporté qu'une aide négligeable (2,95 bits), et la récupération mixte a conservé la majeure partie du gain, prouvant que la valeur de la récupération est évaluée de manière continue par la pertinence.
E. Compression de récit sémantique :
- Granularité de l'observation : À mesure que le standard de l'observateur se resserrait (de la préservation des caractères à la correction de l'intrigue/fin), la longueur de code augmentait de manière monotone, confirmant que la capacité de compression est relative au standard d'observation.
- Compromis de calcul : L'augmentation du budget de déploiement du résumé ( $T$ ) a amélioré la compression (réduisant les bits de 292,1 à 127,5) mais avec des rendements décroissants, établissant une frontière de Pareto entre le budget de calcul et la longueur de code.

5. Signification et affirmations

Le papier affirme que la longueur de code agentique sert d'outil de comptabilité unifié pour l'incertitude résiduelle à travers différentes sources d'information et critères de succès.

Résolution de l'« échec presque total » : La métrique peut distinguer les systèmes qui ont tous deux des taux de réussite proches de zéro mais diffèrent significativement dans leur réduction de l'incertitude résiduelle (par exemple, l'expérience d'équivalence fonctionnelle des protéines).
Analyse des composants : Elle permet de quantifier la « valeur de bit marginale », permettant aux ingénieurs de comprendre exactement comment un récupérateur, un vérificateur ou une contrainte d'environnement contribue à la capacité du système.
Relativité de l'intelligence : Le papier soutient que l'intelligence n'est pas une propriété absolue d'un modèle, mais qu'elle est relative au protocole (distribution, observateur, interface et budget). Un flux de travail agentique modifie efficacement le « langage de description », déplaçant l'information du message par instance vers le protocole partagé et le système de décodage.
Pseudo-entropie agentique : Les auteurs proposent une extension théorique, la « pseudo-entropie agentique », pour définir l'incompressibilité des données par rapport à une classe de systèmes agentiques contraints, caractérisant la complexité réelle restant après l'exploitation de tous les outils et stratégies de recherche disponibles.

Les auteurs maintiennent une position modeste, notant que ces expériences sont à petite échelle et contrôlées pour vérifier des mécanismes plutôt que pour servir de benchmark final pour les systèmes déployés. Les résultats offrent des orientations méthodologiques pour évaluer les systèmes réels plutôt que des classements de performance définitifs.