🤖 AI

Context Assembly as the Controlled Variable: A Control-Theoretic View of Harness Policies for Frozen LLM Agents

Cet article propose un cadre de théorie du contrôle pour les agents LLM gelés qui traite l'assemblage du contexte comme la variable contrôlée, en utilisant une politique externe en ligne pour optimiser dynamiquement les composants du prompt tout en fournissant des garanties de stabilité formelles et un étalonnage de l'incertitude.

Auteurs originaux : Debjyoti Paul

Publié 2026-07-29

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Debjyoti Paul

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Art du Prompt Parfait : Une Histoire de Théorie du Contrôle

Imaginez que vous essayez d'enseigner à un robot brillant, mais incroyablement têtu, comment résoudre un mystère. Ce robot est une IA, et il est « gelé », ce qui signifie que son cerveau est figé dans la pierre ; vous ne pouvez pas recâbler ses neurones ni lui enseigner de nouveaux faits. Il sait beaucoup de choses, mais il ne sait pas comment utiliser ces connaissances pour votre énigme spécifique à moins que vous ne lui donniez les bonnes instructions. Dans le monde de l'Intelligence Artificielle, cette configuration est appelée un « agent ». Pendant longtemps, les chercheurs ont cherché comment rendre ces agents fiables, en les traitant comme des machines qui doivent être pilotées. Ils utilisent des concepts de la « théorie du contrôle », qui est essentiellement la science du maintien de la stabilité et de la trajectoire — comme un système de régulateur de vitesse dans une voiture qui ajuste constamment l'accélérateur pour maintenir une vitesse constante, ou comme un thermostat qui module la chaleur pour maintenir une pièce confortable.

La grande question que cet article aborde est : Que devrions-nous exactement piloter ? La plupart des gens ont essayé de contrôler ce que le robot fait ensuite (comme quel outil saisir) ou à qui il parle. Mais cet article suggère que la véritable magie opère avant même que le robot ne commence à bouger. Il s'agit de contrôler le « contexte » — les instructions spécifiques, les exemples que vous lui montrez et la quantité d'informations contextuelles que vous lui fournissez. Voyez cela comme un chef cuisinier qui ne peut pas changer le livre de recettes (l'IA gelée), mais qui peut changer les ingrédients, l'éclairage de la cuisine et les notes sur le comptoir pour obtenir le plat parfait. Les auteurs veulent savoir si nous pouvons construire un système intelligent capable de déterminer automatiquement la meilleure façon de configurer ces instructions à la volée, et si ce système est assez stable pour inspirer confiance.

La Grande Idée de l'Article : Piloter la Configuration, pas le Robot

Cet article, écrit par Debjyoti Paul en juillet 2026, propose une nouvelle façon de percevoir les agents d'IA. Au lieu d'essayer de contrôler directement les actions du robot, les auteurs suggèrent de contrôler l'assemblage du contexte (context assembly). En langage clair, cela signifie contrôler la « mise en place » du prompt : quel modèle utiliser, quels quelques exemples montrer à l'IA, quelle quantité d'informations extraire d'une base de données, et combien de fois l'IA doit vérifier son propre travail.

Les auteurs imaginent un système en deux parties. La première partie est l'agent d'IA « gelé » — le robot qui effectue réellement le travail. La seconde partie est un « harnais » ou un contrôleur situé à l'extérieur du robot. Ce contrôleur est un apprenant intelligent (utilisant des méthodes telles qu'un « bandit contextuel » ou une politique « REINFORCE ») qui expérimente constamment différentes configurations pour voir laquelle donne les meilleurs résultats. C'est comme un régisseur de scène qui ne peut pas changer les répliques de l'acteur (parce que l'acteur est figé), mais qui peut changer l'éclairage, les accessoires et les notes de script pour aider l'acteur à mieux performer.

Ce Qu'Ils Ont Trouvé : Un Retour à la Réalité

Les auteurs n'ont pas seulement imaginé cette idée ; ils l'ont testée pour voir si elle fonctionne réellement et si elle est stable. Ils ont mené des expériences avec une configuration spécifique où le contrôleur devait choisir parmi 729 configurations possibles différentes (une combinaison de différents styles de prompts, d'outils, de politiques de mémoire et d'étapes de vérification). Ils ont effectué ces tests sur 60 épisodes (essais) par exécution, pour un total de 240 épisodes à travers différentes graines (seeds).

Voici la vérité honnête sur ce qu'ils ont trouvé :

1. Le Test de Stabilité (Est-ce que cela s'améliore ?)
Les auteurs voulaient voir si le contrôleur apprenait à s'améliorer avec le temps, un concept qu'ils appellent « stabilité ». Dans un monde parfait, la performance du contrôleur devrait augmenter ou rester stable au fur et à mesure de son apprentissage. Cependant, leurs données ont montré quelque chose de différent. Sur les 60 épisodes testés, la performance a en fait légèrement diminué ou est restée stable pour la plupart des exécutions. Trois des quatre tests ont montré une pente négative infime.

Les auteurs expliquent que ce n'est pas nécessairement un échec de leur idée, mais une limitation de la taille du test. Ils soutiennent qu'avec 729 options possibles à choisir, 60 épisodes ne suffisent tout simplement pas pour que le contrôleur apprenne les bases. C'est comme essayer d'apprendre une immense bibliothèque de 729 langues différentes en seulement quelques jours ; vous n'avez pas eu assez de temps pour pratiquer suffisamment pour devenir bon. Ils notent que même avec 300 épisodes (cinq fois plus que leur test de stabilité), leur article complémentaire a constaté que le système ne pouvait toujours pas battre une ligne de base statique et pré-établie. La conclusion est que le système se trouve actuellement dans un régime de « sous-échantillonnage » — l'échantillon est trop petit pour prouver la théorie à long terme, même si la théorie elle-même est cohérente.

2. Le Test de Confiance (Sait-il quand il devine ?)
La deuxième chose qu'ils ont vérifiée est la « calibration de l'incertitude ». Cela revient à demander : Le contrôleur sait-il quand il est confiant et quand il est incertain ? Dans un scénario réel, si l'IA est incertaine, elle devrait demander l'intervention d'un humain.

Les résultats ici ont été assez surprenants et un peu désordonnés. Le score de « confiance » du contrôleur (basé sur la probabilité qu'il attribuait à son choix) était extrêmement bas — environ 0,0014 — alors que le taux de réussite réel des tâches était beaucoup plus élevé, environ 0,64 (64 %) et 0,58 (58 %). C'est un écart énorme, d'environ deux ordres de grandeur.

Les auteurs expliquent que ce n'est pas un bug dans l'apprentissage, mais un problème mathématique. Parce qu'il y a 729 options, la probabilité de choisir n'importe laquelle d'entre elles est naturellement minuscule (environ 1/729, soit 0,0014). Ainsi, le contrôleur semble « peu confiant » tout le temps, même lorsqu'il choisit la bonne réponse. Cela signifie que si vous essayiez d'utiliser ce chiffre de confiance brut pour décider quand appeler un humain à l'aide, cela ne fonctionnerait pas — vous appelleriez un humain pour chaque tâche, même les plus faciles. L'article suggère que pour corriger cela, il faudrait recalibrer le signal de confiance (peut-être en regardant l'écart entre les deux meilleurs choix plutôt que la probabilité brute), mais ils admettent ne pas avoir encore testé cette correction.

L'Essentiel

Cet article ne prétend pas avoir résolu le problème du contrôle de l'IA. Au lieu de cela, il offre un regard très spécifique et honnête sur une nouvelle façon de penser : contrôler le contexte plutôt que l'action. Il soutient que, bien que ce soit une idée prometteuse et distincte, les expériences actuelles montrent que nous nous heurtons à un mur parce que l'espace des possibilités (729 configurations) est trop vaste pour la quantité de données que nous pouvons raisonnablement collecter en une journée.

Les auteurs prennent soin de ne pas présenter cela comme une percée. Ils déclarent explicitement que leurs résultats de stabilité sont « dominés par le bruit » et que leurs signaux de confiance sont actuellement « non informatifs » sans corrections supplémentaires. Ils disent essentiellement : « Voici un nouveau levier à actionner, mais pour l'instant, nous n'avons pas fait assez de mouvements d'essai pour savoir s'il fonctionne parfaitement, et notre façon actuelle de mesurer la confiance est défaillante. » C'est un appel à plus de données et à de meilleures méthodes de calibration, plutôt qu'une déclaration de victoire.

Résumé technique : L'assemblage du contexte comme variable contrôlée

Énoncé du problème

Bien que l'application de la théorie du contrôle aux agents de grands modèles de langage (LLM) soit un domaine établi à la mi-2026, la littérature existante se concentre principalement sur le contrôle de actions discrètes spécifiques ou du routage de systèmes. Les travaux antérieurs ont traité la sélection d'outils (Anonyme [2026]), la sélection d'actions dans des univers discrets massifs (Majumdar [2026]), ou le routage de messages inter-agents (Nogueira et Skogstad [2026]) comme les variables contrôlées.

Cet article soutient que ces approches négligent une variable contrôlée distincte et pratiquement critique : l'assemblage du contexte. Cela fait référence à la configuration dynamique du modèle de prompt (template), des démonstrations de type few-shot, du volume de contexte récupéré, et du nombre de passes de planification ou de vérification. Contrairement aux flux d'actions bruts ou aux catalogues d'outils, l'assemblage du contexte est l'ensemble spécifique de paramètres qu'un ingénieur de harnais (harness engineer) édite manuellement aujourd'hui. L'article postule que cette variable est suffisamment petite pour être énumérable, tout en étant assez complexe pour nécessiter un apprentissage en ligne, et qu'elle peut être optimisée par un contrôleur léger (bandit contextuel ou REINFORCE) situé à l'extérieur d'un LLM gelé.

Méthodologie

Décomposition formelle

Le système est décomposé en deux politiques distinctes :

Politique interne ( $\pi_\theta$ ) : Un modèle LLM gelé qui génère des actions $a_t$ étant donné un état $s_t$ et une configuration de contexte $C_t$ . Les poids du modèle $\theta$ ne sont jamais mis à jour.
Politique externe ( $\pi_\phi$ ) : Un contrôleur apprenable qui sélectionne la configuration de contexte $C_t$ $C_{t}$ à partir d'un espace fixe et énumérable $\mathcal{C}$ $C$ basé sur la tâche $x_t$ $x_{t}$ et l'historique d'interaction $h_t$ $h_{t}$ .
- Dans l'instanciation de l'article, $|\mathcal{C}| = 729$ , répartis entre le style de prompt, la politique d'outil/récupération, la politique de mémoire, la politique de planification, la politique de vérification et le budget d'étapes.
- La politique externe est paramétrée soit comme une fonction de valeur linéaire (pour un bandit contextuel), soit comme une politique softmax (pour REINFORCE).

Objectif d'optimisation

La politique externe est optimisée pour maximiser une fonction de récompense multi-objectifs tout en maintenant $\theta$ fixe :
$\max_\phi \mathbb{E} [R_{task} + \lambda_v R_{verify} + \lambda_p R_{policy} - \lambda_c C_{tokens} - \lambda_\ell C_{latency} - \lambda_h P_{unsupported}]$
Cet objectif équilibre le succès de la tâche, la qualité de la vérification et l'adhérence à la politique contre les coûts de consommation de tokens, de latence et d'opérations non supportées.

Analyse de la stabilité et de la calibration

L'article évalue le contrôleur à travers deux lentilles spécifiques de la théorie du contrôle :

Stabilité empirique : Adoptant la définition de Zhang et al. [2026], la stabilité est définie comme la non-diminution de la récompense attendue sur une fenêtre glissante à mesure que les épisodes s'accumulent. Il s'agit d'une affirmation plus faible et plus mesurable que la stabilité asymptotique de Lyapunov, adaptée à l'apprentissage en ligne où l'"état" est un ensemble de poids appris.
Calibration de l'incertitude : L'article analyse si la confiance du contrôleur (définie par la probabilité softmax de l'action sélectionnée) est corrélée au succès réel de la tâche. Ceci est crucial pour les scénarios d'escalade humaine où une faible confiance devrait prédire un échec.

Résultats clés

1. Stabilité empirique

Les auteurs ont mené une expérience instrumentée utilisant 240 épisodes sur des contrôleurs bandit et REINFORCE dans un domaine d'utilisation d'outils (Ollama qwen2.5:7b).

Constat : Les résultats empiriques n'ont pas confirmé la proposition théorique de récompense non décroissante dans le budget de 60 épisodes par graine (seed).
Analyse : Les ajustements linéaires de la récompense par rapport à l'indice d'épisode ont montré des tendances légèrement négatives ou plates pour trois des quatre exécutions. Les auteurs attribuent cela non pas à un échec de la logique, mais au régime sous-échantillonné. Avec un espace d'action de 729 configurations, 60 épisodes sont insuffisants pour que les estimations courantes se concentrent (un régime identifié comme $\Omega(M)$ dans Majumdar [2026]). Les résultats caractérisent la difficulté d'apprentissage dans cet espace avec des budgets expérimentaux pratiques d'une seule journée plutôt que de prouver une convergence asymptotique.

2. Calibration de l'incertitude

L'analyse de la calibration a révélé un décalage significatif entre la confiance du contrôleur et sa performance réelle.

Constat : L'erreur de calibration attendue (ECE) était de 0,607, une mésétalibration importante.
Mécanisme : La confiance moyenne du contrôleur était d'environ 0,0014 (environ $1/729$ ), tandis que le taux de succès réalisé se situait entre 0,58 et 0,64.
Implication : Parce que l'espace d'action est vaste et que les scores sont distribués de manière presque égale, la probabilité softmax brute est bornée près de $1/M$ . Cela rend le signal de probabilité brute peu informatif pour l'escalade humaine ; essentiellement, chaque épisode semble présenter une "faible confiance" quel que soit le succès. L'article stipule explicitement que la probabilité brute de sélection d'action ne peut pas être utilisée comme un signal de confiance sans recalibrage (par exemple, via le réglage de la température ou des définitions de marge de valeur).

Signification et revendications

L'article formule une revendication modeste et spécifique : il identifie l'assemblage du contexte comme une variable contrôlée distincte qui a été moins explorée que la sélection d'outils ou le routage d'agents.

Contribution : Il fournit une décomposition formelle de l'architecture "modèle gelé + harnais apprenable" et soumet cette variable contrôlée spécifique aux mêmes examens empiriques (tests de stabilité et de calibration) appliqués aux autres articles sur les agents en théorie du contrôle.
Honnêteté de reporting : L'article souligne que ses résultats empiriques sont "informatifs plutôt que flatteurs". Il rapporte explicitement que les budgets d'épisodes pratiques sont insuffisants pour atteindre la stabilité asymptotique ou la calibration requises pour un déploiement sous leur forme actuelle.
Point de conception : Plutôt que de prétendre avoir résolu un problème, l'article signale le problème de la calibration comme un véritable point de conception ouvert. Il suggère que pour que cette approche soit viable, les signaux de confiance doivent être redéfinis (par exemple, via des marges de valeur) plutôt que de s'appuyer sur les probabilités softmax brutes sur de grands espaces discrets.

En résumé, l'article ne prétend pas avoir résolu la stabilité des harnais de LLM. Au contraire, il démonte rigoureusement le goulot d'étranglement de la complexité d'échantillonnage inhérent à l'apprentissage de l'assemblage du contexte sur un grand espace discret et met en évidence l'échec de calibration des métriques de confiance naïves, fournissant ainsi une base réaliste pour les travaux futurs dans ce créneau spécifique.