🤖 AI

Unpredictability dissociates from structured control in language agents

Ce papier démontre que, chez les agents linguistiques, l'imprévisibilité stochastique ne peut se substituer aux mécanismes de contrôle structurés couplant raisons, mémoire et état de soi à la sélection d'actions, car des lésions ciblées de ces composants structurés dégradent systématiquement les performances tandis que les variantes à forte stochastique échouent à reproduire un couplage structuré entre le champ d'actions et l'agent sur des benchmarks étendus.

Auteurs originaux : Jia Xiao

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jia Xiao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Question : Le « Chaos » est-il la même chose que le « Contrôle » ?

Imaginez que vous regardez un spectacle de marionnettes.

Scénario A : Le marionnettiste tire les ficelles avec un plan clair. La marionnette bouge pour des raisons spécifiques (souvenir de l'intrigue, décision de s'arrêter, ou règle à suivre).
Scénario B : La marionnette est simplement ballottée par une rafale de vent. Elle bouge de façon sauvage et imprévisible, mais elle n'a ni plan, ni mémoire, ni raison pour sa prochaine destination.

Pendant longtemps, les gens ont supposé que si un programme informatique (un « agent IA ») agissait de manière sauvage et imprévisible, il devait « penser » ou se « contrôler » lui-même. Ce document demande : Est-ce vrai ?

Les chercheurs disent non. Ils ont découvert que le simple fait qu'une IA soit imprévisible (comme la marionnette ballottée par le vent) ne signifie pas qu'elle possède un contrôle structuré (comme le marionnettiste). En fait, le véritable contrôle nécessite des « organes » internes spécifiques comme la mémoire, le raisonnement et la capacité de dire « non » (inhibition).

L'Expérience : Le Laboratoire de « Lésion »

Pour le prouver, les chercheurs ont construit un agent IA spécial qui agit comme un humain disposant d'un « panneau de contrôle ». Ils pouvaient activer ou désactiver des parties spécifiques du cerveau de l'agent, comme un chirurgien réalisant une étude par « lésion » (retirer des parties du cerveau pour voir ce qui se passe).

Ils avaient deux versions principales de l'agent :

L'Agent « Structuré » : Celui-ci avait tous ses outils activés. Il possédait un module de Raison (pour expliquer pourquoi il a choisi quelque chose), un module de Mémoire (pour se souvenir des événements passés), un module d'État de Soi (pour suivre ses objectifs) et un module de Veto (pour s'empêcher de faire un mauvais choix).
L'Agent « Chaos » : Celui-ci avait les modules Raison, Mémoire, Soi et Veto désactivés. À la place, ils ont augmenté la « température » (aléatoire) pour le faire deviner de façon sauvage et imprévisible.

L'Analogie :
Pensez à l'Agent Structuré comme à un chef suivant une recette, goûtant la nourriture et décidant d'ajouter du sel ou d'arrêter de cuisiner.
Pensez à l'Agent Chaos comme à un mixeur tournant à vitesse maximale. Il projette les ingrédients partout (imprévisible), mais il ne « cuisine » rien ; il fait simplement du désordre.

Ce qu'ils ont découvert

Les chercheurs ont fait passer ces agents à travers 7 types de tâches différents (comme raconter une histoire, faire un choix ou se souvenir d'un fait) et ont vérifié plus de 74 000 interactions. Voici ce qui s'est passé :

1. Le Chaos n'est pas le Contrôle
L'agent « Chaos » était en effet beaucoup plus difficile à prédire. Il sautillait davantage. Cependant, il a échoué à agir comme un agent contrôlé. Il ne se souvenait pas de ses objectifs, il ne changeait pas d'avis sur la base de nouvelles raisons, et il ne pouvait pas s'empêcher de faire des erreurs.

Le Résultat : Être imprévisible n'a pas rendu l'agent plus intelligent ou plus en contrôle. Cela l'a simplement rendu aléatoire.

2. L'Astuce « Post-Hoc »
Certaines personnes pourraient argumenter : « Peut-être que l'agent Chaos se contrôle lui-même, il écrit simplement ses raisons après avoir fait un choix. »
Pour tester cela, les chercheurs ont forcé l'agent Chaos à écrire des raisons, des souvenirs et des décisions de veto après avoir agi, juste pour voir s'il semblait être en contrôle.

Le Résultat : Même lorsqu'il était forcé d'écrire une histoire expliquant pourquoi il avait fait quelque chose, les actions de l'agent Chaos ne correspondaient pas réellement à l'histoire. Les « raisons » n'étaient que de la décoration, pas la véritable cause de l'action.

3. Le Test de « l'Action Finie »
Pour être absolument sûrs, ils ont retiré tout le texte sophistiqué et n'ont regardé que la décision finale (par exemple : « Choisissez l'Option A » ou « Arrêtez-vous »). Ils ont soumis les agents à un test secret : « Si je change la raison, vous devriez changer votre choix. Si je vous donne une fausse raison, vous devriez l'ignorer. »

Le Résultat : L'Agent Structuré a réussi. Il a changé son choix lorsque la raison a changé et a ignoré les fausses raisons. L'Agent Chaos a échoué lamentablement ; il ne pouvait pas suivre les règles de la logique ou de la mémoire.

La Vérification « les Yeux Bandés »

Pour s'assurer qu'ils n'étaient pas biaisés, trois experts humains ont examiné 1 200 exemples sans savoir quel agent était lequel. Ils ont été d'accord presque parfaitement (96 % d'accord) pour dire que l'Agent Structuré était le seul véritablement « en contrôle ».

Les Limites (Ce que le document n'a pas dit)

Le document est très prudent sur ce qu'il affirme. Il ne dit pas :

Que l'IA ne peut jamais être contrôlée.
Que l'aléatoire est inutile.
Que cela s'applique à toutes les IA dans le monde.

Au contraire, il dit : Dans le type spécifique d'agent IA qu'ils ont construit, rendre simplement l'IA plus aléatoire (stochastique) n'a pas créé un véritable contrôle structuré. Vous ne pouvez pas substituer un « coup de chance sauvage » à une « décision raisonnée ».

La Conclusion

Si vous voulez qu'une IA soit véritablement en contrôle — capable de se souvenir, de raisonner et de s'arrêter elle-même — vous devez intégrer ces parties spécifiques en elle. Vous ne pouvez pas simplement tourner le « bouton d'aléatoire » et espérer qu'elle découvre comment être intelligente. L'imprévisibilité n'est pas la même chose que l'intelligence.

Résumé Technique : L'Imprévisibilité se Dissocie du Contrôle Structuré chez les Agents Linguistiques

Énoncé du Problème
L'article traite d'une confusion fondamentale dans l'évaluation des agents linguistiques : l'hypothèse selon laquelle l'imprévisibilité comportementale (dispersion stochastique) serait synonyme de contrôle structuré. Bien qu'un système puisse être difficile à prédire en raison d'un échantillonnage large, du bruit ou d'un vaste espace de sortie, cela n'implique pas nécessairement qu'il possède des représentations pertinentes pour les objectifs, des mécanismes d'inhibition ou une sélection d'actions sensible au contexte. L'étude examine si l'échantillonnage stochastique peut se substituer à des mécanismes explicites et structurés — spécifiquement ceux couplant les raisons, la mémoire, l'état de soi et l'inhibition (veto) à la sélection d'actions — dans une implémentation d'agent linguistique où ces composants peuvent être désactivés sélectivement (lésés).

Méthodologie
La recherche utilise une famille d'agents linguistiques « lésionnables » conçue pour isoler des composants de contrôle spécifiques. La conception expérimentale s'articule autour de trois axes probatoires :

Dispersion Stochastique : Mesurer si l'augmentation de la stochasticité (via un échantillonnage à haute température et la désactivation des modules de contrôle) accroît l'imprévisibilité des actions.
Couplage Trace–Action : Évaluer si les raisons rapportées, la mémoire, l'état de soi et les informations de veto restent couplés à l'action finale, distincts de leur simple présence dans le format de sortie.
Réactivité Comportementale aux Actions : Tester si les codes d'action finaux changent dans les directions attendues sous des sondes contrefactuelles et des lésions ciblées, indépendamment de la formulation libre des traces.

Configuration Expérimentale :

Variantes : L'étude compare une Variante à Contrôle Structuré (A4), qui active le branchement, l'état de soi, la mémoire, le graphe de raisons et le veto, à un Comparateur à Haute Stochasticité (A5), qui désactive les modules de contrôle et augmente la température d'échantillonnage. Des lésions ciblées (A4_no_reason, A4_no_veto) suppriment sélectivement des composants spécifiques.
Contrôles : L'étude inclut des contrôles à interface appariée (post-hoc, brouillés, aléatoires et contrôles de verbosité) utilisant le même schéma de rapport pour écarter la disponibilité du format comme facteur confondant. Elle teste également des alternatives stochastiques fortes (calibration à température plus basse, échantillonneurs appariés en calcul, auto-cohérence) et s'étend à des modèles à poids ouverts (Qwen2.5 7B/14B/32B, Mistral-7B) et des API externes.
Métriques :
- Entropie d'Action : Entropie de Shannon sur les chaînes d'actions finales pour mesurer l'imprévisibilité.
- Indice de Couplage Champ-Action (AFCI) : Un score composite mesurant l'alignement des raisons, de la mémoire, du veto et de l'état de soi avec l'action finale.
- Référentiel de Codes d'Action Finis : Un test indépendant du format où les actions finales sont mappées à une ontologie de six codes (par exemple, ACTION_A, VETO, DEFER). Les scores (BRSI, BMCI, BVEI, BSCI) mesurent la réactivité à des sondes spécifiques tout en ignorant la formulation libre des traces.
Échelle : La matrice de lésion de base comprend 74 352 appels répartis sur sept jeux de données. Les contrôles à interface appariée couvrent 26 946 générations. Le référentiel de codes d'action finis inclut 57 816 enregistrements notés. Les exécutions sur modèles à poids ouverts couvrent 126 000 générations par modèle sur 20 familles de tâches.

Résultats Clés

Dissociation de l'Imprévisibilité et du Contrôle : Dans la matrice de lésion de base (7/7 jeux de données), le comparateur à haute stochasticité était significativement plus imprévisible que la variante à contrôle structuré. Cependant, cette dispersion accrue n'a pas reproduit le profil du contrôle structuré. La suppression des composants de raison ou de veto (lésions) a spécifiquement réduit les métriques attendues du contrôle structuré dans les 7 jeux de données, confirmant que le profil structuré repose sur ces mécanismes spécifiques.
Couplage vs Format : L'agent structuré a maintenu un Indice de Couplage Champ-Action (AFCI) significativement plus élevé que tous les contrôles stochastiques, post-hoc, brouillés et de verbosité sur l'ensemble des jeux de données. La borne inférieure à 95 % par bootstrap pour la différence d'AFCI était de 0,4519, indiquant que le couplage n'est pas simplement un artefact du format de rapport.
Réactivité Comportementale : Dans le référentiel de codes d'action finis, la variante à contrôle structuré a dépassé le comparateur à haute stochasticité et les lésions ciblées dans 7/7 jeux de données pour tous les composants comportementaux prédéfinis (raison, mémoire, veto, continuité de soi). La borne inférieure à 95 % par bootstrap du regroupement par jeu de données était de 0,8557.
Robustesse et Généralisation :
- Substitution Stochastique : Des contrôles stochastiques plus forts (incluant des tentatives appariées en entropie) ont échoué à retrouver le profil du contrôle structuré. Aucun candidat de calibration n'a satisfait le critère prédéfini de proximité d'entropie à quatre niveaux (seuil 0,15).
- Généralisation du Modèle : La dissociation s'est maintenue à travers les familles Qwen2.5 (7B, 14B, 32B) et Mistral-7B. La précision structurée a dépassé les contrôles à contexte brouillé et appariés en distribution dans respectivement 236/240, 240/240 et 238/240 cellules.
- Audit en Aveugle : Un audit en aveugle à trois annotateurs sur 1 200 éléments a montré un accord élevé (moyenne du $\kappa$ de Cohen par paires = 0,961), validant le classement des dimensions de contrôle.
Limites : L'étude note explicitement que l'appariement strict d'entropie et l'appariement strict de jetons/calcul n'ont pas atteint leurs seuils prédéfinis. Par conséquent, la conclusion est bornée aux contrôles appariés testés et ne prétend pas qu'aucun comparateur stochastique parfaitement calibré en entropie ne pourrait jamais réussir. De même, le test de stress formel de basculement contrefactuel n'a pas atteint son seuil de 90 % de suivi de basculement.

Signification et Revendications
L'article revendique fournir une dissociation contrôlée entre l'imprévisibilité et le contrôle structuré au sein d'une famille spécifique d'agents linguistiques. Sa contribution principale est de démontrer que l'imprévisibilité stochastique ne reproduit pas un contrôle structuré et couplé à l'action lorsque ce dernier est défini par le couplage des raisons, de la mémoire, de l'état de soi et du veto à la sélection d'actions.

L'étude soutient que la variabilité, le texte réflexif et le contrôle des actions sont facilement confondus dans l'évaluation des agents. Un modèle peut produire des réponses diverses ou des justifications post-hoc plausibles sans réellement les coupler à la sélection d'actions ou respecter l'inhibition. En utilisant une architecture lésionnable et des référentiels comportementaux indépendants du format, l'article établit que le « profil de contrôle structuré » est une propriété opérationnelle distincte que l'échantillonnage stochastique seul ne peut se substituer.

Les résultats sont modestement bornés à la famille d'agents testée, aux invites et aux protocoles de trace/action mesurés. Les auteurs ne prétendent pas avoir prouvé une loi universelle de l'agence, mais plutôt avoir séparé expérimentalement deux modes opérationnels distincts dans les systèmes évalués. Ce travail sert d'avertissement contre l'équivalence de la spontanéité ou de l'entropie élevée avec un contrôle instrumental ou une agence orientée vers un but chez les agents linguistiques.