🤖 AI

Trajectories That Segment Themselves: Agent-Declared Boundaries as a Training Unit

Cet article introduit un paradigme d'entraînement où les agents de codage auto-segmentent leurs trajectoires en déclarant des hypothèses causales falsifiables, générant ainsi des phases sémantiques de haute qualité et de longueur variable qui permettent un ajustement fin supervisé et une optimisation de préférence directe plus efficaces par rapport au marquage traditionnel par fenêtre fixe ou par épisode.

Auteurs originaux : Jingxi Wei

Publié 2026-08-04

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jingxi Wei

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le carnet de notes du détective : Pourquoi l'IA doit savoir quand arrêter de deviner

Imaginez que vous essayiez d'apprendre à un robot à résoudre un puzzle géant et désordonné. Dans le monde de l'intelligence artificielle, ce robot est appelé un « agent », et le puzzle est souvent un morceau complexe de code informatique. Pour apprendre, le robot essaie des choses, fait des erreurs et reçoit des commentaires. Mais voici la partie délicate : comment dire au robot ce qu'il a bien ou mal fait ?

Habituellement, nous regardons tout le parcours du robot, du début à la fin, et lui donnons une seule note : « Bon travail ! » ou « Réessaie ». C'est comme regarder un détective résoudre un crime et lui dire seulement : « Vous avez attrapé le criminel », sans lui dire quel indice a été la révélation ou quel cul-de-sac a été une perte de temps. Si le détective a passé des heures à poursuivre une fausse piste avant de trouver la bonne, la note « Réessaie » punit le bon travail qu'il a accompli plus tôt.

Ce document s'attaque à ce problème. Il pose la question suivante : peut-on apprendre à l'IA à diviser son propre parcours long et désordonné en chapitres plus petits et significatifs ? Au lieu de simplement regarder tout le film, l'IA peut-elle faire une pause et dire : « D'accord, je viens de terminer de tester cette théorie spécifique sur le code, et maintenant je passe à une nouvelle » ? En faisant cela, l'IA peut apprendre de ses échecs beaucoup plus rapidement, car elle sait exactement quel « chapitre » de sa réflexion a échoué, plutôt que de recevoir une mauvaise note pour tout le livre.

L'article : Quand les agents d'IA écrivent leurs propres titres de chapitres

Cet article présente une astuce ingénieuse appelée « Agent-Declared Boundaries » (Limites déclarées par l'agent). Considérez cela comme le fait de donner à l'agent d'IA un carnet magique où il doit écrire un titre pour chaque nouvelle théorie qu'il essaie.

Le problème : La note « floue »

Imaginez que vous jouez à un jeu vidéo où vous devez trouver un trésor caché. Vous essayez une carte, vous creusez au mauvais endroit, vous essayez une boussole, vous creusez à un autre mauvais endroit, et enfin, vous trouvez le trésor.

L'ancienne méthode : Le jeu vous donne un score unique à la fin. Si vous avez fait quelques erreurs, vous obtenez un score bas. Vous ne savez pas si c'est la boussole qui était le problème ou si vous avez simplement creusé au mauvais endroit.
L'idée de l'article : On demande à l'agent d'IA de s'arrêter et de dire : « Je teste maintenant la Théorie de la Boussole ». Quand cette théorie échoue, il dit : « D'accord, la Théorie de la Boussole est morte. Maintenant, je commence la Théorie de la Carte ».

En forçant l'IA à nommer sa supposition actuelle (son « hypothèse »), les chercheurs peuvent découper le long et confus parcours en segments nets et courts. Chaque segment est une « phase sémantique » : un bloc de temps où l'IA était concentrée sur une idée spécifique.

Comment ils ont procédé : Le « Registre d'hypothèses »

Les chercheurs ont mis en place une règle spéciale pour les agents d'IA. Pendant que l'agent travaille à corriger du code, il doit déclarer : « Je pense que le bug se trouve dans le système de connexion ». Il se met ensuite au travail. S'il échoue, un « réviseur » (une autre IA) intervient et dit : « Non, le système de connexion est correct. Votre Théorie de la Connexion était erronée. Essayez la Théorie de la Base de Données à la place ».

Cela crée un « registre » (une liste) des suppositions de l'agent.

Le coût : Cela n'ajoute qu'environ 52 tokens (un tout petit peu de texte) par supposition. C'est comme ajouter un post-it sur une page ; cela ne pèse pas sur le livre.
Le bénéfice : Au lieu d'un seul grand label « Échec » pour toute la tentative, ils obtiennent quatre types différents de données d'apprentissage à partir du même parcours :
1. Audit : « Pourquoi cette supposition spécifique était-elle erronée ? » (Même si la supposition a échoué, la leçon est utile !)
2. Proposer : « Que devrions-nous supposer ensuite ? »
3. Corriger : « Comment corriger le code maintenant que nous connaons la réponse ? »
4. Préférence : « Quelle supposition était la meilleure ? »

Le grand test : L'IA avait-elle vraiment du sens ?

Les chercheurs s'inquiétaient : « Peut-être que l'IA écrit des titres aléatoires, et que les "chapitres" ne sont en fait que des morceaux de texte aléatoires ». Pour prouver que ce n'était pas le cas, ils ont mené des expériences amusantes où ils ont effacé les titres et demandé à d'autres de deviner où les chapitres se terminaient.

Le test de l'IA « aveugle » : Ils ont donné à une autre IA une liste d'actions et une liste de théories, mais ont caché quelle théorie appartenait à quelles actions. L'IA devait deviner l'association.
- Le résultat : L'IA a réussi 2,18 fois plus souvent qu'en devinant au hasard. Mieux encore, lorsqu'ils ont comparé les chapitres « nommés » de l'IA à un simple découpage du texte en segments de taille égale, les chapitres nommés étaient nettement meilleurs pour regrouper des actions liées.
Le test humain « Code-aveugle » : Un humain qui ne connaissait pas le code a regardé les commandes et a essayé de deviner où les théories changeaient.
- Le résultat : L'humain a trouvé 24 limites sur 40 correctement. S'il avait simplement deviné au hasard, il n'en aurait trouvé qu'environ 11,5.
Le test « mécanique » : Ils ont essayé d'utiliser des règles simples (comme « couper le texte chaque fois qu'un test est exécuté ») pour trouver les limites.
- Le résultat : Ces règles simples ont lamentablement échoué, ne faisant pas mieux qu'un choix aléatoire. Cela prouve que les limites ne concernent pas seulement quand un test a eu lieu, mais bien le sens du travail.

Qu'ont-ils appris ? (Et ce qu'ils n'ont pas appris)

L'article montre que cette méthode crée des blocs de travail réels et significatifs qui sont faciles à étudier et à apprendre.

La bonne nouvelle : L'IA peut apprendre à repérer les mauvaises suppositions et à les corriger. Lorsqu'ils ont entraîné une nouvelle IA en utilisant ces leçons « par chapitres », elle a appris une préférence spécifique pour choisir certains types de suppositions plutôt que d'autres. Cependant, cet apprentissage était étroitement lié à la façon dont les paires d'entraînement étaient écrites. Lorsqu'elle a été testée sur un nouvel ensemble de problèmes construits différemment (ensembles adverses), l'IA ne s'est pas améliorée ; elle faisait exactement les mêmes choix qu'avant, montant qu'elle n'avait pas acquis une compétence générale pour de meilleures suppositions.
Le rappel à la réalité : L'article est très honnête sur ce qu'il n'a pas prouvé.
- Ils ont testé cela sur un ensemble spécifique de tâches de codage.
- Dans leur petit test, la nouvelle IA n'a pas résolu plus de problèmes au total que l'ancienne IA ; elle a résolu exactement le même nombre de tâches.
- Le « apprentissage » qu'ils ont observé était très spécifique à la construction des données. C'est comme apprendre une énigme spécifique par cœur, mais ne pas nécessairement être meilleur pour résoudre toutes les énigmes pour autant.

Conclusion

Cet article ne prétend pas avoir construit un robot super-intelligent capable de corriger n'importe quel code instantanément. Au lieu de cela, il a trouvé un moyen de rendre le « processus de pensée » du robot beaucoup plus clair. En demandant au robot d'écrire un titre pour chaque théorie qu'il essaie, les chercheurs peuvent transformer un long et confus désordre d'erreurs en une série de leçons courtes et claires.

C'est la différence entre recevoir un bulletin qui dit « Vous avez échoué le semestre » et un bulletin qui dit « Vous avez échoué au chapitre de l'algèbre, mais vous avez excellé au chapitre de la géométrie, et voici exactement pourquoi l'algèbre a échoué ». L'article suggère que ce genre de feedback détaillé est un outil puissant pour enseigner à l'IA, même si le robot n'est pas encore tout à fait prêt à devenir un codeur professionnel.

Résumé Technique : Des Trajectoires qui se Segmentent Elles-mêmes

1. Énoncé du Problème

Les trajectoires d'agents de codage à long horizon présentent une inadéquation fondamentale avec les unités d'entraînement standards. Les approches actuelles reposent sur trois mécanismes de transfert de crédit défaillants :

Crédit par action : Les actions individuelles (ex. : grep, pytest) manquent de valeur intrinsèque ; leur utilité dépend entièrement de l'hypothèse causale qu'elles servent.
Étiquettes d'épisodes terminaux : Un bit unique de succès/échec confond l'exploration productive avec les directions abandonnées, fusionnant des phases bien fondées avec des engagements ratés.
Fenêtres fixes : Des limites temporelles arbitraires (ex. : fenêtres de $K$ tours) divisent souvent des investigations cohérentes ou fusionnent l'abandon d'une cause avec l'adoption d'une autre.

Ces limites sont dérivées de mécaniques de journalisation plutôt que de l'état épistémique évolutif de l'agent, ce qui produit des cibles bruitées qui récompensent la forme de surface plutôt que le raisonnement causal.

2. Méthodologie

2.1 Auto-segmentation Sémantique Déclarée par l'Agent

Le papier introduit un protocole lors de la collecte où l'agent agissant expose ses propres limites via un contrat déclaratif.

Le Mécanisme : Lors d'un déroulement d'utilisation d'outils, l'agent adopte une hypothèse causale falsifiable ( $h_k$ ) et la déclare. L'agent recueille ensuite des preuves, édite du code ou exécute des vérifications sous cette hypothèse. La phase se termine lorsque l'agent adopte une nouvelle hypothèse ( $h_{k+1}$ ) ou que la trajectoire se termine.
Le Coût : Cela ajoute un surcoût minimal (moyenne de 52 tokens par déclaration, ~9,8 % de la sortie de l'agent) par rapport aux alternatives nécessitant des correctifs d'or (gold patches), des vocabulaires spécifiques à l'environnement, des environnements rejouables ou des segmenteurs post-hoc.
Le Protocole de Collecte : Un agent tente une tâche. S'il échoue aux tests cachés, un modèle réviseur intervient. Le réviseur voit la correction de référence mais lui est interdit de la nommer. Au lieu de cela, le réviseur doit fournir : (1) une négation de l'approche erronée actuelle et (2) la plus petite direction positive à investiguer ensuite. Cela force l'agent à abandonner l'hypothèse réfutée et à adopter une nouvelle hypothèse, créant une transition claire de type "mauvaise-cause-puis-correction".

2.2 Quatre Cibles Supervisées issues d'une Seule Collecte

Un seul déroulement produit quatre vues d'entraînement distinctes, exploitant l'asymétrie d'information :

Audit (2 721 lignes) : L'auditeur voit la phase terminée et lie les preuves pour juger si la direction était saine et identifier les preuves manquantes. Cela permet de récupérer les leçons de segments qu'une étiquette d'épisode rejetterait.
Proposer (1 405 lignes) : Le modèle ne voit que l'état à la frontière (masqué) et doit dériver une hypothèse vérifiable suivante ou identifier l'évidence manquante.
Réparer (553 lignes) : Le modèle voit une cause confirmée par un résultat et une source pour transformer un diagnostic localisé en un correctif (patch).
Paires de Préférence (2 551 lignes) : Le modèle voit l'état de la frontière masquée et apprend à préférer une ouverture progressante à une ouverture stagnante ou réfutée.

2.3 Phase-DPO

Le papier implémente une optimisation directe de préférence (DPO) standard sur les paires de préférence. L'objectif est d'apprendre une politique $\pi_\theta$ telle que $\pi_\theta(y^+ | x) > \pi_\theta(y^- | x)$ , où $y^+$ est une hypothèse d'ouverture préférée et $y^-$ une hypothèse rejetée, étant donné l'état masqué $x$ . La phase sert d'unité de crédit, fixant l'endroit où le contexte est coupé et quel texte est la cible.

3. Contributions Clés

Limites Indépendantes de Dépendances : La segmentation est fournie par la politique agissante elle-même sous un contrat déclaratif, ne nécessitant aucun correctif d'or externe, vocabulaire de jalons ou segmenteur post-hoc. La limite arrive dans le même déroulement qui produit la trajectoire.
Unités Adressables : Contrairement aux fenêtres définies par la position, une hypothèse déclarée est un handle adressable. Cela permet un transfert de crédit plus fin, une supervision de processus sans annotation d'étape, et un guidage par nom (négation de conjectures spécifiques plutôt que de trajectoires entières).
Cohérence Sémantique : Les limites suivent le raisonnement de l'agent, et non les artefacts de journalisation.
- Attribution : Lorsque les déclarations sont supprimées, un modèle indépendant attribue les blocs d'actions à leur hypothèse directrice avec une probabilité de 2,18x (test de signe apparié $p=0,0002$ ), surpassant les fenêtres de longueur égale.
- Non-dérivabilité : Un annotateur humain aveugle au code correspond 24/40 limites (contre 11,5 attendues par le hasard), tandis qu'une règle mécanique d'événement de test ne parvient pas à battre le hasard, tant avec des seuils stricts que permissifs.
Interface de Construction : Le protocole fabrique des transitions "mauvaise-cause-puis-correction" rarement trouvées dans les travaux enregistrés, générant une supervision d'audit à partir de régions d'échec que les étiquettes d'épisodes standards rejettent.

4. Résultats

4.1 Validité de l'Unité

Attribution : Les blocs d'actions restent attribuables à leur hypothèse directrice même après suppression du texte de déclaration, confirmant que la limite est sémantique et non lexicale.
Récupérabilité : Un lecteur aveugle au code peut récupérer les limites de manière significativement meilleure que le hasard, bien qu'il sur-segmente (1,55x), indiquant que les limites ne sont pas trivialement reproductibles par de simples heuristiques.

4.2 Optimisation Aval (Phase-DPO)

Sensibilité d'Orientation : L'entraînement sur 2 551 paires avec une politique SFT de 27B produit un bras à étiquette inversée qui ne reproduit pas la séparation, confirmant que le signal n'est pas un artefact de la structure de l'optimiseur.
Limites de Généralisation :
- Sur des éléments tenus à l'écart construits de manière adversaire (87 instances), l'adaptateur a modifié 0/91 décisions.
- Sur des éléments de construction identique (60 éléments de la même famille de générateurs), l'adaptateur a modifié 4/60 décisions (toutes de "faux vers vrai"), tandis que les contrôles n'en ont modifié aucune.
- Conclusion : La préférence ajustée est réelle mais liée à la construction ; elle apprend comment les paires ont été écrites plutôt qu'une capacité généralisable.

4.3 Pilote de Déroulement

Un pilote de 20 tâches sur SWE-bench Verified a montré :

Taux de Résolution : Base (13/20), SFT (14/20), Phase-DPO (14/20). Aucune amélioration statistiquement significative du taux de résolution.
Efficacité : Phase-DPO a montré une tendance vers des trajectoires plus courtes (réduction de 14,0 % des messages par rapport à la base), mais les intervalles de confiance incluaient zéro.
Études de Cas : Certains cas spécifiques ont montré que la DPO prenait de meilleures décisions locales (ex. : préserver les défauts internes) ou de moins bonnes (ex. : s'engager trop tôt sur de mauvais lieux), soulignant qu'une meilleure sélection de phase ne garantit pas un succès global.

5. Signification et Revendications

Le papier revendique modestement que le protocole de segmentation lors de la collecte et l'interface de données sont les principales contributions.

Ce qui est établi : Une limite sémantique peut être obtenue à faible coût sans dépendances externes. Cette limite crée une unité cohérente où les actions sont attribuables à une hypothèse directrice, permettant l'extraction de leçons à partir de directions de recherche échouées (supervision d'audit) et la construction de paires de préférence.
Ce qui n'est pas établi : Le papier ne prétend pas que l'entraînement sur ces unités produit une politique avec des capacités de codage de bout en bout supérieures ou des taux de résolution plus élevés. Le signal d'optimisation est sensible à l'orientation mais actuellement lié à la construction des paires d'entraînement.
Direction Future : Le papier pose que la prochaine variable à faire varier est la diversité du corpus de paires, et non la définition de la limite elle-même. La limite est une condition nécessaire à l'unité, mais l'utilité de l'unité dépend de la qualité et de la variété des données qu'elle structure.

Ce travail recadre le problème de l'unité de crédit : en laissant l'agent déclarer ses propres engagements causaux, le système fabrique des données d'entraînement qui distinguent les directions de recherche plutôt que de simples résultats, offrant une voie vers un entraînement d'agent plus granulaire et interprétable.