🤖 AI

TOM-SWE: User Mental Modeling For Software Engineering Agents

Le document présente ToM-SWE, une architecture à deux agents qui associe un agent de génie logiciel à un partenaire doté d'une théorie de l'esprit pour modéliser l'intention de l'utilisateur et maintenir une mémoire persistante, améliorant de manière significative les taux de réussite des tâches et la satisfaction des utilisateurs tant dans les évaluations de référence que lors d'une étude en conditions réelles avec des développeurs professionnels.

Auteurs originaux : Xuhui Zhou, Valerie Chen, Zora Zhiruo Wang, Graham Neubig, Maarten Sap, Xingyao Wang

Publié 2026-02-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xuhui Zhou, Valerie Chen, Zora Zhiruo Wang, Graham Neubig, Maarten Sap, Xingyao Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Le robot de codage "amnésique"

Imaginez que vous engagiez un robot assistant brillant mais amnésique pour vous aider à construire un site web.

Le Robot : Il est incroyablement intelligent pour écrire du code, corriger des bugs et lancer des tests.
Le Problème : À chaque fois que vous commencez une nouvelle conversation, le robot n'a aucune mémoire de qui vous êtes. Il ne sait pas que vous détestez les explications trop longues, que vous préférez utiliser des outils spécifiques, ou que vous voulez toujours tester votre code avant de le déployer.
Le Résultat : Vous devez vous répéter constamment. "Fais plus court", "Utilise cette bibliothèque", "Ne me pose pas tant de questions". Le robot passe son temps à deviner, et il se trompe souvent, ce qui fait perdre du temps et crée de la frustration.

Les agents de codage IA actuels sont comme ce robot : ils sont excellents pour le travail technique, mais terribles pour vous comprendre.

La Solution : Le partenaire "lecteur de pensée" (ToM-SWE)

Les auteurs de cet article ont créé un nouveau système appelé ToM-SWE. Au lieu d'un seul robot, ils ont construit une équipe de deux personnes :

Le Bâtisseur (Agent SWE) : C'est le robot de codage original. Il se concentre à 100 % sur l'écriture du code, l'exécution des tests et la correction des erreurs. Il ne se soucie pas de votre personnalité ; il se contente de faire le gros du travail.
Le Lecteur de Pensée (Agent ToM) : C'est un nouveau partenaire léger. Sa seule mission est de vous étudier. Il observe comment vous parlez, ce que vous aimez et ce que vous avez fait par le passé. Il construit un "modèle mental" de vos préférences.

Comment ils travaillent ensemble :
Avant que le Bâtisseur ne commence à coder, il demande au Lecteur de Pensée : "Hé, qu'est-ce que cet utilisateur aime ? Veut-il des réponses courtes ? Utilise-t-il Python ou JavaScript ? A-t-il mentionné un outil spécifique la semaine dernière ?"
Le Lecteur de Pensée consulte ses notes et répond : "Cet utilisateur est un professeur qui aime les réponses concises et préfère utiliser Vercel pour l'hébergement. Ne lui pose pas trop de questions."
Le Bâtisseur ajuste ensuite son plan et écrit du code qui correspond parfaitement à votre style.

L'analogie du "Modèle Mental"

Voyez le Lecteur de Pensée comme un assistant personnel très attentif qui tient un journal de vos habitudes.

Session 1 : Vous dites au système : "Crée-moi un site web". Le Lecteur de Pensée note : L'utilisateur est un professeur, aime les styles académiques, préfère Vercel.
Session 2 (La semaine suivante) : Vous dites à nouveau : "Crée-moi un site web".
- L'Ancien Robot : "D'accord, je vais deviner un site web générique."
- ToM-SWE : Le Bâtisseur interroge le Lecteur de Pensée. Le Lecteur de Pensée dit : "Tu te souviens la dernière fois ? C'est pour un projet universitaire. Utilise des polices académiques et héberge sur Vercel."
- Résultat : Le code est exactement ce que vous vouliez, même si vous ne l'avez pas redit.

Comment ils l'ont testé

Les chercheurs ne se sont pas contentés de supposer que cela fonctionnerait ; ils ont mené deux types de tests :

Le Test de "Simulation" (Benchmarks) :
Ils ont créé un monde fictif où l'IA devait parler à un "utilisateur simulé" (une autre IA jouant le rôle d'un humain). Ils ont donné au l'utilisateur simulé différentes personnalités (par exemple, un utilisateur très bavard, un autre très bref).
- Le Résultat : L'équipe ToM-SWE a résolu 59,7 % des tâches avec succès. Le meilleur robot précédent (OpenHands) n'en a résolu que 18,1 %.
- Le score de "Satisfaction" : Les utilisateurs simulés ont jugé l'équipe ToM-SWE bien plus favorablement (3,62 sur 5) car l'équipe "écoutait" mieux et ne les agaçait pas avec des questions inutiles.
Le Test de "Vie Réelle" (Étude humaine) :
Ils ont laissé 17 développeurs professionnels utiliser le système pendant trois semaines dans le cadre de leur travail quotidien réel.
- Le Résultat : Les développeurs ont trouvé les suggestions du Lecteur de Pensée utiles 86 % du temps.
- Ce qu'ils ont aimé : Le système disait des choses comme : "Vous ajoutez habituellement des tests pour les nouvelles fonctions, donc j'en ai ajouté ici", ou "Vous préférez des modifications de code minimales, donc j'ai limité les changements".

Pourquoi cela importe

L'article affirme que pour qu'une IA soit véritablement utile en ingénierie logicielle, elle ne peut pas être un simple générateur de code. Elle doit être un collaborateur qui comprend l'intention humaine.

L'ancienne méthode : Vous dites à l'IA ce qu'elle doit faire, et elle devine le reste.
La nouvelle méthode (ToM-SWE) : L'IA se souvient de qui vous êtes, de ce que vous aimez et de votre façon de travailler, afin de pouvoir anticiper vos besoins avant même que vous ne les demandiez.

Résumé en une phrase

ToM-SWE est un système à deux agents où un agent écrit le code et un second agent "lecteur de pensée" mémorise vos préférences personnelles et vos habitudes, permettant à l'équipe de travailler avec vous beaucoup plus efficacement et avec moins de frustration.

Résumé technique : ToM-SWE : Modélisation de l'état mental de l'utilisateur pour les agents d'ingénierie logicielle

Énoncé du problème

Les progrès récents des agents de codage basés sur les grands modèles de langage (LLM) ont permis à ces derniers de planifier, d'éditer, d'exécuter et de tester des bases de code complexes. Cependant, ces systèmes sont confrontés à une limite fondamentale : ils peinent à inférer et à suivre l'intention de l'utilisateur, particulièrement lorsque les instructions sont sous-spécifiées ou dépendantes du contexte. Les agents actuels opèrent généralement de manière sans état (stateless), traitant chaque session comme indépendante et manquant de mécanismes pour maintenir un contexte persistant sur l'évolution des objectifs, des préférences et des contraintes de l'utilisateur. Cela entraîne un gaspillage d'efforts, des malentendus et des résultats potentiellement dangereux dans des contextes à enjeux élevés. De plus, les benchmarks existants comme SWE-bench évaluent principalement la résolution de problèmes techniques sur des tâches bien spécifiées, échouant à évaluer la capacité d'un agent à soutenir des interactions significatives et de longue durée avec divers utilisateurs.

Méthodologie

Pour combler ces lacunes, les auteurs introduisent ToM-SWE, un cadre qui intègre le raisonnement de la Théorie de l'Esprit (Theory of Mind - ToM) dans les agents d'ingénierie logicielle. La ToM, dans ce contexte, fait référence à la capacité de modéliser l'état mental d'un utilisateur (objectifs, préférences, intentions) à partir des instructions et de l'historique des interactions.

Architecture à double agent

L'innovation centrale est une architecture à double agent qui sépare les préoccupations :

Agent SWE Primaire : Focalisé exclusivement sur les tâches de codage (génération, débogage, exécution).
Agent ToM Dédié : Un partenaire léger responsable de la modélisation de l'état mental de l'utilisateur.

L'agent ToM opère selon deux modes complémentaires :

ToM en session (In-Session ToM) : Pendant le codage actif, il infère l'état mental sous-jacent de l'utilisateur (par exemple, l'intention « réelle » derrière des instructions ambiguës) en consultant l'historique des interactions et en fournissant des suggestions à l'agent SWE.
ToM post-session (After-Session ToM) : Après la session, il traite l'historique des interactions pour affiner et mettre à jour un modèle d'utilisateur persistant.

Système de mémoire hiérarchique

L'agent ToM utilise un système de mémoire hiérarchique à trois niveaux implémenté comme une base de données externe :

Niveau 1 (Stockage brut des sessions) : Stocke les historiques complets des sessions précédentes.
Niveau 2 (Modèle d'utilisateur basé sur la session) : Maintient une analyse par session, incluant l'intention de la session, les schémas d'interaction et les préférences de codage.
Niveau 3 (Modèle d'utilisateur global) : Agrège les schémas inter-sessions en clusters de préférences, résumés de styles d'interaction et résumés de styles de codage.

L'agent SWE interagit avec l'agent ToM via deux outils spécifiques : consult tom (pour récupérer les informations pertinentes sur l'état mental de l'utilisateur pendant une session) et update memory (pour déclencher le traitement et la mise à jour de la hiérarchie de la mémoire par l'agent ToM après une session).

Cadre d'évaluation : Benchmark SWE à état (Stateful SWE Benchmark)

Les auteurs introduisent le Stateful SWE benchmark, le premier benchmark conçu pour évaluer les agents lors d'interactions multi-sessions de longue durée.

Configuration : Il associe 15 profils de développeurs distincts (dérivés de 453 sessions humain-agent réelles) à 500 instances de SWE-bench.
Simulation : Les agents interagissent avec un simulateur d'utilisateur piloté par un LLM, conditionné par des profils spécifiques (variant en termes de verbosité, de moment des questions et de préférences de codage).
Défi : Les agents doivent exploiter les historiques d'interactions précédents pour suivre l'état mental de l'utilisateur et adapter leur comportement, plutôt que de se fier uniquement à l'instruction actuelle.

Principales contributions

Cadre ToM-SWE : Une nouvelle architecture à double agent qui découple l'exécution du codage de la modélisation de l'état mental de l'utilisateur, permettant une optimisation spécialisée et un suivi persistant de l'utilisateur sans surcharger le contexte de l'agent de codage.
Benchmark Stateful SWE : Une nouvelle suite d'évaluation qui teste la capacité des agents à s'adapter à différents utilisateurs sur plusieurs sessions, allant au-delà de la résolution de tâches statiques à un seul tour.
Validation empirique : Évaluation complète sur le nouveau benchmark Stateful SWE et sur l'existant Ambiguous SWE-bench, ainsi qu'une étude humaine réelle.

Résultats

Performance du benchmark hors ligne

L'agent proposé, ToMCodeAct (construit sur la plateforme OpenHands), a été comparé à l'agent de pointe CodeAct et à une ligne de base RAGCodeAct (qui récupère l'historique brut sans modélisation explicite).

Ambiguous SWE-bench : ToMCodeAct a atteint un taux de résolution de problèmes de 63,4 % (utilisant Claude Sonnet 4), surpassant les 51,9 % de CodeAct (+11,5 % d'amélioration).
Stateful SWE-bench : ToMCodeAct a atteint un taux de résolution de 59,7 %, une amélioration substantielle par rapport aux 18,1 % de CodeAct (+41,6 points de pourcentage).
Satisfaction de l'utilisateur : ToMCodeAct a obtenu un score nettement plus élevé en satisfaction utilisateur (3,62 contre 2,57 pour CodeAct), mesuré par un simulateur d'utilisateur conditionné par profil évaluant l'alignement des préférences et la communication.
Analyse : L'étude a révélé que la simple récupération de données de session brutes (RAG) était insuffisante ; l'abstraction explicite des préférences de l'utilisateur en un modèle mental était critique. De plus, une forte corrélation positive ( $r=0,74$ ) a été trouvée entre la résolution de la tâche et la satisfaction de l'utilisateur, bien que les agents ToM aient également reçu des scores de satisfaction élevés même lorsque les tâches échouaient, à condition que la qualité du processus et la communication soient alignées sur les préférences de l'utilisateur (« bonus de bon effort »).

Étude humaine en conditions réelles

Une étude observationnelle de trois semaines a été menée auprès de 17 développeurs professionnels utilisant un CLI enrichi par la ToM pour leurs tâches de codage quotidiennes auto-choisies.

Taux d'acceptation : Les développeurs ont accepté ou partiellement accepté les suggestions de la ToM 86 % du temps (174 suggestions sur 209 sessions).
Utilité : Les retours ont indiqué que les suggestions de la ToM ont aidé à formaliser explicitement des règles que les utilisateurs avaient utilisées dans des conversations précédentes, ont créé des profils d'utilisateurs précis et ont amélioré l'efficacité du flux de travail.
Sensibilité au contexte : Les taux de réussite étaient les plus élevés pour les requêtes modérément sous-spécifiées avec un contexte technique suffisant (ex: 92 % pour « Code Understanding ») mais ont chuté pour les requêtes extrêmement vagues.

Signification et affirmations

L'article affirme que ToM-SWE démontre qu'une collaboration efficace humain-IA en ingénierie logicielle nécessite des agents capables d'inférer, de maintenir et d'agir sur des modèles mentaux spécifiques à l'utilisateur au fil du temps.

Au-delà de la capacité technique : Les fortes capacités de codage sont insuffisantes sans la capacité de modéliser l'intention et les préférences de l'utilisateur, surtout lorsque les instructions sont de haut niveau et sous-spécifiées.
La qualité du processus compte : Les résultats soulignent que la satisfaction de l'utilisateur n'est pas uniquement déterminée par le succès de la tâche (tests unitaires) mais aussi par la qualité du processus d'interaction, le style de communication et l'alignement avec les préférences de l'utilisateur.
Nécessité architecturale : La conception à double agent est présentée comme un mécanisme crucial pour réduire la distraction du contexte pour l'agent de codage tout en permettant une modélisation de l'utilisateur spécialisée et persistante.
Impact pratique : Le taux d'acceptation élevé dans un cadre réel suggère que la modélisation de l'utilisateur par état est une amélioration viable et précieuse pour les agents de codage pratiques, augmentant potentiellement la productivité des développeurs et réduisant les frictions dans le débogage interactif et la maintenance.

Les auteurs restent modestes concernant la confidentialité et la généralisation, reconnaissant que la modélisation de l'utilisateur soulève des risques de manipulation ou de surveillance, et que leurs profils sont dérivés d'un sous-ensemble spécifique de développeurs. Ils insistent sur la nécessité d'un déploiement responsable, d'un consentement explicite et d'une mémoire contrôlée par l'utilisateur.