💻 computer science

Predicting Program Comprehension with Foundation Models of Human Cognition

Cet article démontre que Centaur, un modèle de fondation de la cognition humaine entraîné sur des données psychologiques générales, surpasse son modèle de base Llama 3.1 dans la prédiction du comportement des développeurs lors de la compréhension de programmes, suggérant que les régularités cognitives apprises à partir d'expériences psychologiques larges peuvent se transférer efficacement aux tâches complexes de génie logiciel.

Auteurs originaux : Yannick Lehmen, Marvin Wyrich, Anna-Maria Maurer, Norman Peitek, Marvin Wyrich

Publié 2026-07-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yannick Lehmen, Marvin Wyrich, Anna-Maria Maurer, Norman Peitek, Marvin Wyrich

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de deviner ce qu'un ami dira ensuite dans une conversation. Vous pourriez essayer de mémoriser chaque conversation qu'il a jamais eue, ou vous pourriez essayer de comprendre les règles générales de la façon dont les humains pensent, parlent et réagissent. Pendant des décennies, les chercheurs tentant de prédire comment les développagers de logiciels comprennent le code sont restés bloqués dans le premier camp : ils ont construit de petits modèles spécifiques pour des tâches précises, ou ils ont essayé de mesurer la « complexité » du code comme on compterait le nombre de virgules dans une phrase. Mais ces méthodes sont comme essayer de prédire un film entier en ne regardant que la couleur des chaussures des acteurs : soit elles ne passent pas à l'échelle, soit elles ne correspondent pas très bien à la réalité.

Entrez dans une nouvelle idée issue du monde de la psychologie. Au lieu de construire un modèle pour seulement le codage, et si nous entraînions un modèle sur la façon dont les humains agissent dans toutes sortes de situations ? C'est exactement ce que les chercheurs de ce papier ont fait. Ils ont pris une IA super intelligente appelée Centaur, qui avait été entraînée sur des données provenant de 1�160 expériences psychologiques différentes (comme des jeux de mémoire ou des puzzles de prise de décision), et ont posé une grande question : ce « simulateur de cerveau humain général » peut-il comprendre comment les développeurs lisent le code, même s'il n'a jamais vu une seule ligne de code pendant son entraînement ?

La Grande Découverte
La réponse, suggère le papier, est un « oui » retentissant. Lorsqu'ils ont testé Centaur contre 9 études différentes impliquant de vrais développeurs lisant du code, Centaur a prédit comment les humains réagiraient bien mieux que son modèle « parent », Llama 3.1, qui n'avait pas été entraîné sur ces expériences psychologiques. En fait, à travers tous les essais, les prédictions de Centaur étaient significativement plus proches du comportement humain. Pensez-y de cette façon : Llama 3.1 est un étudiant brillant qui connaît beaucoup de faits mais n'a pas appris comment les gens pensent réellement. Centaur est ce même étudiant, mais après avoir suivi un semestre de « Psychologie humaine 101 », il comprend soudainement comment les gens réagissent, même dans un sujet totalement nouveau comme la programmation.

Ce que ce n'est PAS
Voici la partie la plus importante : le papier écarte explicitement quelques éléments.

Il ne s'agit pas seulement de deviner la réponse. Les chercheurs craignaient que Centaur ne soit pas simplement bon pour deviner des réponses communes (comme « Oui » ou « Non ») parce qu'il en a beaucoup vu lors de son entraînement. Mais ils ont prouvé cela faux. Lorsqu'ils ont retiré le code et les instructions de la tâche, Centaur ne s'est pas contenté de s'appuyer sur des « biais de réponse ». Il est devenu meilleur pour utiliser le code lui-même et les descriptions de la tâche pour trouver la réponse.
Ce n'est pas une boule de cristal magique. Le papier prend soin de dire qu'il s'agit d'une « suggestion » et d'un « transfert » de modèles, et non d'une théorie finale et résolue de l'esprit humain. Ils ont constaté que pour certains schémas de code particulièrement complexes et déroutants (appelés « Atomes de Confusion »), Centaur n'était pas aussi performant que Llama. Cela suggère que si la pensée humaine générale aide, il existe encore des particularités de codage très spécifiques que le modèle n'a pas encore apprises.

Comment ils l'ont testé
Pour en être sûrs, les chercheurs ont joué au jeu du « retrait ». Ils ont fourni aux modèles le même code et les mêmes questions, mais ont supprimé différentes informations :

Le Code : Les extraits de programmation réels.
Les Instructions : Le texte expliquant quoi faire.
L'Historique : Ce que le développeur a fait dans les questions précédentes.

Ils ont découvert que Centaur s'appuyait moins sur l'historique des réponses précédentes (ce que Llama adorait utiliser) et plus sur le code et les instructions réels. C'est un indice majeur : cela signifie que Centaur a appris une manière plus profonde de comprendre la tâche, plutôt que de simplement suivre un schéma de type « qu'ai-je dit la dernière fois ? ».

Les Chiffres
Les résultats ont été mesurés à l'aide d'un score appelé « log-vraisemblance négative » (negative log likelihood), où un score plus bas est meilleur. À travers toutes les études, Centaur a obtenu un score moyen de 1,63, tandis que Llama 3.1 a obtenu 1,85. Dans 7 des 9 études examinées, Centaur était significativement meilleur. La différence n'était pas un simple coup de chance ; l'« effet de taille » statistique était de 0,17, ce que le papier note comme étant une amélioration réelle et mesurable.

La Conclusion
Ce papier ne prétend pas avoir résolu le mystère de la pensée des développeurs. Au contraire, il suggère une nouvelle voie puissante. Il montre que la façon dont les développeurs comprennent le code n'est pas un superpouvoir étrange et isolé ; elle repose sur les mêmes règles cognitives générales qui nous aident à jouer à des jeux de mémoire ou à prendre des décisions dans d'autres aspects de la vie. En entraînant l'IA sur le comportement humain général, nous pourrions enfin obtenir un outil capable de prédire comment les développeurs vont éprouver des difficultés avec le code, non pas en comptant simplement les lignes, mais en comprenant l'esprit humain derrière le clavier. C'est une étape vers un futur où nous pourrons construire des outils logiciels qui sont véritablement « conscients de l'humain », ancrés dans la science de la façon dont nous pensons réellement.

Résumé technique : Prédire la compréhension de programmes avec des modèles de fondation de la cognition humaine

Énoncé du problème

Le génie logiciel repose largement sur la capacité des développeurs à comprendre le code, pourtant prédire la manière dont ils le comprennent reste un défi important. Les approches existantes souffrent d'un compromis entre l'extensibilité et la précision :

Les expériences contrôlées offrent des informations précises mais manquent d'extensibilité et de généralisabilité au-delà de contextes spécifiques.
Les mesures par procuration (ex: métriques de complexité) sont extensibles mais présentent de faibles corrélations avec le comportement humain réel.
Les méthodes neurocognitives (ex: IRMf, EEG) fournissent des signaux riches mais sont coûteuses, difficiles à généraliser et limitées en portée.

Une limitation commune à ces approches est l'incapacité à capturer les régularités transférables dans les réponses humaines, ce qui rend difficile la construction de modèles prédictifs capables de se généraliser à travers différentes tâches, individus et protocoles d'étude. Bien que la psychologie se soit récemment tournée vers l'utilisation de modèles d'apprentissage automatique de type « boîte noire », entraînés sur des données comportementales à grande échelle pour prédire les réponses humaines, il reste incertain si ces modèles peuvent se transférer à des domaines complexes et structurés comme le génie logiciel.

Méthodologie

Les auteurs évaluent Centaur, un modèle de fondation de la cognition humaine affiné sur des données provenant de 160 expériences psychologiques diverses, par rapport à son modèle de base, Llama 3.1. L'étude examine si les schémas comportementaux appris lors de tâches cognitives générales peuvent prédire le comportement des développeurs dans la compréhension de programmes.

Construction du jeu de données

Les chercheurs ont constitué un jeu de données à partir de 9 études de compréhension de programmes déjà publiées (sur un pool initial de 95). Les critères de sélection exigeaient :

Des packages de réplication accessibles.
Des données comportementales bien structurées (descriptions de tâches, code source et réponses des participants).
Une compatibilité avec le prompting en langage naturel (excluant les tâches comme les diagrammes de classes ou les réponses textuelles libres non contraintes).

Le jeu de données final comprenait 9 études couvrant des sujets tels que la complexité du code, l'indentation, les chaînes de méthodes, la lisibilité et les « atomes de confusion », impliquant de 22 à 208 participants par étude et des milliers d'essais.

Conception expérimentale

L'évaluation a été structurée autour de deux questions de recherche (RQ) :

RQ1 : Comparaison de performance. Les auteurs ont comparé Centaur et Llama 3.1 sur leur capacité à prédire les distributions de réponses humaines. Les modèles ont été évalués à l'aide de la log-vraisemblance négative (NLL), mesurant la capacité des modèles à prédire les jetons (tokens) exacts choisis par les participants humains.
RQ2 : Source de performance (études d'ablation). Pour déterminer si les améliorations étaient dues à des informations pertinentes pour la tâche ou à des biais de réponse génériques, les auteurs ont mené des études d'ablation. Ils ont fait varier systématiquement les informations disponibles dans les prompts en supprimant :
- SEQU : Informations sur les essais précédents et les réponses des participants.
- DESC : Descriptions de tâches et instructions.
- CODE : Extraits de code source.
Cela a généré 8 catégories de prompts distinctes (ex: SEQU+CODE+DESC, CODE, NOINFO) pour isoler la contribution de chaque source d'information.

Résultats clés

RQ1 : Centaur surpasse Llama 3.1

Alignement global : Centaur a obtenu une NLL moyenne significativement plus faible (1,63) que Llama 3.1 (1,85), indiquant un alignement plus étroit avec les schémas de réponse humains ( $p < 0,001$ , Cohen's $d = -0,17$ ).
Performance par étude : Centaur a surpassé Llama de manière significative dans 7 des 9 études. Dans les deux autres, l'une ne montrait aucune différence significative et l'autre montrait une diminution négligeable des performances pour Centaur.
Sensibilité à la tâche : Les deux modèles ont eu des difficultés avec les tâches impliquant de longues réponses textuelles libres (NLL élevée), tout en étant nettement plus performants sur les tâches avec des formats de réponse contraints (ex: Oui/Non, échelles de Likty).

RQ2 : Sources d'amélioration

Les études d'ablation ont révélé que l'écart de performance entre Centaur et Llama n'est pas simplement dû à l'apprentissage de biais de réponse génériques :

Dépendance aux réponses antérieures (SEQU) : Llama 3.1 était significativement plus dépendant des informations issues des essais et réponses précédents. Lorsque les informations SEQU ont été supprimées, la performance de Llama s'est dégradée plus brutalement que celle de Centaur.
Utilisation du contenu de la tâche (CODE & DESC) : Centaur a davantage bénéficié de la présence de descriptions de tâches et d'extraits de code. La suppression de ces éléments a provoqué une chute de performance relative plus importante pour Centaur que pour Llama, suggérant que Centaur a appris à mieux utiliser les informations sémantiques spécifiques à la tâche.
Effets d'interaction : Dans les scénarios « Sans information » (NOINFO), les sorties de Centaur sont restées plus proches des réponses humaines que celles de Llama, particulièrement dans les études avec des sorties à caractère unique, suggérant que Centaur a appris des régularités de format de réponse robustes, indépendamment du contenu de l'entrée.

Signification et affirmations

L'article affirme fournir la première preuve empirique que les modèles de fondation de la cognition humaine, entraînés exclusivement sur des données psychologiques générales (sans tâches spécifiques de génie logiciel), peuvent se transférer avec succès pour prédire le comportement humain dans la compréhension de programmes.

Les principales implications soulignées par les auteurs incluent :

Généralisabilité des régularités cognitives : Les résultats suggèrent que les processus cognitifs fondamentaux (ex: mémoire de travail, attention, traitement sémantique) appris à partir d'expériences psychologiques simples se généralisent à des tâches de génie logiciel complexes et structurées.
Changement de perspective de modélisation : Les conclusions soutiennent une vision de la compréhension de programme non pas comme un ensemble de phénomènes isolés, mais comme une interaction de processus cognitifs domaines-généraux. Cela offre une voie vers un cadre unifié et piloté par les données pour modéliser le comportement des développeurs ancré dans les sciences cognitives.
Utilité pratique : De tels modèles offrent une alternative plus sensible au comportement par rapport aux métriques de complexité traditionnelles. Ils peuvent incorporer implicitement des facteurs souvent ignorés par l'analyse statique (ex: conventions de nommage, documentation) et peuvent être utilisés pour estimer la difficulté de compréhension du code dans les flux de travail réels, en particulier à mesure que les développeurs s'appuient de plus en plus sur les assistants de codage par IA.
Complémentarité méthodologique : Bien qu'ils ne soient pas interprétables au sens traditionnel, les modèles de fondation prédictifs comme Centaur peuvent servir d'outil complémentaire pour la génération d'hypothèses et l'affinement de théories plus structurées et interprétables de la compréhension de programmes.

Les auteurs restent modestes quant à la portée de leurs travaux, notant que leur évaluation est limitée à des jeux de données et des formats de réponse spécifiques, et que les processus cognitifs précis qui pilotent le transfert nécessitent des investigations plus approfondies. Ils ne prétendent pas avoir résolu la compréhension de programme, mais plutôt avoir ouvert une nouvelle voie pour l'étudier à travers le prisme de la cognition humaine générale.