💻 computer science

Predicting Human Visual Attention on Words in Source Code

Cet article introduit un nouveau modèle computationnel qui surpasse de manière significative les modèles de référence existants et les systèmes d'IA avancés dans la prédiction de l'attention visuelle humaine sur le code source en utilisant une fonction de perte spécialisée pour aligner l'attention interne du réseau neuronal avec les données empiriques d'oculométrie à travers les langages de programmation Java et C.

Auteurs originaux : Chia-Yi Su, Collin McMillan

Publié 2026-07-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Chia-Yi Su, Collin McMillan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment fonctionne le cerveau humain lorsqu'une personne lit un livre. Vous ne pouvez pas simplement lui demander : « À quoi penses-tu en ce moment ? », car elle ne le sait peut-être pas, ou bien elle pourrait mentir. C'est pourquoi les scientifiques utilisent une caméra spéciale pour observer leurs yeux. C'est ce qu'on appelle l'eye-tracking (l'oculométrie). C'est comme avoir un minuscule projecteur qui suit le regard d'une personne, nous montrant exactement sur quels mots elle s'attarde, lesquels elle saute et combien de temps elle fait une pause. Dans le monde de l'informatique, c'est un sujet majeur car les ingénieurs logiciels passent leur vie à fixer du code source — les instructions textuelles qui disent aux ordinateurs quoi faire. Mais le code n'est pas seulement une histoire ; c'est un puzzle. Les ingénieurs ne le lisent pas comme un roman ; ils font des allers-retours, relisant des lignes et traquant des indices. Comprendre où ils regardent nous aide à construire de meilleurs outils, à concevoir des écrans plus clairs et même à apprendre aux ordinateurs à penser davantage comme des humains.

Maintenant, voici la partie délicate : les ordinateurs sont généralement très mauvais pour deviner ce que les humains regardent. Ils pourraient penser qu'un mot long et compliqué est le plus important, alors qu'un ingénieur humain sait que le mot court et ennuyeux juste à côté est en réalité la clé de tout le programme. Cet article traite de la manière d'apprendre à un ordinateur à arrêter de deviner et à commencer à « voir » comme un programmeur humain. Les chercheurs ont construit un type spécial de cerveau informatique (un modèle) qui a appris en observant de vrais humains lire du code. Ils ne se sont pas contentés de dire à l'ordinateur : « Voici le code, devine le mot suivant ». Au lieu de cela, ils lui ont donné un aide-mémoire secret : une carte de l'endroit où les yeux humains se sont réellement posés. Ils ont appris à l'ordinateur à comparer son propre « regard » interne avec le regard réel de l'humain, en ajustant sa pensée jusqu'à ce que les deux correspondent.

La découverte principale est que ce nouveau modèle informatique est étonnamment doué pour imiter l'attention humaine. Lorsque les chercheurs l'ont testé contre trois groupes différents de programmeurs (certains lisant du code Java, d'autres du code C), les prédictions de l'ordinateur étaient beaucoup plus proches de ce que les humains faisaient réellement que n'importe quel modèle informatique précédent. En fait, lors de certains tests, l'ordinateur était 64 % et même 467 % meilleur pour deviner où un humain regarderait que les anciennes méthodes standards. Il n'a pas seulement obtenu les bons chiffres ; il a appris le schéma de la pensée humaine.

Mais les chercheurs ne se sont pas arrêtés là. Ils voulaient voir si cette attention « humaine » pouvait aider l'ordinateur à accomplir un travail plus difficile : prédire la séquence exacte de mouvements oculaires, connue sous le nom de scanpath (chemin de balayage). Imaginez essayer de prédire le chemin exact qu'un randonneur prendra dans une forêt, étape par étape. L'ordinateur, entraîné avec des données oculaires humaines, a pu prédire ces chemins mieux que d'autres modèles d'IA célèbres (comme GPT-5 et Claude) et mieux que le précédent meilleur programme informatique sur la tâche de lecture. Bien qu'il ait également montré des améliorations sur la tâche d'écriture, les chercheurs ont noté que ces gains spécifiques n'étaient pas statistiquement significatifs par rapport au précédent meilleur programme informatique, bien qu'ils aient tout de même surpassé les modèles commerciaux. Cela suggère que lorsque nous apprenons aux ordinateurs à prêter attention de la même manière que les humains, ils ne font pas que mieux lire ; ils commencent à comprendre le processus même de la pensée.

Cependant, les auteurs prennent garde à ne pas dire qu'ils ont résolu le mystère de l'esprit humain. Ils admettent que leur modèle est un « estimateur » de ce qu'un groupe de personnes fait habituellement, et non une copie parfaite du cerveau d'une seule personne. Il a aussi des limites ; il fonctionne mieux sur de petits fragments de code et pourrait être confus si le code est trop vaste pour tenir dans sa mémoire à la fois. Mais les résultats sont un indice fort que, en observant la façon dont nos yeux bougent, nous pouvons apprendre aux machines à voir le monde un peu plus comme nous le faisons.

Résumé Technique : Prédire l'attention visuelle humaine sur les mots dans le code source

Énoncé du problème
Comprendre l'attention visuelle humaine lors des tâches de génie logiciel est crucial pour optimiser la conception des interfaces utilisateur, améliorer les outils de génie logiciel et modéliser les processus cognitifs humains. Bien que les données d'oculométrie (eye-tracking) aient été utilisées pour étudier comment les programmeurs lisent le code source, prédire cette attention de manière computationnelle reste un défi. Les approches existantes se divisent en deux catégories : les modèles de vision par ordinateur générale, qui traitent l'attention comme des coordonnées spatiales et ignorent les informations sémantiques du code ; et les modèles de lecture de texte, qui supposent des schémas de balayage oculaire non applicables à la nature complexe et riche en régressions de la lecture de code. De plus, bien que les grands modèles de langage (LLM) présentent des mécanismes d'attention, il n'a pas été établi si leur attention interne s'aligne sur l'attention visuelle humaine lors de la lecture de code orientée vers des tâches spécifiques. La lacune que ce document comble est l'absence d'un modèle computationnel capable de prédire l'attention visuelle fine (mots spécifiques dans le code source) en exploitant les données d'oculométrie pour aligner l'attention de la machine avec les schéments cognitifs humains.

Méthodologie
Les auteurs proposent un modèle computationnel basé sur une architecture Transformer pré-entraînée (spécifiquement le modèle jam, un modèle de type GPT-2 de 350 millions de paramètres) qui est affiné (fine-tuned) en utilisant des données d'oculométrie réelles. La méthodologie se compose de trois composantes primaires :

Cible de prédiction : Le modèle prédit le Pourcentage du Temps de Regard Total (ptgt) pour chaque mot dans un extrait de code source. Le ptgt est défini comme le temps de regard total sur un mot spécifique (Région d'Intérêt) divisé par le temps de regard total pour l'ensemble de l'artefact de code. Cette métrique quantifie l'importance relative ou l'attention allouée à un jeton (token) spécifique.
Représentation d'entrée : La séquence d'entrée comprend trois parties : les jetons du code source, les jetons de fixation (mots où l'œil humain s'est arrêté) et les jetons immédiatement adjacents aux jetons de fixation.
Fonction de perte personnalisée : L'innovation centrale est une nouvelle fonction de perte conçue pour aligner l'attention interne du modèle avec l'attention humaine lors de l'affinage. Le processus implique :
- Lecture de l'attention (Attention Readout) : Extraction des matrices d'attention ( $Q$ et $K$ ) de la dernière couche du Transformer (spécifiquement en moyennant les têtes 10 à 16, sur la base de découvertes antérieures indiquant que les couches plus profondes s'alignent mieux avec l'attention humaine).
- Score d'attention de la machine : Calcul d'un score d'attention scalaire ( $\hat{a}$ ) en moyennant les probabilités d'attention entre les jetons adjacents aux fixations et les jetons de fixation eux-mêmes.
- Supervision humaine : Calcul de la similitude entre le score d'attention de la machine ( $\hat{a}$ ) et le ptgt humain de référence ( $a$ ).
- Composition de la perte : La perte totale ( $L$ ) combine la perte standard d'Entropie Croisée Catégorielle (CCE) pour la modélisation du langage avec deux termes auxiliaires : l'Erreur Quadratique Moyenne (MSE) pour imposer l'exactitude absolue de la magnitude du temps de regard, et une perte de corrélation de Pearson transformée ( $L_{corr}$ ) pour imposer la structure relative de l'attention (classement des jetons à haute vs basse attention). La perte est redimensionnée dynamiquement pour éviter que les termes auxiliaires ne dominent l'objectif de modélisation du langage.

Contributions clés

Fonction de perte novatrice : La conception d'une fonction de perte qui minimise explicitement la divergence entre l'attention visuelle humaine (ptgt) et l'auto-attention d'un réseau neuronal, en utilisant à la fois la MSE et la corrélation de Pearson.
Prédiction fine : Dépasser les prédictions biométriques ou de difficulté de tâche grossières pour prédire l'attention au niveau des mots individuels (jetons) dans le code source.
Étude d'ablation : Une évaluation systématique démontrant la contribution spécifique de la composante de corrélation de Pearson à la performance du modèle.
Extension à la prédiction de scanpath : Application du modèle aligné sur l'attention à la tâche de prédiction de la séquence de fixations (scanpath), une tâche nécessitant la compréhension des processus de pensée humaine.

Résultats expérimentaux
Le modèle a été évalué sur trois ensembles de données distincts impliquant les langages de programmation Java et C, ainsi que des tâches incluant la documentation de code et la localisation de bugs (études de Smith, Wallace et Rodeghero).

Prédiction de l'attention (RQ1) : Le modèle proposé a nettement surpassé les modèles de référence (baselines) issus du génie logiciel (Bansal et al.) et de la vision par ordinateur (Tafasca et al.).
- Dans l'étude Wallace (Java), le modèle a atteint une corrélation de Pearson de 0,45, contre 0,27 et 0,21 pour les modèles de référence (une amélioration de 64 % par rapport à la meilleure référence).
- Dans l'étude Rodeghero (Java), il a atteint 0,48 contre 0,41 et 0,42 (amélioration de 16 %).
- Dans l'étude Smith (C), il a atteint 0,25 contre 0,04 et 0,04 (amélioration de 467 %).
- La similitude du modèle avec la référence humaine agrégée était comparable, voire supérieure dans certaines métriques, à la similitude entre les participants humains individuels, suggérant que le modèle capture la structure d'attention "consensus" occultée par la variabilité individuelle.
Étude d'ablation (RQ2) : Le retrait de la perte de corrélation de Pearson a entraîné une baisse de performance sur toutes les métriques (Pearson, Spearman, Kendall, Cosine), confirmant que le terme de corrélation est essentiel pour apprendre le classement correct de l'attention.
Prédiction de scanpath (RQ3) : En utilisant l'ensemble de données de Bansal et al. pour la résumé de code, le modèle a surpassé la référence originale de Bansal et les modèles commerciaux (GPT-5 Nano et Claude-Haiku-4.5) en termes de distance de Levenshtein normalisée (NLD), de NDCG, de Précision et de Rappel. Notamment, le modèle a prédit des scanpaths qui s'alignent plus étroitement avec les programmeurs humains (par exemple, en se concentrant sur les corps de méthodes plutôt que simplement sur les signatures) par rapport aux modèles commerciaux qui présentent des processus de pensée "aliènes".

Signification et affirmations
Le document affirme qu'un modèle de langage basé sur Transformer, lorsqu'il est affiné avec une fonction de perte personnalisée incorporant des données d'oculométrie humaines, peut prédire efficacement l'attention visuelle humaine agrégée sur les mots du code source. Les auteurs soulignent que le modèle agit comme un estimateur de la structure attentionnelle agrégée plutôt que comme un substitut pour un humain spécifique.

Les affirmations clés sont les suivantes :

Alignement : L'attention de la machine, lorsqu'elle est guidée par des données humaines, peut imiter la distribution de l'attention humaine sur les mots du code avec un niveau de précision comparable à l'accord inter-humain.
Compréhension de la tâche : L'amélioration des performances du modèle sur la prédiction de scanpath suggère que l'alignement de l'attention interne avec les schémas visuels humains améliore sa capacité à gérer des tâches nécessitant une compréhension des processus de pensée humaine (par exemple, le résumé de code).
Limites : Les auteurs notent avec modestie que le modèle agrège l'attention au fil du temps, perdant ainsi la dynamique temporelle et les schémas de régression. Ils avertissent également que le modèle n'est pas un compte rendu complet des mécanismes d'attention humaine et que les résultats peuvent ne pas se généraliser à des tâches nécessitant des fenêtres de contexte plus larges que la capacité du modèle (1 024 jetons) ou à des langages/tâches non représentés dans les données d'entraînement.

Ce travail se positionne comme une étape vers la modélisation computationnelle de la cognition du programmeur, offrant un outil pour mieux comprendre les informations dont les programmeurs ont besoin et pour concevoir des interfaces qui s'alignent sur les processus cognitifs humains.

Articles similaires