Résumé Technique : EYEMULATOR

Problématique

Les modèles de langage de code actuels (CodeLLM) reposent sur une « attention machine », un mécanisme statistique qui apprend l'importance des jetons par des corrélations de données et traite le contexte de manière uniforme en fonction de la cooccurrence. En revanche, les développeurs humains emploient des stratégies cognitives distinctes caractérisées par une attention sélective ; ils se fixent sur des éléments sémantiquement critiques (ex. : flux de contrôle, signatures de méthodes) tout en parcourant rapidement le jargon syntaxique. Les méthodes d'adaptation existantes, telles que l'ajustement par instructions (instruction tuning) ou la génération augmentée par récupération (RAG), améliorent l'adhérence à l'intention de l'utilisateur ou fournissent un contexte externe, mais ne parviennent pas à modifier fondamentalement le mécanisme d'attention sous-jacent du modèle. Par conséquent, les modèles de pointe distribuent souvent l'attention de manière uniforme entre la logique et le jargon, manquant la focalisation nuancée et sélective qui caractérise la compréhension de programme experte.

Méthodologie

EYEMULATOR est un cadre agnostique vis-à-vis du modèle, conçu pour injecter des priors d'attention visuelle humaine dans l'ajustement fin (fine-tuning) des CodeLLM sans nécessiter de changements architecturaux ou d'un pré-entraînement coûteux à partir de zéro. L'approche opère en trois étapes :

1. Transformation des données et distillation d'artefacts :
   En utilisant le corpus EyeTrans (enregistrements oculaires à 120 Hz de 27 programmeurs lisant/écrivant en Java), le système identifie les fixations (points de regard stables >100ms) et les mappe aux jetons feuilles de l'arbre de syntaxe abstraite (AST). À partir de là, deux artefacts portables sont distillés :

   • Priors de saillance sémantique : Une approche bayésienne (utilisant des distributions Beta) modélise l'importance statique des types de jetons (ex. : variables vs mots-clés) basée sur la densité de fixation.
   • Modèles de transition séquentielle : Des statistiques de bigrammes et de trigrammes capturent le flux dynamique de la lecture experte (ex. : passer de la définition d'une variable à son usage).

2. Génération de pseudo-trajectoires de balayage (Pseudo-Scan Paths) :
   Pour les données d'entraînement standards dépourvues de suivi oculaire, EYEMULATOR synthétise des « pseudo-trajectoires de balayage ». Il échantillonne un ratio de saillance et alloue des quotas d'attention aux classes de jetons en fonction des priors distillés. Ces trajectoires sont construites en faisant correspondre de manière gloutonne les jetons masqués en n-grammes valides qui satisfont les contraintes d'étendue de ligne, créant ainsi un signal d'entraînement qui imite la sélectivité visuelle humaine.

3. Ajustement fin informé par le regard (Gaze-Informed Fine-Tuning) :
   Le modèle est ajusté via une fonction de perte composite :

   • Ajustement supervisé pondéré (Weighted SFT) : La perte de cross-entropie au niveau du jeton est repondérée. Les poids combinent un terme d'importance de base, un terme d'inverse fréquence (pour surpondérer les constructions rares) et la probabilité de saillance sémantique dérivée des priors.
   • Optimisation de préférence directe (DPO) au niveau du jeton : Le cadre définit une trajectoire « gagnante » comme la pseudo-trajectoire de balayage générée (haute saillance) et une trajectoire « perdante » comme le complément (arrière-plan de faible saillance). Cette perte récompense explicitement le modèle pour l'attribution d'une probabilité plus élevée aux jetons sémantiquement saillants prioritaires pour les humains.

Contributions Clés

1. Un pipeline portable : Une méthode pour convertir les traces de regard humain brut en priors de saillance sémantique et de transition séquentielle réutilisables sur les jetons de code.
2. Objectif agnostique du modèle : Un objectif d'ajustement fin qui incorpore ces priors via la pondération des jetons et l'alignement des préférences sans modifier l'architecture de base du CodeLLM.
3. Évaluation complète : Une évaluation à travers six backbones divers (allant de 1B à 3B de paramètres), trois tâches CodeXGlue (complétion, traduction, résumé) et deux régimes de données (faibles données et données complètes).

Résultats

L'évaluation démontre qu'EYEMULATOR produit des gains qualitatifs et sûrs dans les 36 cellules modèle-tâche-configuration évaluées :

• Tâches de préservation de structure : Les améliorations les plus significatives ont été observées dans la complétion de code et la traduction Java-vers-C#. Par exemple, StarCoderBase-1B a vu une amélioration relative de +34,4 % en complétion sous configuration de données complètes, et DeepSeek-Coder-1.3B a atteint un gain de +33,4 %.
• Résumé : Bien que plus sensible au décodage et au tokenizer, les tâches de résumé (Java-vers-Anglais) ont montré des gains positifs constants sous la métrique METEOR après un ajustement ciblé (ex. : +9,3 % pour Llama-3.2-1B).
• Robustesse : Les gains sont constants à travers différentes tailles de modèles et régimes de données, les contrôles de robustesse basés sur les graines (seeds) confirmant la stabilité.
• Analyse des composants : Les études d'ablation confirment que la saillance sémantique et le flux de transition séquentielle sont complémentaires ; supprimer l'un ou l'autre signal réduit systématiquement les performances. L'analyse du mode de session indique que les priors dérivés de la lecture sont particulièrement forts pour la traduction, tandis que les priors dérivés de l'écriture aident à la complétion de code.

Signification et Revendications

L'article affirme qu'EYEMULATOR comble avec succès l'écart entre l'attention statistique des machines et la focalisation sélective humaine. En ancrant l'entraînement des CodeLLM dans les motifs visuels cognitifs, la méthode permet aux modèles de traiter le code avec une saillance sémantique reflétant celle d'un développeur.

Les auteurs soulignent que la signification de ce travail réside dans sa capacité à améliorer les performances du modèle grâce à des signaux modulaires et agnostiques du modèle plutôt que par des refontes architecturales. Les résultats suggèrent que les CodeLLM compacts bénéficient considérablement lorsque la sélectivité humaine est distillée en priors lors de l'entraînement. L'article pose que l'attention humaine est utile non pas comme un heuristique unique, mais comme un prior structuré combinant ce que les développeurs inspectent et comment ils naviguent à travers le code. Cette approche offre une voie pour améliorer l'ancrage sémantique des CodeLLM sans le coût computationnel de l'entraînement de nouvelles architectures à partir de zéro.