Technische Samenvatting: EYEMULATOR

Probleemstelling

Huidige Code Language Models (CodeLLMs) vertrouwen op "machine-aandacht", een statistisch mechanisme dat token-belang leert via datacorrelaties en context uniform behandelt op basis van co-occurrence. In tegenstelling hiertoe hanteren menselijke ontwikkelaars onderscheidende cognitieve strategieën die gekenmerkt worden door selectieve aandacht; zij fixeren zich op semantisch cruciale elementen (bijv. control flow, method signatures) terwijl zij syntactische boilerplate scannen. Bestaande adaptatiemethoden, zoals instruction tuning of Retrieval-Augmented Generation (RAG), verbeteren de naleving van de gebruikersintentie of bieden externe context, maar falen in het fundamenteel veranderen van het onderliggende aandachtmechanisme van het model. Bijgevolg verdelen state-of-the-art modellen aandacht vaak uniform over logica en boilerplate, waardoor de genuanceerde, selectieve focus die kenmerkend is voor expert-programmaverstaan verloren gaat.

Methodologie

EYEMULATOR is een model-agnostisch framework ontworpen om menselijke visuele-aandachtspriors te injecteren in CodeLLM fine-tuning, zonder dat architecturale wijzigingen of dure pre-training vanaf nul vereist zijn. De aanpak werkt in drie stadia:

1. Data-transformatie en Artefact-distillatie:
   Met behulp van de EyeTrans-corpus (120Hz gaze-opnames van 27 programmeurs die Java lezen/schrijven) identificeert het systeem fixaties (stabiele blikpunten >100ms) en mapt deze naar Abstract Syntax Tree (AST) leaf tokens. Hieruit worden twee draagbare artefacten gedestilleerd:

   • Semantic Salience Priors: Een Bayesiaanse benadering (met behulp van Beta-distributies) modelleert de statische belangrijkheid van token-types (bijv. variabelen versus keywords) op basis van fixatiedichtheid.
   • Sequential Transition Models: Bigram- en trigram-statistieken leggen de dynamische flow van expert-lezen vast (bijv. het springen van een variabele-definitie naar het gebruik ervan).

2. Pseudo-Scanpath Generatie:
   Voor standaard trainingsdata die geen eye-tracking bevatten, synthetiseert EYEMULATOR "pseudo-scanpaden". Het systeem samplet een saliency ratio en wijst aandachtquota toe aan token-klassen op basis van de gedestilleerde priors. Deze paden worden geconstrueerd door gemaskeerde tokens greedily te matchen in geldige n-grams die voldoen aan line-span beperkingen, wat een trainingssignaal creëert dat de menselijke visuele selectiviteit nabootst.

3. Gaze-Informed Fine-Tuning:
   Het model wordt gefinetuned met behulp van een composiete loss-functie:

   • Weighted Supervised Fine-Tuning (SFT): Token-level cross-entropy loss wordt hergewogen. Gewichten combineren een basisbelangrijkheidsterm, een inverse frequentieterm (om zeldzame constructen zwaarder te wegen) en de semantische salience waarschijnlijkheid afgeleid van de priors.
   • Token-Level Direct Preference Optimization (DPO): Het framework definieert een "winnaar"-traject als het gegenereerde pseudo-scanpad (hoge salience) en een "verliezer"-traject als het complement (lage salience achtergrond). Deze loss beloont het model expliciet voor het toekennen van een hogere waarschijnlijkheid aan semantisch saillante tokens die door mensen geprioriteerd worden.

Belangrijkste Bijdragen

1. Een Draagbare Pipeline: Een methode voor het converteren van ruwe menselijke gaze-traces naar herbruikbare semantische salience en sequentiële transitie-priors over code-tokens.
2. Model-Agnostisch Doel: Een fine-tuning doelstelling die deze priors incorporeert via token-level weighting en preference alignment zonder de basis CodeLLM-architectuur te wijzigen.
3. Uitgebreide Evaluatie: Een evaluatie over zes diverse backbones (variërend van 1B tot 3B parameters), drie CodeXGlue-taken (completion, translation, summarization) en twee data-regimes (low-data en full-data).

Resultaten

De evaluatie demonstreert dat EYEMULATOR positieve, kwalitatief veilige winsten oplevert in alle 36 geëvalueerde model-taak-instelling cellen:

• Structure-Preserving Taken: De meest significante verbeteringen werden waargenomen bij code completion en Java-naar-C# vertaling. Bijvoorbeeld, StarCoderBase-1B zag een relatieve verbetering van +34,4% in completion onder full-data settings, en DeepSeek-Coder-1.3B behaalde een winst van +33,4%.
• Summarization: Hoewel gevoeliger voor decoding en tokenizer-gedrag, vertoonden summarization-taken (Java-naar-Engels) consistente positieve winsten onder de METEOR-metric na gerichte tuning (bijv. +9,3% voor Llama-3.2-1B).
• Robuustheid: De winsten waren consistent over verschillende modelgroottes en data-regimes, waarbij seed-gebaseerde robuustheidscontroles de stabiliteit bevestigden.
• Component Analyse: Ablatie-studies bevestigden dat zowel semantische salience als sequentiële transitie-flow complementair zijn; het verwijderen van een van beide signalen verminderde consequent de prestaties. Session-mode analyse gaf aan dat reading-derived priors bijzonder sterk waren voor vertaling, terwijl writing-derived priors hielpen bij code completion.

Betekenis en Claims

Het artikel claimt dat EYEMULATOR erin slaagt de kloof te overbruggen tussen statistische machine-aandacht en selectieve menselijke focus. Door CodeLLM-training te funderen in cognitieve visuele patronen, stelt de methode modellen in staat om code te verwerken met een semantische salience die die van een developer weerspiegelt.

De auteurs benadrukken dat de betekenis van dit werk ligt in het vermogen om de prestaties van modellen te verbeteren door middel van modulaire, model-agnostische signalen in plaats van architecturale overhaals. De resultaten suggereren dat compacte CodeLLMs aanzienlijk profiteren wanneer menselijke selectiviteit wordt gedestilleerd in training-time priors. Het artikel stelt dat menselijke aandacht nuttig is niet als een enkele heuristiek, maar als een gestructureerde prior die combineert wat developers inspecteren en hoe zij door code bewegen. Deze aanpak biedt een pad om de semantische grounding van CodeLLMs te verbeteren zonder de computationele kosten van het trainen van nieuwe architecturen vanaf nul.