Predicting Human Visual Attention on Words in Source Code

Technische Samenvatting: Het voorspellen van menselijke visuele aandacht op woorden in broncode

Probleemstelling
Het begrijpen van menselijke visuele aandacht tijdens software engineering-taken is cruciaal voor het optimaliseren van gebruikersinterfaceontwerpen, het verbeteren van software engineering-tools en het modelleren van menselijke cognitieve processen. Hoewel eye-tracking data wordt gebruikt om te bestuderen hoe programmeurs broncode lezen, blijft het computationeel voorspellen van deze aandacht een uitdaging. Bestaande benaderingen vallen uiteen in twee categorieën: algemene computer vision-modellen, die aandacht behandelen als ruimtelijke coördinaten en semantische informatie in code negeren; en tekstleesmodellen, die uit oogscanpatronen uitgaan die niet van toepassing zijn op de complexe, regressie-rijke aard van het lezen van code. Bovendien vertonen Large Language Models (LLM's) weliswaar aandachtmechanismen, maar het is nog niet vastgesteld of hun interne aandacht overeenkomt met menselijke visuele aandacht tijdens specifieke, taakgerichte codereacties. De kloof die dit artikel adresseert, is het gebrek aan een computationeel model dat fijnmazige visuele aandacht (specifieke woorden in broncode) kan voorspellen door gebruik te maken van eye-tracking data om machine-aandacht af te stemmen op menselijke cognitieve patronen.

Methodologie
De auteurs stellen een computationeel model voor gebaseerd op een pre-trained Transformer-architectuur (specifiek het jam-model, een 350M parameter GPT-2 stijl model) dat wordt gefinetuned met werkelijke eye-tracking data. De methodologie bestaat uit drie primaire componenten:

1. Voorspellingsdoel: Het model voorspelt de Percent Total Gaze Time (ptgt) voor elk woord in een broncodesnippet. Ptgt wordt gedefinieerd als de totale kijktijd op een specifiek woord (Region of Interest) gedeeld door de totale kijktijd voor het gehele code-artefact. Deze metriek kwantificeert de relatieve belangrijkheid of de aandacht die aan een specifiek token wordt toegewezen.
2. Inputrepresentatie: De inputsequentie bestaat uit drie delen: de broncode-tokens, de fixatie-tokens (woorden waar het menselijk oog stopte) en de tokens die direct naast de fixatie-tokens liggen.
3. Custom Loss Function: De kerninnovatie is een nieuwe loss function die is ontworpen om de interne aandacht van het model af te stemmen op menselijke aandacht tijdens het finetunen. Het proces omvat:
   • Attention Readout: Het extraheren van aandachtmatrices ($Q$ en $K$) uit de laatste Transformer-laag (specifiek het middelen van heads 10–16, gebaseerd op eerdere bevindingen dat diepere lagen beter overeenkomen met menselijke aandacht).
   • Machine Attention Score: Het berekenen van een scalaire aandachtsscore ($\hat{a}$) door de aandachtskansen tussen tokens aangrenzend aan fixaties en de fixatie-tokens zelf te middelen.
   • Menselijke Supervisie: Het berekenen van de gelijkenis tussen de machine-aandachtsscore ($\hat{a}$) en de grondwaarheid van de menselijke ptgt ($a$).
   • Loss Compositie: De totale loss ($L$) combineert de standaard Categorical Cross-Entropy (CCE) loss voor taalmodellering met twee hulptermen: Mean Squared Error (MSE) om absolute nauwkeurigheid in de magnitude van de kijktijd af te dwingen, en een getransformeerde Pearson Correlation loss ($L_{corr}$) om de relatieve structuur van de aandacht af te dwingen (het rangschikken van tokens met hoge versus lage aandacht). De loss wordt dynamisch geschaald om te voorkomen dat de hulptermen het taalmodelleringsobject domineren.

Belangrijkste Bijdragen

• Nieuwe Loss Function: Het ontwerp van een loss function die expliciet de divergentie minimaliseert tussen menselijke visuele aandacht (ptgt) en de interne zelf-aandacht van een neuraal netwerk, gebruikmakend van zowel MSE als Pearson correlatie.
• Fijnmazige Voorspelling: Verder gaan dan grove voorspellingen van biometrie of taakcomplexiteit door aandacht te voorspellen op het niveau van individuele woorden (tokens) in broncode.
• Ablatieonderzoek: Een systematische evaluatie die de specifieke bijdrage van de Pearson correlatie-component aan de prestaties van het model aantoont.
• Extensie naar Scanpath-voorspelling: Het toepassen van het op aandacht afgestemde model op de taak van het voorspellen van de sequentie van fixaties (scanpath), een taak die begrip vereist van menselijke denkprocessen.

Experimentele Resultaten
Het model werd geëvalueerd op drie verschillende datasets met betrekking tot Java en C programmeertalen en taken zoals code-documentatie en buglokalisatie (Smith, Wallace, en Rodeghero studies).

• Aandachtsvoorspelling (RQ1): Het voorgestelde model presteerde significant beter dan de baselines uit software engineering (Bansal et al.) en computer vision (Tafasca et al.).
  • In de Wallace-studie (Java) behaalde het model een Pearson correlatie van 0,45, vergeleken met 0,27 en 0,21 voor de baselines (een verbetering van 64% ten opzichte van de beste baseline).
  • In de Rodeghero-studie (Java) behaalde het 0,48 vs. 0,41 en 0,42 (16% verbetering).
  • In de Smith-studie (C) behaalde het 0,25 vs. 0,04 en 0,04 (467% verbetering).
  • De gelijkenis van het model met de geaggregeerde menselijke referentie was vergelijkbaar met, en in sommige metrieken zelfs hoger dan, de gelijkenis tussen individuele menselijke deelnemers, wat suggereert dat het model de "consensus" aandachtstructuur vangt die door individuele variabiliteit wordt vertroebeld.
• Ablatieonderzoek (RQ2): Het verwijderen van de Pearson correlatie loss resulteerde in lagere prestaties over alle metrieken (Pearson, Spearman, Kendall, Cosine), wat bevestigt dat de correlatieterm essentieel is voor het leren van de juiste rangschikking van aandacht.
• Scanpath Voorspelling (RQ3): Bij het gebruik van de Bansal et al. dataset voor code-samenvatting, presteerde het model beter dan de oorspronkelijke Bansal baseline en commerciële modellen (GPT-5 Nano en Claude-Haiku-4.5) in Normalized Levenshtein Distance (NLD), NDCG, Precisie en Recall. Opvallend genoeg voorspelde het model scanpaths die dichter bij menselijke programmeurs lagen (bijv. focussen op method bodies in plaats van alleen signatures) vergeleken met commerciële modellen die "vreemde" denkprocessen vertoonden.

Significantie en Claims
Het artikel beweert dat een Transformer-gebaseerd taalmodel, wanneer het wordt gefinetuned met een custom loss function die menselijke eye-tracking data incorporeert, effectief de geaggregeerde menselijke visuele aandacht op broncode-woorden kan voorspellen. De auteurs benadrukken dat het model fungeert als een schatter van de geaggregeerde aandachtstructuur in plaats van een surrogaat voor een specifiek mens.

Belangrijke claims zijn onder meer:

1. Alignment: Machine-aandacht kan, wanneer deze wordt gestuurd door menselijke data, de distributie van menselijke aandacht op code-woorden nabootsen met een nauwkeurigheidsniveau dat vergelijkbaar is met de overeenstemming tussen mensen onderling.
2. Begrip van Taken: De verbeterde prestaties van het model op scanpath-voorspelling suggereren dat het afstemmen van interne aandacht op menselijke visuele patronen het vermogen van het model versterkt om taken aan te pakken die een begrip van menselijke denkprocessen vereisen (bijv. code-samenvatting).
3. Beperkingen: De auteurs merken bescheiden op dat het model aandacht aggregeert over de tijd, waardoor temporele dynamiek en regressiepatronen verloren gaan. Ze waarschuwen ook dat het model geen volledige beschrijving is van menselijke aandachtmechanismen en dat de resultaten mogelijk niet generaliseren naar taken die contextvensters groter dan de capaciteit van het model (1.024 tokens) vereisen, of naar talen/taken die niet in de trainingsdata zijn opgenomen.

Dit werk positioneert zich als een stap voorwaarts in de computationele modellering van programmeurscognitie, en biedt een instrument om beter te begrijpen welke informatie programmeurs nodig hebben en hoe interfaces te ontwerpen die aansluiten bij menselijke cognitieve processen.