Predicting Human Visual Attention on Words in Source Code

Sintesi Tecnica: Predire l'Attenzione Visiva Umana sulle Parole nel Codice Sorgente

Definizione del Problema
Comprendere l'attenzione visiva umana durante i compiti di ingegneria del software è fondamentale per ottimizzare la progettazione delle interfacce utente, migliorare gli strumenti di ingegneria del software e modellare i processi cognitivi umani. Sebbene i dati di eye-tracking siano stati utilizzati per studiare come i programmatori leggano il codice sorgente, predire questa attenzione computazionalmente rimane una sfida. Gli approcci esistenti si dividono in due categorie: modelli di computer vision generica, che trattano l'attenzione come coordinate spaziali e ignorano le informazioni semantiche nel codice; e modelli di lettura del testo, che assumono schemi di scansione oculare non applicabili alla natura complessa e ricca di regressioni della lettura del codice. Inoltre, sebbene i Large Language Models (LLM) esibiscano meccanismi di attenzione, non è stato stabilito se la loro attenzione interna sia allineata con l'attenzione visiva umana durante la lettura del codice specifica e orientata a un compito. Il vuoto che questo articolo colma è la mancanza di un modello computazionale in grado di predire l'attenzione visiva fine-grained (parole specifiche nel codice sorgente) sfruttando i dati di eye-tracking per allineare l'attenzione della macchina con i pattern cognitivi umani.

Metodologia
Gli autori propongono un modello computazionale basato su un'architettura Transformer pre-addestrata (nello specifico il modello jam, un modello di tipo GPT-2 con 350 milioni di parametri) che viene perfezionato tramite l'uso di veri dati di eye-tracking. La metodologia consiste in tre componenti primarie:

1. Target di Predizione: Il modello predice la Percentuale di Tempo Totale di Sguardo (ptgt) per ogni parola in uno snippet di codice sorgente. La ptgt è definita come il tempo totale di sguardo su una specifica parola (Region of Interest) diviso per il tempo totale dell'intero artefatto di codice. Questa metrica quantifica l'importanza relativa o l'attenzione allocata a un determinato token.
2. Rappresentazione dell'Input: La sequenza di input comprende tre parti: i token del codice sorgente, i token di fissazione (le parole dove l'occhio umano si è fermato) e i token immediatamente adiacenti ai token di fissazione.
3. Funzione di Perdita Personalizzata: Il nucleo dell'innovazione è una nuova funzione di perdita progettata per allineare l'attenzione interna del modello con l'attenzione umana durante il fine-tuning. Il processo prevede:
   • Lettura dell'Attenzione (Attention Readout): Estrazione delle matrici di attenzione ($Q$ e $K$) dall'ultimo strato del Transformer (specificamente mediando le teste 10–16, basandosi su evidenze precedenti secondo cui gli strati più profondi si allineano meglio con l'attenzione umana).
   • Punteggio di Attenzione della Macchina: Calcolo di uno score di attenzione scalare ($\hat{a}$) mediando le probabilità di attenzione tra i token adiacenti alle fissazioni e i token di fissazione stessi.
   • Supervisione Umana: Calcolo della similarità tra lo score di attenzione della macchina ($\hat{a}$) e la ptgt umana di riferimento ($a$).
   • Composizione della Perdita: La perdita totale ($L$) combina la standard Categorical Cross-Entropy (CCE) per il linguaggio, con due termini ausiliari: l'Errore Quadratico Medio (MSE) per imporre l'accuratezza assoluta nell'entità del tempo di sguardo, e una trasformazione della perdita di Correlazione di Pearson ($L_{corr}$) per imporre la struttura relativa dell'attenzione (classificazione dei token ad alta vs bassa attenzione). La perdita è ricalibrata dinamicamente per evitare che i termini ausiliari dominino l'obiettivo di modellazione del linguaggio.

Contributi Chiave

• Nuova Funzione di Perdita: La progettazione di una funzione di perdita che minimizza esplicitamente la divergenza tra l'attenzione visiva umana (ptgt) e l'auto-attenzione interna di una rete neurale, utilizzando sia MSE che la correlazione di Pearson.
• Predizione Fine-Grained: Andare oltre le predizioni grossolane di biometria o difficoltà del compito per predire l'attenzione a livello di singole parole (token) nel codice sorgente.
• Studio di Ablazione: Una valutazione sistematica che dimostra il contributo specifico della componente di correlazione di Pearson sulle prestazioni del modello.
• Estensione alla Predizione del Scanpath: Applicazione del modello allineato all'attenzione al compito di predire la sequenza di fissazioni (scanpath), un compito che richiede la comprensione dei processi di pensiero umani.

Risultati Sperimentali
Il modello è stato valutato su tre dataset distinti riguardanti linguaggi di programmazione Java e C e compiti quali la documentazione del codice e la localizzazione dei bug (studi di Smith, Wallace e Rodeghero).

• Predizione dell'Attenzione (RQ1): Il modello proposto ha superato significativamente i baseline di ingegneria del software (Bansal et al.) e di computer vision (Tafasca et al.).
  • Nello studio Wallace (Java), il modello ha raggiunto una correlazione di Pearson di 0,45, rispetto allo 0,27 e allo 0,21 dei baseline (un miglioramento del 64% rispetto al miglior baseline).
  • Nello studio Rodeghero (Java), ha raggiunto 0,48 contro 0,41 e 0,42 (miglioramento del 16%).
  • Nello studio Smith (C), ha raggiunto 0,25 contro 0,04 e 0,04 (miglioramento del 467%).
  • La similarità del modello con il riferimento umano aggregato è comparabile, e in alcuni parametri superiore, alla similarità tra i singoli partecipanti umani, suggerendo che il modello catturi la struttura di attenzione "di consenso" che è oscurata dalla variabilità individuale.
• Studio di Ablazione (RQ2): Rimuovendo la perdita di correlazione di Pearson, le prestazioni sono risultate inferiori in tutti i parametri (Pearson, Spearman, Kendall, Cosine), confermando che il termine di correlazione è essenziale per apprendere la corretta classificazione dell'attenzione.
• Predizione dello Scanpath (RQ3): Utilizzando il dataset di Bansal et al. per la sintesi del codice, il modello ha superato il baseline originale di Bansal e i modelli commerciali (GPT-5 Nano e Claude-Haiku-4.5) in termini di Distanza di Levenshtein Normalizzata (NLD), NDCG, Precisione e Recall. Notevolmente, il modello ha predetto scanpath che si allineano più strettamente ai programmatori umani (ad esempio, concentrandosi sui corpi dei metodi piuttosto che solo sulle firme) rispetto ai modelli commerciali, che esibivano processi di pensiero "alieni".

Significatività e Rivendicazioni
L'articolo sostiene che un modello di linguaggio basato su Transformer, quando sottoposto a fine-tuning con una funzione di perdita personalizzata che incorpora i dati di eye-tracking umano, può predire efficacemente l'attenzione visiva umana aggregata sulle parole del codice sorgente. Gli autori sottolineano che il modello funge da stimatore della struttura attentiva aggregata piuttosto che da sostituto di un essere umano specifico.

Le rivendicazioni chiave includono:

1. Allineamento: L'attenzione della macchina, quando guidata dai dati umani, può imitare la distribuzione dell'attenzione umana sulle parole del codice con un livello di accuratezza paragonabile all'accordo inter-umano.
2. Comprensione del Task: Il miglioramento delle prestazioni del modello sulla predizione dello scanpath suggerisce che l'allineamento dell'attenzione interna con i pattern visivi umani migliora la capacità del modello di gestire compiti che richiedono la comprensione dei processi di pensiero umani (es. sintesi del codice).
3. Limitazioni: Gli autori notano con modestia che il modello aggrega l'attenzione nel tempo, perdendo le dinamiche temporali e i pattern di regressione. Avvertono inoltre che il modello non è un resoconto completo dei meccanismi di attenzione umana e che i risultati potrebbero non generalizzarsi a compiti che richiedono finestre di contesto più ampie (1.024 token) o a linguaggi/compiti non rappresentati nei dati di addestramento.

Questo lavoro si posiziona come un passo avanti nella modellazione computazionale della cognizione del programmatore, offrendo uno strumento per comprendere meglio di quali informazioni hanno bisogno i programmatori e come progettare interfacce che si allineino ai loro processi cognitivi.