Riepilogo Tecnico: EYEMULATOR

Problematica

Gli attuali modelli di linguaggio per il codice (CodeLLM) si affidano all' "attenzione meccanica", un meccanismo statistico che apprende l'importanza dei token attraverso correlazioni di dati e tratta il contesto in modo uniforme basandosi sulla co-occorrenza. Al contrario, gli sviluppatori umani impiegano strategie cognitive distinte caratterizzate da un'attenzione selettiva; essi si focalizzano su elementi semanticamente critici (ad es. controllo del flusso, firme di metodi) mentre scorrono velocemente la struttura sintattica di routine (boilerplate). I metodi di adattamento esistenti, come l'instruction tuning o la Generazione Aumentata da Recupero (RAG), migliorano l'aderenza all'intento dell'utente o forniscono un contesto esterno, ma non riescono a modificare fondamentalmente il meccanismo di attenzione sottostante del modello. Di conseguenza, i modelli allo stato dell'arte spesso distribuiscono l'attenzione in modo uniforme tra logica e boilerplate, perdendo la sfumata e selettiva capacità di concentrazione che caratterizza la comprensione del programma da parte degli esperti.

Metodologia

EYEMULATOR è un framework agnostico rispetto al modello, progettato per iniettare i priori dell'attenzione visiva umana nel fine-tuning dei CodeLLM senza richiedere modifiche architettoniche o costosi pre-addestramenti da zero. L'approccio opera in tre fasi:

1. Trasformazione dei Dati e Distillazione degli Artefatti:
   Utilizzando il corpus EyeTrans (registrazioni oculometriche a 120Hz di 27 programmatori che leggono/scrivono Java), il sistema identifica le fissazioni (punti di sguardo stabili >100ms) e le mappa sui token foglia dell'Albero di Sintassi Astratta (AST). Da ciò, vengono distillati due artefatti portatili:

   • Priori di Salienza Semantica: Un approccio Bayesiano (utilizzando distribuzioni Beta) modella l'importanza statica dei tipi di token (ad es. variabili rispetto alle parole chiave) basandosi sulla densità di fissazione.
   • Modelli di Transizione Sequenziale: Statistiche di bigrammi e trigrammi catturano il flusso dinamico della lettura esperta (ad es. il salto dalla definizione di una variabile al suo utilizzo).

2. Generazione di Pseudo-Percorsi di Scansione (Pseudo-Scan Path):
   Per i dati di addestramento standard privi di eye-tracking, EYEMULATOR sintetizza "pseudo-percorsi di scansione". Il sistema campiona un rapporto di salienza e alloca quote di attenzione alle classi di token in base ai priori distillati. Questi percorsi sono costruiti accoppiando greedymente i token mascherati in n-grammi validi che soddisfino i vincoli di estensione della riga (line-span), creando un segnale di addestramento che imita la selettività visiva umana.

3. Fine-Tuning Informato dal Gaze (Sguardo):
   Il modello viene sottoposto a fine-tuning utilizzando una funzione di perdita composita:

   • Supervised Fine-Tuning (SFT) Pesato: La perdita di cross-entropy a livello di token viene ricalibrata. I pesi combinano un termine di importanza di base, un termine di frequenza inversa (per dare più peso alle costruzioni rare) e la probabilità di salienza semantica derivata dai priori.
   • Direct Preference Optimization (DPO) a Livello di Token: Il framework definisce una traiettoria "vincente" come il percorso di scansione pseudo-generato (alta salienza) e una traiettoria "perdente" come il complemento (sfondo a bassa salienza). Questa perdita premia esplicitamente il modello per l'assegnazione di una probabilità maggiore ai token semanticamente salienti prioritizzati dagli umani.

Contributi Chiave

1. Una Pipeline Portabile: Un metodo per convertire le tracce grezze del gaze umano in priori riutilizzabili di salienza semantica e transizione sequenziale sui token del codice.
2. Obiettivo Agnostico rispetto al Modello: Un obiettivo di fine-tuning che incorpora questi priori attraverso la pesatura dei token e l'allineamento delle preferenze senza modificare l'architettura di base del CodeLLM.
3. Valutazione Esaustiva: Una valutazione su sei diversi backbone (da 1B a 3B di parametri), tre task di CodeXGlue (completamento, traduzione, riassunto) e due regimi di dati (low-data e full-data).

Risultati

La valutazione dimostra che EYEMULATOR produce guadagni positivi e sicuri per la qualità in tutte le 36 celle modello-task-setting valutate:

• Task di Preservazione della Struttura: I miglioramenti più significativi sono stati osservati nel completamento del codice e nella traduzione da Java a C#. Ad esempio, StarCoderBase-1B ha registrato un miglioramento relativo del +34,4% nel completamento in configurazioni full-data, e DeepSeek-Coder-1.3B ha ottenuto un guadagno del +33,4%.
• Riassunto (Summarization): Sebbene più sensibile alla decodifica e al comportamento del tokenizer, i compiti di riassunto (Java-to-English) hanno mostrato guadagni positivi costanti sotto la metrica METEOR dopo un tuning mirato (ad es. +9,3% per Llama-3.2-1B).
• Robustezza: I guadagni sono stati costanti attraverso diverse dimensioni dei modelli e regimi di dati, con controlli di robustezza basati sul seed che confermano la stabilità.
• Analisi dei Componenti: Gli studi di ablazione hanno confermato che sia la salienza semantica che il flusso di transizione sequenziale sono complementari; rimuovere uno qualsiasi dei due segnali ha ridotto costantemente le prestazioni. L'analisi della modalità di sessione ha indicato che i priori derivati dalla lettura sono particolarmente forti per la traduzione, mentre quelli derivati dalla scrittura favoriscono il completamento del codice.

Significato e Rivendicazioni

L'articolo sostiene che EYEMULATOR riesce a colmare il divario tra l'attenzione statistica delle macchine e la focalizzazione selettiva umana. Fondando l'addestramento dei CodeLLM sui pattern visivi cognitivi, il metodo consente ai modelli di elaborare il codice con una salienza semantica che rispecchia quella di uno sviluppatore.

Gli autori sottolineano che la rilevanza di questo lavoro risiede nella sua capacità di migliorare le prestazioni attraverso segnali modulari e agnostici rispetto al modello, piuttosto che tramite revisioni architettoniche. I risultati suggeriscono che i CodeLLM compatti beneficiano significativamente quando la selettività umana viene distillata in priori durante l'addestramento. L'articolo postula che l'attenzione umana sia utile non come un singolo euristica, ma come un prior strutturato che combina cosa gli sviluppatori ispezionano e come si muovono attraverso il codice. Questo approccio offre una via per migliorare l'ancoraggio semantico nei CodeLLM senza il costo computazionale di addestrare nuove architetture da zero.