EyeLayer: Integrating Human Attention Patterns into LLM-Based Code Summarization

1. Il Problema

La sintesi del codice (code summarization) è un compito fondamentale nell'ingegneria del software, volto a generare descrizioni in linguaggio naturale del codice sorgente per facilitarne la comprensione e la manutenzione. Sebbene i Large Language Models (LLM) abbiano ottenuto risultati notevoli in questo campo, esiste un divario significativo: i modelli spesso non riescono a catturare le informazioni su cui gli esseri umani si concentrano realmente durante la lettura e la comprensione del codice.

La ricerca precedente ha dimostrato che i pattern di attenzione umana (misurati tramite eye-tracking) rivelano come gli sviluppatori allocano selettivamente il focus su regioni semanticamente critiche. Tuttavia, rimaneva aperta la questione se questi segnali di attenzione umana potessero essere effettivamente integrati per migliorare i moderni LLM, che differiscono notevolmente per scala e architettura rispetto ai modelli precedenti. L'obiettivo è colmare il divario tra i meccanismi di attenzione dei modelli e quelli umani per generare riassunti più allineati alla cognizione umana.

2. Metodologia: EyeLayer

Gli autori propongono EyeLayer, un modulo di architettura leggero e modulare progettato per integrare i dati di eye-tracking (movimenti oculari) nei LLM senza alterare la loro architettura di base.

A. Fondamenti Teorici

Il sistema si basa sull'insight che gli sviluppatori, durante la lettura del codice, distribuiscono l'attenzione in modo non uniforme: si concentrano intensamente su regioni semanticamente critiche (es. dichiarazioni di metodi, variabili) e prestano attenzione periferica agli elementi contestuali. EyeLayer modella questa distribuzione come un Prior Probabilistico Trasferibile.

B. Architettura del Modulo (Multimodal Gaussian EyeLayer)

EyeLayer utilizza una Gaussian Mixture Multimodale per ridistribuire gli embedding dei token del codice. Il processo funziona come segue:

1. Codifica a Livello di Codice: Gli stati nascosti del modello vengono sintetizzati in un embedding compatto che rappresenta il contesto semantico.
2. Gating Sparsa: Una rete di gating leggera determina quanti componenti Gaussiani (modi) attivare per un dato frammento di codice. Questo permette al modello di adattarsi alla complessità del codice (attivando 1-3 modi).
3. Parametrizzazione dei Modi: Ogni modo attivo predice i parametri di una distribuzione Gaussiana:
   • $\mu_k$ (Centro): La posizione semantica del focus.
   • $\sigma_k$ (Dispersione): L'estensione contestuale dell'attenzione.
4. Ridistribuzione Causal-Aware: Per i modelli decoder-only (come LLaMA e Qwen), è cruciale mantenere la dipendenza causale autoregressiva. Invece di modificare le maschere di attenzione (che romperebbero la causalità), EyeLayer applica una perturbazione residua agli stati nascosti. Questa perturbazione è pesata dalla distribuzione Gaussiana predetta, guidando il modello verso le regioni di interesse umano senza violare il flusso di informazioni da sinistra a destra.

C. Strategia di Addestramento

Il sistema utilizza una strategia di doppio dataset:

• Corpus di Sintesi del Codice: CodeXGLUE (Java) per l'obiettivo principale di generazione.
• Corpus Eye-Tracking: EyeTrans (dati di 27 sviluppatori professionisti) per l'addestramento ausiliario.
• Allineamento: Un pipeline di tre stadi allinea i nodi dell'AST (Abstract Syntax Tree) dai dati di eye-tracking ai token sub-token del modello.
• Loss Function: L'obiettivo totale combina la perdita di generazione ($L_{gen}$) e una perdita di allineamento ausiliaria ($L_{align}$) che include termini per l'allineamento del centroide, la corrispondenza della dispersione, la ricompensa di concentrazione e la separazione dei modi.
• PCGrad: Per gestire i conflitti di gradiente tra i due obiettivi, viene utilizzato il metodo Projecting Conflicting Gradients.

3. Contributi Chiave

1. Framework di Integrazione Cognitiva: Un approccio innovativo per incorporare priors cognitivi umani (eye-tracking) nei LLM, stabilendo un ponte tra il comportamento di attenzione umana e la formazione dell'attenzione a livello di modello.
2. Design Multimodale Gaussiano: Progettazione di un modulo leggero che ridistribuisce gli embedding tramite miscele Gaussiane sparse, decoupling la ridistribuzione guidata dallo sguardo dai pesi di attenzione intrinseci del modello.
3. Generalizzazione Architetturale: Dimostrazione che i pattern di attenzione umana sono trasferibili sia su modelli decoder-only (LLaMA, Qwen) che su modelli encoder-only (CodeBERT), indipendentemente dal flusso di informazioni (causale vs bidirezionale).
4. Risorsa Open Source: Rilascio di script di implementazione e dataset per favorire la riproducibilità.

4. Risultati Sperimentali

Lo studio ha valutato EyeLayer su cinque modelli di diverse scale (da 125M a 3B parametri) e architetture, confrontandoli con baseline di Supervised Fine-Tuning (SFT) addestrate sugli stessi dati ma senza eye-tracking.

• Prestazioni Generali: EyeLayer ha superato costantemente le baseline su tutte le metriche standard (BLEU-4, ROUGE-L, METEOR, BERTScore).
• Miglioramenti Significativi:
  • Su Qwen3-1.7B, si è osservato un miglioramento fino al +5.28 su ROUGE-L e +5.43 su METEOR.
  • Su LLaMA-3.2-1B, un miglioramento di +1.87 su BLEU-4.
  • Il miglioramento massimo assoluto su BLEU-4 è stato del 13.17% (in termini relativi rispetto alla baseline in alcuni contesti, come citato nell'abstract).
• Posizionamento Ottimale: L'analisi ha rivelato che l'inserimento di EyeLayer negli strati intermedi-profondi (es. layer 13 su 16) produce i migliori risultati, dove le rappresentazioni semantiche sono mature ma ancora flessibili.
• Ablazione (Multimodalità): La versione multimodale (con più Gaussiane) ha superato significativamente le varianti a singolo modo, confermando che l'attenzione umana durante la lettura del codice non è un singolo punto focale ma una distribuzione complessa e multi-regionale.
• Trasferibilità: I guadagni sono stati osservati anche su CodeBERT, suggerendo che i segnali di attenzione umana sono invarianti rispetto all'architettura del modello.

5. Significato e Implicazioni

Il lavoro di EyeLayer dimostra che i dati di eye-tracking, anche se raccolti su un piccolo gruppo di sviluppatori e su un numero limitato di campioni (625), possono fornire segnali cognitivi complementari che migliorano le capacità dei LLM.

• Oltre i Dati Puramente Testuali: Introduce un paradigma in cui i modelli di IA per l'ingegneria del software non apprendono solo dalle correlazioni statistiche nei dati di testo, ma sono guidati da processi cognitivi umani reali.
• Interpretabilità e Fiducia: Allineando l'attenzione del modello a quella umana, i sistemi diventano più interpretabili e affidabili per gli sviluppatori, poiché "guardano" il codice per le stesse ragioni per cui lo farebbe un umano.
• Efficienza: Essendo un modulo leggero che non richiede il ri-addestramento completo del modello base, EyeLayer offre un metodo scalabile per migliorare le prestazioni di modelli esistenti senza costi computazionali proibitivi.

In conclusione, EyeLayer rappresenta un passo avanti verso l'IA centrata sull'uomo nell'ingegneria del software, dimostrando che l'integrazione di segnali comportamentali umani può colmare il divario tra la generazione linguistica fluente e la comprensione semantica profonda del codice.