Riepilogo Tecnico: Identificazione di Strategie Efficaci di Comprensione del Programma attraverso le Transizioni di Sguardo sugli Elementi Sintattici

Problema

La comprensione del programma è un'attività critica nell'ingegneria del software, eppure i processi cognitivi specifici che gli sviluppatori impiegano per comprendere il codice sorgente rimangono parzialmente oscurati. Sebbene gli studi di eye-tracking abbiano tradizionalmente analizzato il comportamento dello sguardo utilizzando coordinate basate sul display (posizioni sullo schermo), tali approcci spesso mancano di contesto semantico. Ricerche recenti hanno introdotto analisi basate sulla sintassi, convertendo i dati dello sguardo in transizioni tra nodi di un Albero della Sintassi Astratta (AST). Tuttavia, la ricerca precedente si è concentrata principalmente sulle proporzioni di fissazione (la quantità di tempo trascorso su specifici elementi sintattici) piuttosto che sulle transizioni tra questi elementi. Di conseguenza, la relazione tra i modelli di transizione dello sguardo su strutture sintattiche specifiche e la correttezza dei compiti di comprensione del programma rimane poco chiara. Questo studio affronta questa lacuna investigando come i modelli di transizione dello sguardo su specifici elementi sintattici — nello specifico, le strutture dei cicli for e i confini dei metodi — differiscano tra partecipanti con successo e senza successo.

Metodologia

Raccolta Dati e Partecipanti

Lo studio ha utilizzato un dataset di eye-tracking esistente di Ishida e Uwano [2019]. I partecipanti erano 14 studenti (età 19–21) del National Institute of Technology (KOSEN), Nara College, che avevano completato un corso base di programmazione Java.

• Compiti: I partecipanti hanno completato 16 compiti di comprensione del programma (8 a bassa difficoltà, 8 ad alta difficoltà). I compiti consistevano nella lettura di specifiche in giapponese e del corrispondente codice sorgente Java per rispondere a domande sul comportamento del programma (ad esempio, valori delle variabili in specifici punti di esecuzione).
• Condizioni: Per ogni compito è stato imposto un limite di tempo di 2 minuti e 30 secondi. I compiti sono stati classificati come "riusciti" se risposti correttamente entro il limite di tempo e "non riusciti" altrimenti.
• Hardware: I dati dello sguardo sono stati raccolti utilizzando un Tobii Eye Tracker 4C (frequenza di campionamento di 90 Hz).

Mappatura Coordinate-Sintassi

Lo studio ha impiegato il metodo di mappatura coordinate-sintassi proposto da Yoshioka e Uwano [2024] per trasformare i dati grezzi dello sguardo in transizioni sintattiche:

1. Conversione: Le coordinate grezze dello schermo (X, Y) sono state convertite in posizioni di riga e colonna del codice sorgente.
2. Mappatura dei Token: Queste posizioni sono state mappate su specifici token nel codice sorgente.
3. Collegamento AST: I token sono stati associati ai nodi di un albero sintattico generato da un parser.
4. Aggregazione: Le fissazioni consecutive sullo stesso token sono state accorpate in una singola fissazione. L'output è una sequenza di nodi sintattici (ad esempio, classDeclaration, methodDeclaration, expression) che rappresenta il percorso visivo dell'utente.

Tecniche di Analisi

Lo studio si è concentrato su due Domande di Ricerca (RQ):

• RQ1: Differenze nelle transizioni di sguardo relative alle strutture dei cicli for.
• RQ2: Differenze nelle transizioni di sguardo tra i metodi.

Per rispondere a queste, gli autori hanno applicato l'algoritmo cSPADE [Zaki 2001] per il mining di pattern sequenziali frequenti.

• Cicli For: L'istruzione for è stata scomposta in tre componenti sintattiche: INIT (inizializzazione), COND (condizione) e UPD (aggiornamento).
• Metodi: Le transizioni sono state analizzate tra elementi sintattici di alto livello (ad esempio, main, method1, method2).
• Filtraggio: Sono stati estratti i pattern in cui la differenza assoluta nella media del supporto tra i gruppi con successo e senza successo era $\ge 0.1$. I pattern con valori di supporto $> 0.9$ o $< 0.1$ in entrambi i gruppi sono stati esclusi per concentrarsi sui comportamenti distintivi. La significatività statistica è stata verificata tramite test chi-quadrato.

Risultati Chiave

Transizioni di Sguardo nei Cicli for (RQ1)

L'analisi di 200 compiti validi (119 riusciti, 81 non riusciti) ha rivelato differenze distinte nel modo in cui i partecipanti navigavano tra i componenti del ciclo for:

• Partecipanti con Successo: Hanno mostrato un supporto significativamente più alto per le transizioni che coinvolgono la componente UPD (aggiornamento), in particolare sequenze come UPD → COND e UPD → COND → INIT.
• Partecipanti senza Successo: Hanno mostrato una tendenza a omettere la componente UPD nei loro modelli di transizione. I pattern dominanti nel gruppo senza successo (ad esempio, COND → INIT → COND) raramente includevano l'UPD.
• Interpretazione: Sebbene entrambi i gruppi abbiano fissato INIT, COND e UPD individualmente, i partecipanti con successo hanno dimostrato una comprensione più integrata, transitando frequentemente verso e da l'espressione di aggiornamento in congiunzione con le altre componenti del ciclo. Ciò suggerisce che chi comprende con successo verifica attivamente il processo di aggiornamento del ciclo.

Transizioni di Sguardo tra i Metodi (RQ2)

Lo studio ha analizzato compiti che coinvolgevano più metodi (2 o 3 metodi):

• Compiti con Due Metodi: In strutture semplici (ad esempio, main e method1), entrambi i gruppi hanno alternato frequentemente lo sguardo tra i due metodi. Non sono state osservate differenze significative nei modelli di transizione, suggerendo che la semplice alternanza non è un forte indicatore del successo della comprensione.
• Compiti con Tre Metodi: Sono emerse differenze significative in strutture complesse:
  • Tracciamento in Avanti (Forward Tracing): I partecipanti con successo hanno seguito frequentemente la relazione di chiamata del metodo (ad esempio, main → method2 quando method2 è chiamato da main).
  • Tracciamento all'Indietro (Backward Tracing): I partecipanti con successo hanno mostrato modelli unici che coinvolgevano il tracciamento all'indietro del flusso di esecuzione (ad esempio, method2 → method1 → main). Questo comportamento era assente nei partecipanti senza successo e suggerisce una verifica attiva del passaggio di argomenti e del flusso di dati rispetto al percorso di esecuzione.
  • Pattern senza Successo: I partecipanti senza successo hanno mostrato frequenze più elevate di semplice alternanza ripetitiva tra due metodi (ad esempio, main → method1 → main) senza impegnarsi nel tracciamento strutturale più profondo osservato nel gruppo con successo.

Contributi Chiave

1. Analisi delle Transizioni Basata sulla Sintassi: Lo studio estende la precedente ricerca sull'eye-tracking basata sulla sintassi, andando oltre le proporzioni di fissazione per analizzare le transizioni di sguardo tra i nodi sintattici.
2. Identificazione di Strategie Efficaci: La ricerca identifica modelli di sguardo specifici associati alla riuscita della comprensione del programma:
   • Cicli for: Integrazione della componente di aggiornamento (UPD) nel flusso di lettura.
   • Metodi: Seguire le relazioni di chiamata e tracciare il flusso di esecuzione all'indietro per verificare il movimento dei dati.
3. Differenziazione dei Livelli di Comprensione: Lo studio dimostra che i partecipanti con successo e senza successo non differiscono solo per dove guardano, ma per la struttura delle loro strategie di lettura, con i partecipanti con successo che impiegano modelli di verifica più sistematici e ricorsivi.

Significato e Rivendicazioni

Il documento afferma che l'analisi delle transizioni di sguardo sugli elementi sintattici fornisce una comprensione più sfumata della comprensione del programma rispetto ai soli metodi basati sulle coordinate o sulle proporzioni di fissazione. I risultati suggeriscono che le strategie di comprensione efficaci comportano:

• Lettura Strutturata: I partecipanti con successo non leggono in modo lineare o isolato; attraversano sistematicamente i confini sintattici.
• Verifica dello Stato: La presenza di UPD nelle transizioni dei cicli e il tracciamento all'indietro nelle chiamate ai metodi indicano che chi comprende con successo verifica attivamente i cambiamenti di stato e il flusso di dati del programma.

Gli autori concludono che queste transizioni di sguardo strutturate sono indicative di una comprensione più profonda del comportamento del programma. Propongono che il lavoro futuro debba estendere questa analisi includendo il corpo del ciclo per le istruzioni for, al fine di investigare ulteriormente come i lettori spostino l'attenzione tra l'intestazione del ciclo e il codice oggetto dell'iterazione. Lo studio non pretende di aver risolto la comprensione del programma, ma offre prove empiriche di specifici comportamenti visivi correlati al successo del compito.