💬 NLP

RECAP: An End-to-End Platform for Capturing, Replaying, and Analyzing AI-Assisted Programming Interactions

Il documento presenta RECAP, una piattaforma open source che cattura e unifica passivamente le sessioni di chat con l'IA e le modifiche al codice a granularità fine per abilitare la riproduzione interattiva e l'analisi avanzata dei pattern di interazione tra sviluppatori e IA, come validato da un'implementazione che ha coinvolto 41 studenti.

Autori originali: Keyu He, Qianou Ma, Valerie Chen, Wayne Chi, Tongshuang Wu

Pubblicato 2026-05-06

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Keyu He, Qianou Ma, Valerie Chen, Wayne Chi, Tongshuang Wu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di capire come uno studente impara a cucinare osservandolo mentre utilizza un assistente da cucina intelligente. Se guardi solo il piatto finale (il codice che ha inviato) o leggi solo i messaggi di testo che ha inviato all'assistente (i log della chat), ti perdi l'intera storia. Non vedi gli ingredienti che ha provato e buttato via, i momenti in cui ha ignorato i consigli dell'assistente, o come la sua strategia di cottura è cambiata nel tempo.

RECAP è un nuovo strumento progettato per colmare questa lacuna. Funziona come una "scatola nera" per i programmatori che utilizzano assistenti di codifica AI (come GitHub Copilot) all'interno del loro editor di codice (VS Code).

Ecco come funziona, scomposto in parti semplici:

1. Il Registratore "Ombra" (La Telecamera)

Immagina il computer del programmatore come una cucina affollata. Di solito, un programmatore salva il proprio lavoro solo quando preme "commit" (come scattare una foto al piatto ogni ora). Questo fa perdere tutto ciò che è accaduto nel frattempo: il tritare, l'assaggiare e il bruciare.

RECAP installa una piccola estensione invisibile chiamata Copilot Interaction Archiver.

Osserva la chat: Registra ogni domanda che lo studente pone all'AI e ogni risposta che l'AI fornisce.
Osserva il codice: Crea una versione "ombra" del codice che salva un'istantanea ogni volta che lo studente salva, o anche mentre sta semplicemente digitando e non ha ancora salvato.
Il Collegamento Magico: Collega i due elementi. Sa che alle 14:00, lo studente ha chiesto all'AI una correzione specifica, e alle 14:02, quella correzione esatta è apparsa nel codice. Collega il "prompt" al "risultato".

2. Il Visualizzatore Viaggi nel Tempo (La Ripresa)

Una volta raccolti i dati, i ricercatori possono utilizzare il Session Replay Viewer. È come la funzione di ripresa di un videogioco, ma per la programmazione.

La Cronologia: Invece di vedere solo un elenco di file, vedi una singola cronologia colorata.
- I punti blu sono le domande poste all'AI.
- I punti gialli sono il codice suggerito dall'AI.
- I punti verdi sono il codice digitato direttamente dall'umano.
La Guida: Un ricercatore può premere play e osservare l'intera sessione dello studente svolgersi. Possono vedere: "Ah, qui lo studente ha chiesto all'AI di correggere un bug, l'AI ha suggerito una soluzione, lo studente l'ha rifiutata, ha provato da solo, ha fallito, e poi è tornato all'AI".

3. Cosa Hanno Scoperto? (Il Lavoro da Investigatore)

I ricercatori hanno testato questo strumento in una classe universitaria con 41 studenti impegnati in un progetto di due settimane. Non hanno contato solo quante volte gli studenti hanno utilizzato l'AI; hanno usato la ripresa per individuare modelli interessanti che sarebbero rimasti invisibili altrimenti:

Il Ciclo "Bloccato": Uno studente ha passato 11 minuti bloccato in un ciclo. Ha incollato un messaggio di errore, l'AI lo ha corretto, è apparso un nuovo errore, ha incollato quello, e il ciclo si è ripetuto. La ripresa ha mostrato chiaramente questa lotta circolare, mentre un file di codice finale avrebbe semplicemente sembrato un progetto completato.
L'Approccio "Frankenstein": Uno studente ha utilizzato un'AI (ChatGPT) per elaborare un grande piano, quindi ha incollato quel piano in un'altra AI (Copilot) per scrivere il codice. La ripresa ha collegato questi due strumenti diversi, mostrando come gli studenti stiano mescolando e abbinando assistenti AI.
Imparare a Guidare: Man mano che il progetto procedeva, gli studenti si sono affidati meno all'AI per scrivere il codice effettivo. Hanno utilizzato l'AI più per spiegare concetti e pianificare, suggerendo che stavano imparando a guidare l'auto da soli invece di lasciare che l'AI sterzasse.

Perché Questo È Importante

Prima di RECAP, i ricercatori erano come investigatori che cercavano di risolvere un crimine guardando solo la scena del crimine (il codice finale) o il diario del sospetto (i log della chat), ma senza mai vedere l'evento reale.

RECAP fornisce l'intero filmato. Permette a educatori e ricercatori di vedere esattamente come umani e AI lavorano insieme nel corso di lunghi periodi, rivelando il processo disordinato di tentativi ed errori che porta al risultato finale.

Nota Importante: Il documento sottolinea che questo strumento è attualmente progettato per VS Code e GitHub Copilot. È uno strumento open-source per ricercatori e insegnanti per studiare come le persone imparano e lavorano, non uno strumento per valutare gli studenti o un dispositivo medico. I dati raccolti sono rigorosamente anonimizzati e protetti per garantire la privacy degli studenti.

Riepilogo Tecnico: RECAP – Una Piattaforma End-to-End per la Cattura, la Riproduzione e l'Analisi delle Interazioni di Programmazione Assistita da AI

Enunciato del Problema

Comprendere le interazioni degli sviluppatori con gli assistenti di codifica AI (ad esempio, GitHub Copilot, Cursor) richiede più di semplici log di chat isolati o cronologie Git. Le attuali fonti di dati non riescono a ricostruire il contesto causale completo: quale prompt specifico ha portato a quale modifica del codice, quali suggerimenti sono stati scartati e come le strategie si sono evolute nel tempo. Questo divario è aggravato dal passaggio verso la codifica "agente", in cui un singolo prompt può interessare più file, invocare strumenti esterni e iterare su molte turni.

Due sfide principali ostacolano la strumentazione esistente:

Collegamento: I log di chat e le cronologie Git esistono in sistemi separati senza identificatori condivisi, interrompendo il legame causale tra un prompt e le modifiche risultanti.
Orologio a Lungo Termine: Le sessioni di sviluppo spesso si estendono per ore o giorni, superando di gran lunga la portata dei tipici studi di laboratorio. Il controllo di versione standard manca della risoluzione temporale per isolare le singole modifiche all'interno di un singolo commit, che può raggruppare ore di lavoro incluse suggerimenti accettati/rifiutati e tentativi di debug.

I lavori precedenti si sono concentrati su compiti brevi e controllati, ambienti basati solo su notebook o interfacce personalizzate che non catturano le complessità dei moderni flussi di lavoro agentic multi-file e a lungo termine.

Metodologia

Gli autori presentano RECAP (Replay and Examine Captured AI Programming), una piattaforma open-source progettata per osservare e analizzare la programmazione assistita da AI in contesti naturalistici. L'architettura del sistema è composta da due componenti principali e un livello di analisi estendibile:

1. Archivio Interazioni Copilot (Estensione VS Code)

Questa estensione cattura passivamente due flussi di dati sincronizzati senza interrompere il flusso di lavoro dello sviluppatore:

Sessioni di Chat: L'estensione monitora l'archiviazione dello spazio di lavoro di VS Code per i file di conversazione di GitHub Copilot (JSON). Estrae prompt utente, risposte AI, chiamate agli strumenti e Gruppi di Modifiche al Testo (TEG)—gli esatti percorsi di file e contenuti che l'AI ha proposto di inserire. I dati vengono caricati su archiviazione cloud con un debounce di 10 secondi.
Cronologia Git Ombra: Un repository Git nascosto (.archiver_shadow/) specchia lo spazio di lavoro dell'utente. Effettua commit ad ogni salvataggio, creazione, eliminazione o rinominazione di file. Crucialmente, cattura anche le modifiche non salvate nell'editor come commit "DIRTY SNAPSHOT" (debounce di 5 secondi, intervallo massimo di 30 secondi). Questo fornisce una storia differenziabile molto più granulare dei commit Git standard.
Privacy: Gli identificatori utente vengono hashati SHA-256 lato client prima della trasmissione. Il backend impone prefissi di percorso basati sull'hash dell'utente autenticato, e l'estensione utilizza URL firmati a vita breve per i caricamenti, non detenendo mai credenziali cloud.

2. Visualizzatore di Riproduzione Sessione (Applicazione Web)

Questo componente unisce i flussi di chat e codice in una timeline cronologica unificata:

Ricostruzione della Timeline: Allinea i commit Git ombra con gli eventi della chat.
Attribuzione delle Modifiche: Il sistema attribuisce le modifiche al codice a risposte AI specifiche abbinando i TEG dai JSON della chat alle successive differenze Git entro una finestra di 5 minuti utilizzando un confronto fuzzy a livello di riga. Le modifiche sono classificate come corrispondenze complete, parziali (a causa di formattazione o modifiche dello sviluppatore) o non corrispondenti. Le modifiche non corrispondenti che superano le soglie di dimensione o i limiti di velocità di battitura (>100 WPM) sono segnalate come probabili "Fonti Esterne".
Interfaccia: Il visualizzatore offre un layout a quattro pannelli: un albero di file con badge di attribuzione AI, una visualizzazione unificata delle differenze in stile GitHub, un pannello di chat cronologico e una barra della timeline codificata a colori (che distingue le modifiche umane, le modifiche Copilot, i prompt di chat e le azioni dell'agente).
Panoramica Multi-Studente: In contesti didattici, una vista aggregata permette agli istruttori di identificare i valori anomali in base alla dipendenza dall'AI o ai modelli di lavoro.

3. Livello di Analisi Estendibile

La piattaforma include moduli di esempio che i ricercatori possono estendere:

Classificazione del Comportamento: Utilizza un LLM per classificare i prompt in 17 codici distribuiti su 6 categorie (Pianifica, Codice, Spiega, Valuta, Configura, Conversa).
Metriche di Dipendenza dall'AI: Calcola la frazione di modifiche attribuite all'AI per sessione di lavoro (definita da intervalli di inattività di 30 minuti).
Embedding dei Prompt: Crea embedding dei prompt utilizzando un transformer di frasi multilingue, li proietta in 2D tramite t-SNE e li raggruppa utilizzando KMeans.

Distribuzione e Risultati

Gli autori hanno distribuito RECAP in un corso universitario di ingegneria del software (Primavera 2026) coinvolgendo 41 studenti che lavoravano a un progetto di due settimane per estendere funzionalità basate su LLM in Zulip.

Dati Catturati:

Partecipanti: 41 studenti.
Volume: 2.034 prompt e 8.239 modifiche al codice (commit) distribuiti su 406 sessioni di lavoro.
Nota: 29 studenti hanno generato dati di chat; tutti e 41 hanno generato dati Git ombra. La discrepanza riflette studenti che utilizzavano strumenti AI al di fuori della Chat Copilot di VS Code (ad esempio, ChatGPT basato su browser), che il Git ombra ha comunque catturato.

Osservazioni Chiave:

Distribuzione Comportamentale: "Spiega" ha dominato l'uso dei prompt (44%, con "spiega errore" da solo al 29%), seguito da Pianifica (14%), Codice (14%), Conversa (13%), Configura (8%) e Valuta (6%). Ciò suggerisce che gli studenti hanno utilizzato l'AI più per la comprensione che per la generazione.
Tendenza di Dipendenza dall'AI: La frazione di modifiche attribuite all'AI è diminuita significativamente nelle successive sessioni di lavoro ( $r = -0.222, p < 0.001$ ), indicando un allontanamento dal codice generato dall'AI man mano che il progetto procedeva.
Modelli Qualitativi: Il visualizzatore di riproduzione ha rivelato modelli di interazione invisibili nei log isolati:
- Loop di incollatura errori: Uno studente che cicla sullo stesso errore per 11 minuti, con l'AI che apporta correzioni superficiali che portavano a nuovi errori.
- Utilizzo cross-tool: Uno studente che utilizzava ChatGPT per la strategia architetturale e incollava il risultato in Copilot per l'implementazione.
- Generazione agente: Un flusso di lavoro in cui uno studente ha fornito all'agente specifiche complete, portando alla creazione autonoma di file, seguita da raffinamento iterativo. Ciò ha evidenziato che i flussi di lavoro "genera-poi-debug" hanno avuto successo per compiti più semplici ma hanno faticato con funzionalità complesse e multi-componente.

Significato e Affermazioni

Il documento posiziona RECAP come uno strumento necessario per colmare il divario in validità ecologica, scala dei compiti e analisi riproducibile nella ricerca sulla programmazione assistita da AI.

Contesto Unificato: RECAP è la prima piattaforma a collegare prompt, suggerimenti e modifiche al codice granulari attraverso sessioni di sviluppo estese, consentendo la ricostruzione di catene causali che le fonti di dati isolate non possono supportare.
Strumentazione Scalabile: Fornisce una soluzione scalabile e open-source per catturare interazioni AI agente in contesti naturalistici, superando i vincoli di compiti brevi basati su laboratorio.
Abilitazione della Ricerca: La piattaforma abilita nuove analisi, come il tracciamento dell'evoluzione della dipendenza dall'AI nel tempo e l'identificazione di specifici loop di interazione (ad esempio, incollatura errori) che informano la progettazione futura degli strumenti e la pedagogia.

Gli autori dichiarano esplicitamente che la distribuzione in classe serve come dimostrazione delle capacità della piattaforma piuttosto che come studio empirico autonomo. Le analisi presentate sono illustrazioni esplorative di ciò che i dati collegati abilitano.

Limitazioni

Gli autori notano diverse limitazioni:

Ambito: Attualmente limitato a VS Code e GitHub Copilot; l'estensione ad altri IDE (ad esempio, Cursor) e agenti è lavoro futuro.
Euristica di Attribuzione: L'euristica "Fonte Esterna" può produrre falsi positivi per grandi blocchi di codice manuali.
Dipendenza dal Classificatore: Il classificatore del comportamento dipende da un LLM commerciale, introducendo potenziali costi e inconsistenze.
Generalizzabilità: Il caso di studio è limitato a un singolo corso; la generalizzazione agli sviluppatori professionali richiede ulteriore validazione.