Sintesi Tecnica: TraceView – Visualizzazione Interattiva delle Traiettorie di Riparazione di Programmi Agenti

Definizione del Problema

Gli agenti di Automated Program Repair (APR) basati su Large Language Model (LLM) generano patch candidate attraverso traiettorie complesse che coinvolgono ragionamento, uso di strumenti e feedback dall'ambiente. Sebbene l'esito finale di un tentativo di riparazione (successo o fallimento) sia osservabile, il processo intermedio rimane opaco. Una patch fallimentare non rivela se l'agente ha localizzato il bug, ha ignorato il feedback, ha ripetuto azioni o si è discostato dal compito. Questa mancanza di visibilità rende difficile diagnosticare, riprodurre e prevenire i fallimenti della riparazione agentica.

Gli approcci esistenti all'analisi delle traiettorie si affidano spesso all'ispezione manuale di log grezzi o fogli di calcolo. Il lavoro precedente, come l'etichettatura manuale di 14.000 coppie Thought-Action-Result (TAR) da parte di Bouzenia e Pradel, evidenzia l'elevato costo e lo sforzo richiesti per annotare queste traiettorie. Senza strumenti dedicati, i ricercatori faticano a creare, filtrare e ispezionare le etichette delle relazioni semantiche, rendendo difficile collegare le annotazioni all'evidenza originale nel trace.

Metodologia: TraceView

Per affrontare queste sfide, gli autori presentano TraceView, uno strumento interattivo progettato per l'etichettatura e la visualizzazione delle traiettorie degli agenti APR. Il sistema è implementato come un'applicazione Streamlit e opera attraverso un flusso di lavoro strutturato:

1. Ingestione e Normalizzazione dei Dati

TraceView accetta input grezzi (ad es., SWE-agent JSON, JSONL, log in testo semplice) e input pre-etichettati (dataset raggruppati come AutoCodeRover). Normalizza questi input in passi ordinati di Thought, Action e Result (TAR), creando una rappresentazione sottostante unificata indipendentemente dal formato della sorgente.

2. Flusso di Lavoro di Etichettatura

Lo strumento supporta un processo di etichettatura a due stadi:

• Categorizzazione delle Azioni: Gli utenti assegnano categorie a ogni passaggio (ad es., Explore, Locate, Search, Reproduce, Generate fix, Run tests, Refactor, Explain).
• Etichettatura delle Relazioni Semantiche: Gli utenti etichettano le relazioni tra i componenti sorgente e target di TAR. Le etichette di relazione supportate includono Alignment, Follow-up, Refinement, Redundancy, Repetition, Divergence, Contradiction, Informative, Triggering, No influence, Misalignment e Misinterpretation.
• Interfaccia: Lo spazio di lavoro per l'etichettatura presenta il testo dell'evidenza sia dai componenti sorgente che da quelli target. Gli utenti possono ispezionare l'evidenza più lunga tramite popover per ridurre l'ingombro pur mantenendo l'accesso al testo originale.

3. Visualizzazione e Analisi

TraceView renderizza le traiettorie etichettate come grafi diretti con due viste coordinate:

• Vista Iterazione: Un riepilogo di alto livello dove ogni nodo rappresenta un passaggio, etichettato per numero di iterazione e categoria di azione.
• Vista TAR Dettagliata: Espande ogni passaggio in nodi distinti di Thought (T), Action (A) e Result (R).
  • Stile dei Nodi: I nodi Thought e Result utilizzano colori fissi; i nodi Action sono colorati in base alla categoria assegnata.
  • Famiglie di Archi: Gli archi semantici collegano i nodi in base a cinque famiglie di relazioni (ad es., Thought→Action all'interno di un passaggio, Result→Thought tra i passaggi). Gli archi strutturali preservano il flusso cronologico.
  • Filtraggio e Metriche: Gli utenti possono filtrare il grafo per tipi di relazione (ad es., isolando i loop di Repetition o i cambiamenti di Divergence). Lo strumento fornisce conteggi aggregati delle relazioni e riepiloghi dell'esito della patch (ad es., RESOLVED, APPLIED, GENERATED).
  • Pannello Ispezione: La selezione di un nodo rivela il testo sottostante e le relazioni etichettate connesse, aderendo al principio dei "dettagli su richiesta".

Contributi Chiave

Il documento apporta tre contributi principali:

1. Strumento TraceView: Un sistema interattivo per l'etichettatura e la visualizzazione delle traiettorie degli agenti APR come grafi strutturati di Thought, Action e Result.
2. Flusso di Lavoro di Analisi: Un flusso di lavoro completo che presenta l'etichettatura degli archi semantici, i filtri di relazione, i riepiloghi dei risultati della patch, le metriche di relazione e l'ispezione dell'evidenza a livello di nodo.
3. Studio Preliminare sull'Utente: Una valutazione che coinvolge cinque ricercatori che valuta l'utilità dello strumento nello scansionare le traiettorie e nel comprendere i flussi di lavoro di riparazione, identificando al contempo aree specifiche di miglioramento dell'interfaccia.

Risultati della Valutazione

Gli autori hanno condotto uno studio sull'utente basato su sondaggi con cinque ricercatori informatici. I partecipanti hanno eseguito compiti che andavano dall'etichettatura delle azioni all'analisi delle viste grafiche.

• Risultati Quantitativi: I partecipanti hanno valutato positivamente TraceView in tutte e tre le dimensioni valutate:
  • Flusso di Lavoro di Etichettatura: Valutazioni elevate per la chiarezza delle sezioni (Mediana=4) e per i formati di input (Mediana=5).
  • Evidenza e Interpretazione: I popover a livello di riga hanno ricevuto un punteggio mediano di 5 per la fornitura di sufficiente evidenza. L'interpretabilità del grafo ha ricevuto una mediana di amente 4.
  • Flusso di Lavoro di Analisi: I partecipanti hanno valutato lo strumento come più efficiente rispetto ai log grezzi (Mediana=5), hanno trovato i grafi più facili da scansionare (Mediana=5) e hanno trovato utile la gerarchia dall'overview al dettaglio (Mediana=5).
• Feedback Qualitativo:
  • Punti di Forza: Gli utenti hanno trovato la visualizzazione grafica efficace per comprendere il processo di riparazione e il flusso di lavoro dall'overview al dettaglio utile per l'orientamento.
  • Limitazioni: Alcuni partecipanti hanno notato che le anteprime delle azioni erano talvolta troppo brevi per fornire contesto o troppo lunghe per essere scansionate efficientemente. Gli utenti hanno richiesto che le etichette dei nodi includessero brevi riepiloghi piuttosto che solo identificatori (ad es., "T0"). Inoltre, gli archi diagonali e alcune etichette di relazione (ad es., Misalignment) sono stati talvolta difficili da interpretare senza ulteriore spiegazione.

Significato e Rivendicazioni

Il documento posiziona TraceView come un passo necessario per rendere diagnosticabili i fallimenti della riparazione agentica. Passando oltre gli esiti finali della patch per visualizzare il processo di riparazione, lo strumento consente ai ricercatori di identificare dove gli agenti si allineano con feedback utili, ripetono azioni, divergono dai compiti o interpretano erroneamente il contesto.

Gli autori rivendicano modestamente che il loro studio preliminare dimostra la capacità dello strumento di migliorare la scansione delle traiettorie rispetto ai log grezzi e supporta l'utilità di un flusso di lavoro dall'overview al dettaglio. Non pretendono di aver risolto interamente il problema della riparazione agentica, ma piuttosto di aver fornito uno strumento che facilita l' "analisi fine" necessaria per comprendere e potenzialmente correggere il comportamento agentico. Il lavoro futuro prevede l'integrazione del feedback degli utenti (riepiloghi più brevi, anteprime al passaggio del mouse) e la conduzione di studi più ampi con traiettorie più diverse.