Auditing and Controlling AI Agent Actions in Spreadsheets

Titolo: Audit e Controllo delle Azioni degli Agenti AI nei Fogli di Calcolo

1. Il Problema

L'evoluzione delle capacità degli agenti AI ha superato la capacità degli utenti di supervisionare significativamente la loro esecuzione. Sebbene gli agenti possano svolgere autonomamente compiti complessi e multi-step (come l'analisi di dataset o la scrittura di codice), il processo decisionale rimane spesso "invisibile" durante l'esecuzione.
Nel contesto specifico dei fogli di calcolo (spreadsheet), questo problema è particolarmente acuto per due motivi:

1. Inseparabilità di processo e artefatto: A differenza del codice, dove l'applicazione in esecuzione è distinta dal codice sorgente, nei fogli di calcolo le decisioni dell'agente diventano direttamente i valori e le dipendenze delle celle. L'utente è responsabile dell'artefatto finale senza aver partecipato alla sua costruzione.
2. Mancanza di trasparenza: Gli agenti attuali (es. SheetCopilot, SheetMind) restituiscono un risultato finale senza rivelare le ipotesi, le formule o le logiche intermedie. Questo impedisce agli utenti di identificare errori prima che si propaghino o di correggere il tiro quando l'agente devia dall'intento originale.

La ricerca attuale si concentra spesso sulla revisione post-hoc (dopo il completamento), ma gli autori sostengono che questo approccio è insufficiente: gli errori diventano invisibili una volta aggregati nel risultato finale e l'utente deve ricostruire la logica dell'agente a posteriori, un carico cognitivo elevato.

2. Metodologia

Gli autori hanno adottato un approccio iterativo basato su studi empirici e sviluppo di un prototipo:

• Studio Formativo (N=8):

  • Obiettivo: Identificare le sfide nell'interazione con agenti per fogli di calcolo.
  • Strumento: Un "technology probe" (un componente aggiuntivo per Excel) che decomponeva l'esecuzione in passi incrementali e permetteva editing localizzato.
  • Risultati: Sono emerse cinque sfide principali raggruppate in tre "golf" (divari) di interazione:
    • Gulf of Evaluation: Difficoltà a comprendere il ragionamento dell'agente e la logica sottostante (formule, propagazione dati).
    • Gulf of Execution: Scarsa fiducia nell'editing e nella possibilità di esplorare alternative senza rischiare di rompere il flusso.
    • Gulf of Envisioning: Difficoltà a specificare compiti e vincoli iniziali e a sapere cosa mettere in discussione durante l'esecuzione.

• Sviluppo di Pista:

  • Basandosi sulle scoperte, è stato progettato Pista (dal latino/spagnolo "percorso" o "traccia"), un agente AI per Excel che esegue compiti passo dopo passo, rendendo ogni fase ispezionabile e modificabile.

• Studio Sperimentale Sommativo (N=16):

  • Design: Studio comparativo within-subjects (soggetti interni).
  • Condizioni: I partecipanti hanno completato compiti di analisi finanziaria usando Pista e un Agente Baseline (un agente standard che esegue tutto in un colpo solo e fornisce solo un riepilogo).
  • Metriche: Comprensione (spiegazioni verbali), steerability (capacità di guidare/correggere), successo del compito, e percezione soggettiva (questionari Likert).

3. Contributi Chiave: Pista

Pista è implementato come un componente aggiuntivo per Microsoft Excel (web e desktop) e si basa su tre obiettivi di design (DG) e sette funzionalità principali:

1. Decomposizione dell'Esecuzione (DG1):

   • L'agente non esegue il compito in un'unica passata, ma si ferma a ogni passo significativo (modifica di dati, logica computazionale o decisioni che influenzano i passi successivi).
   • Spiegazioni In-Situ: Ogni passo è accompagnato da una spiegazione in linguaggio naturale del "cosa" e del "perché".
   • Esplicitazione della Logica Computazionale: Invece di evidenziare solo le celle modificate, Pista mostra la formula applicata, le dipendenze e l'intervallo di dati, permettendo un audit rapido della logica piuttosto che un controllo manuale di centinaia di celle.

2. Intervento Granulare ed Esplorazione (DG2):

   • Editing Localizzato: Gli utenti possono correggere un singolo passo con istruzioni in linguaggio naturale senza dover riscrivere l'intero prompt o ricominciare da capo.
   • Branching Exploration (Diramazione): Se una modifica altera la logica da cui dipendono i passi successivi, Pista crea automaticamente un nuovo "ramo" di esecuzione. Gli utenti possono navigare tra i diversi rami (versioni) per confrontare i risultati senza perdere il lavoro originale, facilitando l'esplorazione di soluzioni alternative.

3. Scaffolding per la Specifica del Compito (DG3):

   • Formulazione del Compito Scaffolata: Prima dell'esecuzione, Pista presenta un riepilogo delle azioni pianificate e una lista modificabile di decisioni (es. come gestire valori mancanti) che l'utente può rivedere.
   • Domande di Scaffolding: Durante l'esecuzione, il sistema suggerisce proattivamente domande di follow-up o modifiche candidate per aiutare l'utente a identificare potenziali problemi o alternative non ovvie.

4. Risultati

Il confronto tra Pista e l'agente Baseline ha prodotto risultati significativi:

• Comprensione e Trasparenza (RQ1):

  • Gli utenti di Pista hanno fornito spiegazioni verbali molto più ricche e dettagliate sul processo dell'agente rispetto al gruppo Baseline.
  • Hanno identificato più errori (media 2.12 vs 1.75) e hanno percepito una maggiore trasparenza, descrivendo Pista come un processo educativo piuttosto che una "scatola nera".
  • La fiducia nell'output è aumentata non perché l'agente fosse più accurato, ma perché gli utenti erano "presenti" durante la costruzione del risultato.

• Steerability e Correzione (RQ2):

  • Gli utenti si sono sentiti molto più in controllo e hanno sviluppato un senso di co-autoria sul risultato finale.
  • Efficienza: Con Pista, gli utenti hanno utilizzato significativamente meno prompt (3.18 vs 4.00) e prompt molto più brevi (12.90 parole vs 27.63 parole). Invece di riscrivere l'intero compito per correggere un errore, hanno usato l'editing localizzato per intervenire puntualmente.
  • L'uso della funzione di Branching Exploration è stato il più alto (94% dei partecipanti), dimostrando che gli utenti apprezzano la possibilità di esplorare alternative senza rischiare il lavoro corrente.

• Percezione del Ruolo:

  • Gli utenti hanno percepito un allineamento maggiore tra il loro modello mentale e le azioni dell'agente. Pista ha trasformato il ruolo dell'utente da "recensore passivo" a "partecipante attivo".

5. Significato e Implicazioni

Il paper propone un cambio di paradigma fondamentale nell'interazione Uomo-AI nei lavori di conoscenza:

1. Fiducia Calibrata attraverso la Partecipazione: La fiducia non dovrebbe essere un giudizio post-hoc basato sulla qualità del risultato finale, ma un atteggiamento che si accumula durante l'interazione. La presenza dell'utente nel processo di costruzione riduce l'automazione bias e favorisce una fiducia più sana e verificata.
2. Il "Semantic Diff" come Primitiva di Design: Gli autori propongono di passare dall'evidenziare gli elementi modificati (es. celle) all'esporre l'unità semantica del cambiamento (es. la formula o la regola logica). Questo rende la verifica fattibile e comprensibile, indipendentemente dalla complessità dei dati.
3. Scaffolding Persistente: Il supporto alla "visione" (envisioning) non deve essere limitato all'inizio del compito, ma deve essere un livello persistente durante tutta l'esecuzione, aiutando l'utente a formulare correzioni contestuali quando necessario.

Conclusione: Pista dimostra che per un controllo umano significativo degli agenti AI, non basta migliorare la revisione finale; è necessario coinvolgere attivamente l'utente nel processo decisionale passo dopo passo, trasformando l'interazione da una transazione "input-output" a un viaggio condiviso e trasparente.