An Error Taxonomy for AI-Copilot Assisted Spreadsheet and Analytics Work

Per decenni, il foglio di calcolo è stato il motore silenzioso del mondo moderno, il registro digitale dove le aziende calcolano i profitti, monitorano le scorte e pianificano i budget. È uno strumento così ubiquitario che la maggior parte delle persone lo utilizza senza pensare a come funzioni, eppure i ricercatori sanno da tempo che è fragile. Studi risalenti agli anni '90 hanno dimostrato che la stragrande maggioranza di questi fogli di calcolo contiene almeno un errore grave, spesso nascosto in una singola formula che sembra corretta ma calcola il numero sbagliato. Per anni, l'assunto è stato semplice: questi errori avvengono perché un essere umano ha commesso un errore di distrazione o un errore di logica, come digitare un numero errato o trascinare una formula nella cella sbagliata. La soluzione, agli occhi degli esperti, era sempre la revisione umana: far controllare il lavoro da un'altra persona per intercettare l'errore prima che causasse danni.

Ma il panorama di come questi fogli di calcolo vengono costruiti è cambiato drasticamente negli ultimi anni. Da circa il 2023, un nuovo tipo di assistente è apparso all'interno di questi strumenti: un assistente di intelligenza artificiale in grado di scrivere formule e costruire report complessi semplicemente ascoltando la richiesta di un essere umano in linguaggio naturale. Questa tecnologia promette di velocizzare il lavoro, ma introduce una nuova incertezza. Sappiamo che questi sistemi di IA commettono errori, a volte sbagliando i calcoli anche quando il risultato appare plausibile. La domanda critica rimasta senza risposta è se un revisore umano possa accorgersi di un errore dell'IA con la stessa facilità con cui accorgerebbe di un errore umano. Se un'IA genera un numero leggermente errato ma che appare ragionevole, un dipendente stanco se ne accorgerà, o si fiderà dell'output rifinito e lascerà passare un errore pericoloso?

Un nuovo studio propone un modo per rispondere a questa domanda trattando il revisore umano non solo come una rete di sicurezza, ma come il soggetto stesso dell'esperimento. I ricercatori, provenienti dalla National University of Bangladesh e dalla East West University, hanno progettato un confronto controllato per vedere se la fonte di un errore cambi la probabilità che venga intercettato. Non chiedono semplicemente ai computer di risolvere problemi matematici per vedere quanto spesso falliscono; propongono invece uno scenario in cui veri analisti costruiscono fogli di calcolo in due modi diversi. Un gruppo costruirebbe il proprio lavoro manualmente, digitando ogni formula personalmente. L'altro gruppo userebbe un assistente IA per generare le stesse formule sulla base delle proprie istruzioni. Entrambi i gruppi riceverebbero compiti identici, come la creazione di un report di budget o la sintesi dei dati di vendita, garantendo che la difficoltà del lavoro sia esattamente la stessa per tutti.

Una volta costruiti i fogli di calcolo, i ricercatori intendono eseguire un audit rigoroso. Esamineranno ogni file per trovare errori, classificandoli in tipi specifici. Cercheranno errori "rumorosi", ovvero errori evidenti come un collegamento interrotto o un totale che chiaramente non torna, ed errori "silenziosi", che sono più subdoli. Un errore silenzioso è quello in cui il computer produce un numero che sembra perfettamente normale ma è in realtà errato perché ha utilizzato i dati sbagliati o ha frainteso una regola. I ricercatori ipotizzano che, mentre gli assistenti IA possano essere bravi a evitare errori di battitura evidenti, producano frequentemente questi errori silenziosi. Spesso colgono correttamente la struttura di una formula, ma interpretano male le sottili relazioni tra le diverse parti dei dati, producendo un risultato plausibile ma errato.

La parte più significativa dello studio è il secondo livello di test, che si concentra sui revisori umani. Un panel separato di analisti, che non sa quali fogli di calcolo siano stati costruiti da umani e quali dall'IA, esaminerà i file in condizioni normali, sotto pressione temporale. Non verrà loro detto che sono presenti errori; dovranno semplicemente controllare il lavoro come farebbero in un vero lavoro. I ricercatori vogliono vedere se i revisori sono più propensi a mancare un errore se questo proviene da un'IA. L'ipotesi che guida questa parte dello studio è che gli esseri umani soffrano di una sorta di pregiudizio di fiducia quando esaminano un output automatizzato. Poiché il lavoro generato dall'IA appare spesso pulito e professionale, un revisore potrebbe sentirsi più sicuro di esso e dedicare meno tempo al controllo dei dettagli, portandolo a trascurare errori che avrebbe facilmente individuato se sapesse che un essere umano li avesse commessi.

Lo studio non ha ancora i numeri definitivi, poiché delinea il metodo per un esperimento controllato piuttosto che riportare i risultati completati. Tuttavia, il design è costruito per testare una possibilità specifica e preoccupante: che gli errori introdotti dall'IA siano più difficili da individuare rispetto agli errori commessi dagli esseri umani, anche quando gli errori sono della stessa gravità. Se lo studio dovesse confermarlo, suggerirebbe che il modo attuale in cui le aziende controllano il proprio lavoro è insufficiente. Implica che avere semplicemente un essere umano che guarda lo schermo non è sufficiente se quell'essere umano si fida inconsciamente di più della macchina che di una persona. I ricercatori sostengono che, se gli errori dell'IA sono effettivamente più difficili da rilevare, le organizzazioni che adottano questi strumenti potrebbero aumentare il rischio di prendere decisioni errate, anche se l'IA è tecnicamente più veloce o più accurata sulla carta.

Questa ricerca mira a colmare un divario tra due campi che hanno raramente dialogato. Da un lato, ci sono decenni di ricerca sugli errori nei fogli di calcolo, che hanno stabilito una mappa chiara di come gli esseri umani commettono errori. Dall'altro lato, c'è un flusso di nuovi dati che mostra come i modelli di IA falliscano nelle stesse attività. Ciò che mancava è un confronto diretto che misuri la reazione umana a entrambi. Utilizzando lo stesso sistema di classificazione per gli errori commessi da umani e da macchine, e misurando quanto spesso tali errori vengono trovati da una terza parte, lo studio mira a fornire una risposta chiara e basata sull'evidenza. Va oltre il chiedere "quanto spesso l'IA sbaglia?" per porre la domanda più pratica: "quanto spesso l'IA riesce a farla franca?".

Le implicazioni di questo lavoro vanno ben oltre il foglio di calcolo stesso. Toccano una questione più ampia su come gli esseri umani interagiscono con le macchine intelligenti in ambienti ad alto rischio. Se lo studio dovesse trovare che siamo meno vigili quando esaminiamo il lavoro dell'IA, suggerisce che gli strumenti che usiamo per prendere decisioni potrebbero creare un punto cieco nel nostro giudizio. I ricercatori intendono misurare non solo se gli errori vengono trovati, ma anche quanto i revisori si sentano sicuri quando dichiarano che un file è corretto. Questa "calibrazione" è fondamentale; se i revisori sono altrettanto sicuri del lavoro generato dall'IA quanto lo sono di quello umano, ma sono in realtà meno accurati nel loro giudizio, ciò indica un cambiamento fondamentale nel modo in cui dobbiamo verificare le informazioni.

In definitiva, questo documento è la proposta per un esperimento necessario in un mondo che sta cambiando più velocemente delle nostre abitudini di sicurezza. Riconosce che le vecchie regole per controllare il lavoro potrebbero non applicarsi più quando il lavoro viene scritto da una macchina. Stabilendo un test equo e controllato, gli autori sperano di dare alle imprese e agli analisti un quadro chiaro dei rischi che corrono. Non stanno dicendo che l'IA sia inutile o che debba essere vietata; piuttosto, suggeriscono che abbiamo bisogno di comprendere la natura specifica dei suoi fallimenti prima di affidarle i nostri numeri più importanti. L'obiettivo è garantire che, mentre deleghiamo più compiti di scrittura alle macchine, non perdiamo la capacità di vedere la verità quando essa è nascosta in piena vista.