An Error Taxonomy for AI-Copilot Assisted Spreadsheet and Analytics Work

Al decennia lang is de spreadsheet de stille motor van de moderne wereld geweest, het digitale grootboek waar bedrijven winsten berekenen, voorraden bijhouden en budgetten plannen. Het is een instrument dat zo alomtegenwoordig is dat de meeste mensen het gebruiken zonder erbij na te denken hoe het werkt, toch weten onderzoekers al lang dat het fragiel is. Studies die teruggaan tot de jaren 1990 hebben aangetoond dat de overgrote meerderheid van deze spreadsheets ten minste één ernstige fout bevat, vaak verborgen in een enkele formule die er correct uitziet maar het verkeerde getal berekent. Jarenlang was de aanname simpel: deze fouten ontstaan omdat een mens een uitschieter maakte of een fout maakte in de logica, zoals het typen van een verkeerd getal of het slepen van een formule naar de verkeerde cel. De oplossing in de ogen van experts was altijd menselijke controle—het laten controleren van het werk door een ander om de fout op te vangen voordat deze schade veroorzaakt.

Maar het landschap van hoe deze spreadsheets worden opgebouwd, is de afgelopen jaren drastisch veranderd. Sinds ongeveer 2023 is er een nieuw soort helper binnen deze tools verschenen: een kunstmatige intelligentie-assistent die formules kan schrijven en complexe rapporten kan opstellen door simpelweg te luisteren naar de verzoek van een mens in gewone taal. Deze technologie belooft het werk te versnellen, maar introduceert een nieuwe onzekerheid. We weten dat deze AI-systemen fouten maken, soms waarbij ze de wiskunde fout doen, zelfs wanneer het resultaat plausibel lijkt. De cruciale vraag die nog onbeantwoord is gebleven, is of een menselijke controleur een AI-fout even gemakkelijk kan opmerken als een menselijke fout. Als een AI een getal genereert dat er net niet helemaal goed uitziet maar wel redelijk oogt, zal een vermoeide werknemer het dan opmerken, of zal hij het gepolijste resultaat vertrouwen en een gevaarlijke fout doorlassen?

Een nieuwe studie stelt een manier voor om deze vraag te beantwoorden door de menselijke controleur niet alleen als vangnet te behandelen, maar als het onderwerp van het experiment zelf. De onderzoekers, werkend vanuit de National University of Bangladesh en East West University, hebben een gecontroleerde vergelijking ontworpen om te zien of de bron van een fout invloed heeft op de waarschijnlijkheid dat deze wordt opgemerkt. Ze vragen computers niet simpelweg om wiskundige problemen op te lossen en te kijken hoe vaak ze falen; in plaats daarvan stellen ze een scenario voor waarin echte analisten spreadsheets op twee verschillende manieren bouwen. Eén groep zou hun werk handmatig opbouwen, door elke formule zelf in te typen. De andere groep zou een AI-assistent gebruiken om dezelfde formules te genereren op basis van hun instructies. Beide groepen zouden identieke taken krijgen, zoals het maken van een budgetrapport of het samenvatten van verkoopgegevens, om ervoor te zorgen dat de moeilijkheidsgraad van het werk voor iedereen exact hetzelfde is.

Zodra de spreadsheets zijn gebouwd, willen de onderzoekers een rigoureuze audit uitvoeren. Ze zullen elk bestand onderzoeken om fouten te vinden en deze in specifieke categorieën indelen. Ze zullen zoeken naar "luide" fouten, wat overduidelijke fouten zijn zoals een kapotte link of een totaal dat duidelijk niet klopt, en "stille" fouten, die verraderlijker zijn. Een stille fout is een fout waarbij de computer een getal produceert dat volkomen normaal lijkt, maar eigenlijk fout is omdat het de verkeerde gegevens heeft gebruikt of een regel verkeerd heeft begrepen. De onderzoekers hypothetiseren dat hoewel AI-assistenten goed kunnen zijn in het vermijden van overduidelijke typefouten, ze frequent deze stille fouten produceren. Ze krijgen de structuur van een formule vaak wel goed, maar interpreteren de subtiele relaties tussen de verschillende onderdelen van de gegevens verkeerd, wat resulteert in een plausibel ogend maar onjuist antwoord.

Het meest significante deel van de studie is de tweede laag van testen, die zich richt op de menselijke controleurs. Een apart panel van analisten, die niet weten welke spreadsheets door mensen en welke door AI zijn gebouwd, zal de bestanden beoordelen onder normale, tijdsdruk-omstandigheden. Ze zullen niet te horen krijgen dat er fouten aanwezig zijn; ze zullen simpelweg gevraagd worden het werk te controleren zoals ze dat in een echte baan zouden doen. De onderzoekers willen zien of de controleurs eerder geneigd zijn een fout te missen als deze van een AI komt. De hypothese die aan dit deel van de studie ten grondslag ligt, is dat mensen lijden aan een soort vertrouwensbias wanneer ze naar geautomatiseerde output kijken. Omdat het door AI gegenereerde werk er vaak schoon en professioneel uitziet, kan een controleur er meer vertrouwen in hebben en minder tijd besteden aan het nauwkeurig controleren van de details, waardoor ze fouten over het hoofd zien die ze gemakkelijk hadden opgemerkt als ze wisten dat een mens ze had gemaakt.

De studie heeft nog geen definitieve cijfers, aangezien het de methode voor een gecontroleerd experiment schetst in plaats van de voltooide resultaten te rapporteren. Echter, het ontwerp is gebouwd om een specifieke en verontrustende mogelijkheid te testen: dat de door AI geïntroduceerde fouten moeilijker te ontdekken zijn dan fouten gemaakt door mensen, zelfs wanneer de fouten van dezelfde ernst zijn. Als de studie dit bevestigt, suggereert dit dat de huidige manier waarop bedrijven hun werk controleren, onvoldoende is. Het impliceert dat het simpelweg hebben van een mens die naar het scherm kijkt niet genoeg is als die mens onbewust meer vertrouwen heeft in de machine dan in een persoon. De onderzoekers betogen dat als AI-fouten inderdaad moeilijker te detecteren zijn, organisaties die deze tools adopteren, hun risico op het nemen van slechte beslissingen kunnen vergroten, zelfs als de AI op papier technisch sneller of nauwkeuriger is.

Dit onderzoek beoogt een kloof te overbruggen tussen twee velden die zelden met elkaar hebben gesproken. Aan de ene kant is er decennia aan onderzoek naar spreadsheetfouten, dat een duidelijk beeld heeft geschetst van hoe mensen fouten maken. Aan de andere kant is er een vloedgolf aan nieuwe gegevens die aantonen hoe AI-modellen bij precies dezelfde taken falen. Wat heeft ontbroken is een directe vergelijking die de menselijke reactie op beide meet. Door hetzelfde classificatiesysteem te gebruiken voor fouten gemaakt door mensen en door machines, en door te meten hoe vaak die fouten door een derde partij worden gevonden, probeert de studie een helder, op bewijs gebaseerd antwoord te geven. Het gaat verder dan de vraag "hoe vaak gaat de AI fout?", door de meer praktische vraag te stellen: "hoe vaak komt de AI ermee weg?".

De implicaties van dit werk reiken veel verder dan de spreadsheet zelf. Het raakt aan een breder vraagstuk over hoe mensen interageren met intelligente machines in omgevingen met hoge inzet. Als de studie uitwijst dat we minder waakzaam zijn bij het controleren van AI-werk, suggereert dit dat de tools die we gebruiken om beslissingen te nemen, een blinde vlek in ons eigen oordeelsvermogen kunnen creëren. De onderzoekers zijn van plan niet alleen te meten of fouten worden gevonden, maar ook hoe zelfverzekerd de controleurs zich voelen wanneer zij zeggen dat een bestand correct is. Deze "kalibratie" is essentieel; als controleurs net zo zelfverzekerd zijn in AI-gegenereerd werk als in menselijk werk, maar in werkelijkheid minder accuraat zijn in hun oordeel, wijst dit op een fundamentele verschuiving in hoe we informatie moeten verifiëren.

Uiteindelijk is dit artikel een voorstel voor een noodzakelijk experiment in een wereld die sneller verandert dan onze veiligheidsgewoonten. Het erkent dat de oude regels voor het controleren van werk niet langer van toepassing kunnen zijn wanneer het werk door een machine wordt geschreven. Door een eerlijke, gecontroleerde test op te zetten, hopen de auteurs bedrijven en analisten een duidelijk beeld te geven van de risico's waarmee zij te maken krijgen. Ze zeggen niet dat AI nutteloos is of dat het verboden moet worden; ze suggereren eerder dat we de specifieke aard van de fouten van AI moeten begrijpen voordat we het vertrouwen geven met onze belangrijkste cijfers. Het doel is om ervoor te zorgen dat, naarmate we meer van het schrijfwerk aan machines overlaten, we niet het vermogen verliezen om de waarheid te zien wanneer deze in het volle zicht verborgen ligt.