An Error Taxonomy for AI-Copilot Assisted Spreadsheet and Analytics Work

Seit Jahrzehnten ist die Tabellenkalkulation der stille Motor der modernen Welt, das digitale Hauptbuch, in dem Unternehmen Gewinne berechnen, Bestände verfolgen und Budgets planen. Es ist ein Werkzeug, das so allgegenwärtig ist, dass die meisten Menschen es nutzen, ohne darüber nachzudenken, wie es funktioniert, und doch wissen Forscher schon lange, dass es fragil ist. Studien, die bis in die 1990er Jahre zurückreichen, haben gezeigt, dass die überwältigende Mehrheit dieser Tabellenkalkulationen mindestens einen schwerwiegenden Fehler enthält, der oft in einer einzelnen Formel verborgen liegt, die korrekt aussieht, aber eine falsche Zahl berechnet. Jahrelang war die Annahme einfach: Diese Fehler passieren, weil ein Mensch einen Ausrutscher gemacht oder einen Logikfehler begangen hat, wie etwa eine falsche Zahl eingegeben oder eine Formel in die falsche Zelle gezogen hat. Die Lösung lag in den Augen der Experten immer in der menschlichen Überprüfung – also darin, eine andere Person die Arbeit prüfen zu lassen, um den Fehler abzufangen, bevor er Schaden anrichtet.

Doch die Art und Weise, wie diese Tabellenkalkulationen erstellt werden, hat sich in den letzten Jahren drastisch verändert. Seit etwa 2023 ist ein neuer Helfer in diese Werkzeuge eingezogen: ein KI-Assistent, der Formeln schreiben und komplexe Berichte erstellen kann, indem er einfach auf die Anweisungen eines Menschen in natürlicher Sprache hört. Diese Technologie verspricht, die Arbeit zu beschleunigen, führt aber eine neue Unsicherheit ein. Wir wissen, dass diese KI-Systeme Fehler machen, manchmal berechnen sie die Mathematik falsch, selbst wenn das Ergebnis plausibel erscheint. Die entscheidende Frage, die bisher unbeantwortet blieb, ist, ob ein menschlicher Prüfer einen KI-Fehler genauso leicht erkennen kann wie einen menschlichen Fehler. Wenn eine KI eine Zahl generiert, die leicht falsch, aber vernünftig erscheint – wird ein müder Mitarbeiter dies bemerken oder wird er dem polierten Ergebnis vertrauen und einen gefährlichen Fehler durchgehen lassen?

Eine neue Studie schlägt einen Weg vor, um diese Frage zu beantworten, indem sie den menschlichen Prüfer nicht nur als Sicherheitsnetz, sondern als Gegenstand des Experiments selbst betrachtet. Die Forscher, die von der National University of Bangladesh und der East West University kommen, haben einen kontrollierten Vergleich entworfen, um zu sehen, ob die Quelle eines Fehlers die Wahrscheinlichkeit verändert, mit der er entdeckt wird. Sie lassen nicht einfach Computer mathematische Probleme lösen und schauen, wie oft sie scheitern; stattdessen schlagen sie ein Szenario vor, in dem echte Analysten Tabellenkellen auf zwei verschiedene Arten erstellen. Eine Gruppe würde ihre Arbeit manuell erstellen und jede Formel selbst eintippen. Die andere Gruppe würde einen KI-Assistenten verwenden, um dieselben Formeln basierend auf ihren Anweisungen zu generieren. Beide Gruppen würden identische Aufgaben erhalten, wie etwa das Erstellen eines Budgetberichts oder die Zusammenfassung von Verkaufsdaten, um sicherzustellen, dass der Schwierigkeitsgrad der Arbeit für alle exakt gleich ist.

Sob replaced die Tabellenkalkulationen erstellt wurden, planen die Forscher eine strenge Prüfung. Sie werden jede Datei untersuchen, um Fehler zu finden, und diese in spezifische Typen klassifizieren. Sie werden nach „lauten“ Fehlern suchen, also offensichtlichen Fehlern wie einer unterbrochenen Verknüpfung oder einer Summe, die eindeutig nicht aufgeht, und nach „stillen“ Fehlern, die kniffliger sind. Ein stiller Fehler ist einer, bei dem der Computer eine Zahl produziert, die völlig normal aussieht, aber eigentlich falsch ist, weil er die falschen Daten verwendet oder eine Regel missverstanden hat. Die Forscher hypothetisieren, dass KI-Assistenten zwar gut darin sein mögen, offensichtliche Tippfehler zu vermeiden, aber häufig diese stillen Fehler produzieren. Sie verstehen oft die Struktur einer Formel richtig, interpretieren aber die subtilen Beziehungen zwischen den verschiedenen Teilen der Daten falsch, was zu einem plausibel aussehenden, aber falschen Ergebnis führt.

Der bedeutendste Teil der Studie ist die zweite Ebene der Tests, die sich auf die menschlichen Prüfer konzentriert. Ein separates Gremium von Analysten, das nicht weiß, welche Tabellenkalkulationen von Menschen und welche von einer KI erstellt wurden, wird die Dateien unter normalen, zeitlich bedingten Bedingungen prüfen. Sie werden nicht darüber informiert, dass Fehler vorhanden sind; sie werden einfach gebeten, die Arbeit so zu prüfen, wie sie es in einem echten Job tun würden. Die Forscher wollen sehen, ob Prüfer wahrscheinlicher einen Fehler übersehen, wenn dieser von einer KI stammt. Die Hypothese, die diesem Teil der Studie zugrunde liegt, ist, dass Menschen unter einer Art Vertrauensbias leiden, wenn sie automatisierte Ergebnisse betrachten. Da die KI-generierte Arbeit oft sauber und professionell aussieht, könnte ein Prüfer mehr Vertrauen in sie haben und weniger Zeit aufwenden, um die Details zu prüfen, was dazu führt, dass er Fehler übersieht, die er leicht erkannt hätte, wenn er wüsste, dass ein Mensch sie gemacht hat.

Die Studie liefert noch keine endgültigen Zahlen, da sie die Methode für ein kontrolliertes Experiment skizziert, anstatt abgeschlossene Ergebnisse zu berichten. Das Design ist jedoch darauf ausgelegt, eine spezifische und besorgniserregende Möglichkeit zu testen: dass die von KI eingeführten Fehler schwerer zu entdecken sind als Fehler, die von Menschen gemacht werden, selbst wenn die Fehler von gleicher Schwere sind. Sollte die Studie dies bestätigen, deutet dies darauf hin, dass die derzeitige Art und Weise, wie Unternehmen ihre Arbeit prüfen, unzureichend ist. Es impliziert, dass es nicht ausreicht, einfach einen Menschen auf den Bildschirm schauen zu lassen, wenn dieser Mensch der Maschine unbewusst mehr vertraut als einem Menschen. Die Forscher argumentieren, dass Organisationen, die diese Werkzeuge einführen, das Risiko erhöhen könnten, Fehlentscheidungen zu treffen, selbst wenn die KI technisch gesehen schneller oder genauer ist.

Diese Forschung zielt darauf ab, eine Lücke zwischen zwei Feldern zu schließen, die selten miteinander kommuniziert haben. Auf der einen Seite gibt es jahrzehntelange Forschung zu Tabellenfehlern, die eine klare Karte darüber erstellt hat, wie Menschen Fehler machen. Auf der anderen Seite gibt es eine Flut neuer Daten, die zeigen, wie KI-Modelle bei denselben Aufgaben scheitern. Was gefehlt hat, ist ein direkter Vergleich, der die menschliche Reaktion auf beide misst. Durch die Verwendung desselben Klassifizierungssystems für Fehler, die von Menschen und Maschinen gemacht werden, und durch die Messung, wie oft diese Fehler von einem Dritten entdeckt werden, sucht die Studie nach einer klaren, evidenzbasierten Antwort. Sie geht über die Frage „Wie oft macht die KI Fehler?“ hinaus und stellt die praktischere Frage: „Wie oft kommt die KI damit durch?“

Die Auswirkungen dieser Arbeit reichen weit über die Tabellenkalkulation selbst hinaus. Sie berührt ein breiteres Thema darüber, wie Menschen mit intelligenten Maschinen in Hochrisikoumgebungen interagieren. Wenn die Studie zeigt, dass wir bei der Überprüfung von KI-Arbeit weniger wachsam sind, deutet dies darauf hin, dass die Werkzeuge, mit denen wir Entscheidungen treffen, eine Blindstelle in unserem eigenen Urteilsvermögen schaffen können. Die Forscher planen, nicht nur zu messen, ob Fehler gefunden werden, sondern auch, wie sicher sich die Prüfer fühlen, wenn sie sagen, dass eine Datei korrekt ist. Diese „Kalibrierung“ ist entscheidend; wenn Prüfer bei KI-generierter Arbeit genauso sicher sind wie bei menschlicher Arbeit, aber tatsächlich weniger genau in ihrem Urteil sind, deutet dies auf einen fundamentalen Wandel in der Art und Weise hin, wie wir Informationen verifizieren müssen.

Letztendlich ist dieses Papier ein Vorschlag für ein notwendiges Experiment in einer Welt, die sich schneller verändert als unsere Sicherheitsgewohnheiten. Es erkennt an, dass die alten Regeln der Arbeitsprüfung nicht mehr gelten können, wenn die Arbeit von einer Maschine geschrieben wird. Indem sie einen fairen, kontrollierten Test aufbauen, hoffen die Autoren, Unternehmen und Analysten ein klares Bild der Risiken zu vermitteln, denen sie gegenüberstehen. Sie sagen nicht, dass KI nutzlos ist oder dass sie verboten werden sollte; vielmehr legen sie nahe, dass wir die spezifische Natur ihres Scheiterns verstehen müssen, bevor wir ihr unsere wichtigsten Zahlen anvertrauen. Das Ziel ist sicherzustellen, dass wir, während wir mehr vom Schreiben an Maschinen übergeben, nicht die Fähigkeit verlieren, die Wahrheit zu erkennen, wenn sie direkt vor unseren Augen verborgen liegt.