Stellen Sie sich vor, Sie bringen einem Roboter das Kochen bei. Sie könnten ihm ein fertiges, köstliches Lasagne zeigen und sagen: „Mach das“, aber der Roboter würde vielleicht nur den Käse anstarren und das Rezept erraten. Oder Sie könnten ihm eine sehr lange, langweilige Liste von Anweisungen geben: „Nimm 200 Gramm Käse, schneide ihn in 1-Zentimeter-Würfel, platziere sie in Schicht 3...“ Aber echte Menschen sprechen nicht so; wir sagen: „Mach eine Lasagne“, und erwarten, dass der Koch weiß, was das bedeutet. Dies ist die Herausforderung von „Large Language Models“ (LLMs) – superintelligenten Computerprogrammen, die Text lesen und schreiben können. Wissenschaftler versuchen, diese Modelle zu hilfreichen Assistenten zu erziehen, nicht nur für das Schreiben von Geschichten, sondern für die Verrichtung echter Arbeit, wie etwa das Verwalten von Tabellenkalkulationen. Tabellenkalkulationen sind jene gitterartigen Programme (wie Excel), die Menschen verwenden, um Geld zu verfolgen, Partys zu planen oder Daten zu analysen. Die große Frage ist: Kann ein Computer eine unordentliche, reale Tabellenkalkulation lesen und herausfinden, wie er sie von Grund auf neu erstellt, nur indem er einer menschlichen Anfrage zuhört?

Dieses Paper führt einen cleveren Trick namens „Workbook Time Machine“ ein, um ein großes Problem zu lösen: Wir hatten keinen guten Weg, um zu testen, ob diese KI-Köche tatsächlich kochen können. Die Forscher bauten eine Pipeline, die rückwärts arbeitet. Stellen Sie sich vor, man nimmt eine fertige, komplexe Tabellenkalkulation, entfernt alle schicken Diagramme, Formeln und Farbcodierungen, bis nur noch die Rohdaten übrig bleiben. Dann bittet das System eine KI, eine Reihe von Anweisungen zu schreiben, die diese Rohdaten wieder in die schicke Tabellenkalkulation verwandeln würden. Auf diese Weise erschufen sie eine riesige Bibliothek aus „Vorher-Nachher“-Beispielen mit Anweisungen, die von superdetailliert bis sehr vage reichen. Sie nutzten dies, um einen Test namens WTM-BENCH zu erstellen, der bewertet, wie gut verschiedene KI-Modelle Tabellenkellen erstellen können.

Die Ergebnisse waren eine Mischung aus „nicht schlecht“ und „oh nein“. Die Studie fand heraus, dass die Leistung der KI stark davon abhängt, wie man mit ihr spricht und welche Werkzeuge man ihr gibt. Wenn man der KI ein sehr spezifisches, schrittweises Rezept gibt (wie „Setze diese Formel in Zelle D2“), macht sie es ziemlich gut. Aber wenn man ihr eine vage Anfrage gibt (wie „Erstelle ein Diagramm der Daten“), verliert sie sich oft. Darüber hinaus spielen die „Werkzeuge“, die die KI nutzt, um mit der Tabellenkalkulation zu kommunizieren, eine große Rolle; einige Werkzeuge sind wie ein Schweizer Taschenmesser, das alles kann, während andere wie ein Buttermesser sind, das mit komplexen Aufgaben wie Pivot-Tabellen kämpft. Das Paper legt nahe, dass KI zwar besser darin wird, detaillierten Befehlen zu folgen, aber immer noch Schwierigkeiten mit dem unordentlichen, mehrstufigen Denken hat, das für die Automatisierung von Tabellenkalkulationen in der realen Welt erforderlich ist, insbesondere wenn die Anweisungen kurz und die Aufgaben komplex sind.

Die Zeitmaschine in der Küche

Um zu verstehen, wie die Forscher ihren Test aufgebaut haben, denken Sie an eine Zeitmaschine, die nicht durch die Zeit reist, sondern durch die Geschichte einer Tabellenkalkulation. Normalerweise, wenn wir einen Roboter testen wollen, geben wir ihm eine Aufgabe und sehen, ob er Erfolg hat. Aber bei Tabellenkalkulationen ist es schwer zu wissen, wie eine „perfekte“ Aufgabe aussieht, weil echte menschliche Arbeit unordentlich ist.

Deshalb machten die Autoren etwas Rückwärtsgewandtes. Sie begannen mit fertigen Workbooks – echte Tabellenkalkulationen, die Menschen bereits erstellt haben, voll von Formeln, Diagrammen und Pivot-Tabellen. Sie nannten dies den „Backward“-Schritt. Die Zeitmaschine entfernte alle „abgeleiteten“ Objekte (die schicken Dinge wie Diagramme und Formeln), um die „Rohdaten“ darunter freizulegen. Es war, als würde man einen voll dekorierten Kuchen nehmen und den Frosting und die Streusel entfernen, um den einfachen Biskuit darunter zu sehen.

Dann kam der „Forward“-Schritt. Das System bat eine KI, auf den schlichten Biskuit und den fertigen Kuchen zu schauen und ein Rezept zu schreiben, um von einem zum anderen zu gelangen. Aber hier ist der Clou: Sie schrieben nicht nur ein Rezept. Sie schrieben drei verschiedene Versionen:

1. Level 1 (Das Handbuch des Chefs): „Schreibe in Zelle D2 =10000*C2/(B2*B2), ziehe es bis D7 herunter, dann erstelle ein Streudiagramm unter Verwendung der Spalten A und D.“
2. Level 2 (Der hilfreiche Assistent): „Berechne den BMI für alle und erstelle ein Diagramm, das BMI vs. Alter zeigt.“
3. Level 3 (Der vage Boss): „Plotte den BMI-Trend.“

Dies schuf einen massiven Datensatz namens WTM-CORPUS mit fast 9.000 Anweisungen. Aus diesem riesigen Haufen wählten sie ein ausgewogenes Testset von 150 Aufgaben namens WTM-BENCH aus. Dieses Testset wurde sorgfältig kuratiert, um sicherzustellen, dass es nicht nur aus einfachen Formelaufgaben besteht (die 67 % der ursprünglichen Daten ausmachten), sondern eine faire Mischung aus Diagrammen, Pivot-Tabellen und bedingter Formatierung enthält, genau wie es in einem echten Büro benötigt werden könnte.

Das große Tabellenkalkulations-Duell

Die Forscher ließen dann 6 verschiedene „Frontier“-KI-Modelle (die klügsten verfügbaren von Unternehmen wie Anthropic und OpenAI) diesen Test durchlaufen. Sie ließen die KI nicht einfach raten; sie gaben ihr ein „Werkzeugset“, um tatsächlich mit der Tabellenkalkulation zu interagieren. Sie testeten drei verschiedene Werkzeugsets:

• Python (OpenPyXL): Eine Programmierbibliothek, die Dateien wie ein Textdokument liest.
• VBA: Die eingebaute Makrosprache von Excel, die leistungsstark, aber altmodisch ist.
• Office.js: Ein moderner, webbasierter Weg, um mit Excel zu kommunizieren.

Sie testeten auch verschiedene „Orchestrierungs“-Stile. Einige Methoden lassen die KI Code schreiben und auf das Beste hoffen (One-Shot). Andere lassen die KI Code schreiben, das Ergebnis sehen, einen Fehler machen, ihn korrigieren und es erneut versuchen (Multi-Turn).

Die Ergebnisse waren aufschlussreich:

1. Das Werkzeugset zählt mehr als das Gehirn: Die Art des Werkzeugs, mit dem die KI die Tabellenkalkulation steuerte, machte einen riesigen Unterschied. Beispielsweise war das Erstellen einer „Pivot-Tabelle“ (einer komplexen Zusammenfassungstabelle) für das Python-Werkzeug unglaublich schwer, da es viele Schritte koordinieren musste. Aber mit VBA oder Office.js, die über eingebaute Befehle dafür verfügen, war die KI viel erfolgreicher. Das Paper legt nahe, dass die „Schnittstelle“ genauso wichtig ist wie die Intelligenz des Modells.
2. Spezifität ist (vorerst) König: Wenn die Anweisungen superdetailliert waren (Level 1), schnitten die KI-Modelle recht gut ab. Aber als die Anweisungen kürzer und vager wurden (Level 3), sank die Leistung drastisch. Die Modelle hatten Schwierigkeiten, die „Lücken zu füllen“, wie es ein Mensch tun würde.
3. Das Pivot-Tabellen-Problem: Während die KI ganz passabel darin wurde, Formeln und Diagramme zu erstellen, scheiterte sie fast vollständig an der Erstellung von Pivot-Tabellen. Der „Soft Score“ (ein Maß dafür, wie nah das Ergebnis am Perfekten war) für Pivot-Tabellen lag bei fast allen Modellen nahe Null. Dies deutet auf eine fundamentale Lücke in der Fähigkeit der KI hin, komplexe, mehrstufige Datenzusammenfassungen zu handhaben.
4. Vertraue der „Erfolgsmeldung“ nicht: Das Paper fand heraus, dass viele KI-Modelle behaupteten, sie seien fertig, selbst wenn sie gescheitert waren. Beispielsweise gab es bei den Claude-Modellen in über 80 % der Fälle, in denen das Modell sagte „Ich bin fertig“, tatsächlich einen strukturellen Fehler (wie das Platzieren des Diagramms an der falschen Stelle oder das komplette Übersehen desselben). Dies wird als „halluzinierter Erfolg“ bezeichnet und ist eine große Hürde für die reale Anwendung.

Was dies für die Zukunft bedeutet

Das Paper kommt zu dem Schluss, dass KI zwar besser darin wird, strengen, detaillierten Anweisungen zu folgen, aber noch nicht bereit für einen voll autonomen Tabellenkalkulations-Zauberer ist. Die „Workbook Time Machine“ bewies, dass die Art und Weise, wie wir testen, genauso wichtig ist wie die KI selbst. Wenn wir nur mit einfachen, detaillierten Prompts testen, könnten wir glauben, die KI sei klüger, als sie eigentlich ist.

Die Forscher schlagen vor, dass wir diese Modelle besser mit einem „Curriculum“ lehren könnten – beginnend mit den detaillierten Level-1-Anweisungen und dem langsamen Übergang zu den vageren Level-3-Anweisungen, um ihnen zu helfen, die Lücken zu füllen. Sie merken auch an, dass die Pipeline, die sie gebaut haben, auf andere Aufgaben der Tabellenkalkulation erweitert werden könnte, wie etwa das Löschen oder Ändern von Daten, nicht nur das Erstellen.

Letztendlich zeigt die Studie, dass wir auf dem richtigen Weg sind, aber der Weg zu einem wirklich autonomen Tabellenkalkulations-Agenten noch lang ist. Die KI kann ein Rezept befolgen, aber sie braucht immer noch einen Menschen, der ihr die Hand hält, wenn die Anweisungen vage oder die Aufgabe kompliziert werden. Die „Zeitmaschine“ gab uns eine bessere Karte darüber, wo die KI stark ist und wo sie noch lernen muss, und stellte sicher, dass zukünftige Tests fair, ausgewogen und in der unordentlichen Realität verankert sind, wie Menschen Tabellenkalkulationen tatsächlich nutzen.