WorkstreamBench: Evaluating LLM Agents on End-to-End Spreadsheet Tasks in Finance
Diese Arbeit stellt WorkstreamBench vor, einen neuartigen Benchmark zur Bewertung von LLM-Agenten bei durchgängigen Finanztabellenaufgaben unter Verwendung einer mehrdimensionalen Taxonomie aus Genauigkeit, Formel und Format, der zeigt, dass zwar führende Modelle wie Claude professionell aussehende Ergebnisse liefern, aktuelle Agenten jedoch weiterhin Schwierigkeiten haben, die Komplexität und Qualitätsstandards zu verlässlich zu bewältigen, die für reale Finanzarbeitsabläufe erforderlich sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen neuen Assistenten ein, um ein komplexes Finanzmodell für Ihr Unternehmen zu erstellen. Sie wollen nicht nur, dass er eine einzelne Rechenaufgabe löst; Sie wollen, dass er von Grund auf eine vollständige, professionelle Excel-Tabelle erstellt, die Sie an Ihren Chef, Ihre Investoren und Ihre Wirtschaftsprüfer weitergeben können.
Dieser Artikel, WorkstreamBench, ist im Wesentlichen eine „Abschlussprüfung" für KI-Agenten (intelligente Computerprogramme), um zu sehen, ob sie diesen Job tatsächlich erledigen können.
Hier ist die Aufschlüsselung dessen, was die Autoren getan haben, unter Verwendung einfacher Analogien:
1. Das Problem: Der „Lego-Stein" versus die „Burg"
Frühere Tests für KI waren so, als würde man einen Bauarbeiter bitten, „einen Lego-Stein auf einen anderen zu setzen" oder „den roten Stein zu finden". Dies sind einfache, isolierte Aufgaben (wie das Beantworten einer Frage oder das Ändern einer Zahl).
Aber in der realen Welt der Finanzen bewegen Fachkräfte nicht nur einen Stein. Sie bauen ganze Burgen. Sie benötigen eine Excel-Tabelle, die:
- Drei verschiedene Berichte (Gewinn- und Verlustrechnung, Bilanz, Kapitalflussrechnung) so verknüpft, dass sich bei der Änderung einer Zahl alles automatisch aktualisiert.
- „Was-wäre-wenn"-Szenarien handhabt (z. B. „Was passiert, wenn der Umsatz um 10 % sinkt?").
- Professionell aussieht, leicht zu lesen ist und für einen Menschen leicht später bearbeitet werden kann.
Die Autoren erkannten, dass bestehende Tests zu einfach waren. Sie prüften nicht, ob eine KI die gesamte Burg bauen konnte, sondern nur, ob sie ein paar Steine setzen konnte.
2. Die Lösung: Ein neuer „Fitnessstudio" für KI
Die Autoren schufen WorkstreamBench, einen neuen Testbereich, der mit realen finanziellen Herausforderungen gefüllt ist, die aus professionellen Wettbewerben und Schulungskursen stammen.
Anstatt nur zu prüfen, ob die Endergebniszahl stimmt (wie ein Mathelehrer, der einen Lösungsschlüssel überprüft), erstellten sie eine dreiteilige Bewertungsmatrix, um die Qualität der Arbeit der KI zu beurteilen, ähnlich wie ein menschlicher Chef einen Bericht überprüfen würde:
- Genauigkeit (Die Mathematik): Ist die Endergebniszahl korrekt? Hat die KI tatsächlich die angeforderte Szenarioanalyse durchgeführt?
- Formel (Die Logik): Ist der „Motor" unter der Haube gut gebaut?
- Analogie: Stellen Sie sich ein Auto vor. Ein schlechter Bauarbeiter könnte die Motorteile mit Sekundenkleber zusammenkleben (harte Codierung von Zahlen). Wenn Sie den Motor später ändern müssen, müssen Sie das Auto zerlegen. Ein guter Bauarbeiter verwendet Schrauben und Bolzen (dynamische Formeln), damit das Auto leicht zu reparieren und zu aktualisieren ist. Die KI muss Bolzen verwenden, keinen Kleber.
- Sie prüfen auch, ob die Logik lesbar ist. Eine riesige, verwirrende Formel ist wie ein verwickelter Wollknäuel; eine schrittweise Formel ist wie eine klare Bedienungsanleitung.
- Format (Die Präsentation): Sieht es professionell aus?
- Sind die Zahlen ausgerichtet? Sind negative Zahlen in Klammern (ein Finanzstandard) statt mit einem Minuszeichen dargestellt? Ist die Schriftart konsistent? Wenn eine Excel-Tabelle unordentlich aussieht, könnte ein menschlicher Chef sie ablehnen, selbst wenn die Mathematik stimmt.
3. Der Test: Wer hat die Prüfung gemacht?
Die Autoren testeten viele der intelligentesten verfügbaren KI-Agenten von heute, einschließlich Versionen von Claude, ChatGPT, Gemini und anderen. Einige waren „Web"-Versionen (Chat im Browser) und einige waren „Excel"-Versionen (Plugins, die innerhalb der Tabellenkalkulationssoftware leben).
4. Die Ergebnisse: Der „ehrliche" Zeugnisbericht
Die Ergebnisse waren eine Mischung aus „vielversprechend" und „noch nicht einsatzbereit".
- Der Spitzenreiter: Der Claude Web-Agent schnitt am besten ab. Er erstellte die professionellsten Excel-Tabellen, die für Menschen am einfachsten zu lesen und zu bearbeiten waren.
- Die Lücke: Selbst die beste KI erreichte nur etwa 69 von 100 Punkten.
- Der Kampf: Je schwieriger die Aufgaben wurden (was längere Rechenketten erforderte), desto stärker sank die Leistung der KI.
- Analogie: Es ist wie ein Schüler, der ein einfaches Additionsproblem perfekt lösen kann, aber verwirrt wird und Fehler macht, wenn er gebeten wird, ein komplexes algebraisches Textproblem zu lösen.
- Häufige Fehler:
- Harte Codierung: Anstatt eine Formel zu schreiben, die eine Zahl berechnet, tippte die KI manchmal einfach die Zahl ein. Das ist so, als würde man „100" auf einen Scheck schreiben, anstatt „100" in das Feld zu schreiben und die Bank dies berechnen zu lassen. Wenn sich die Eingabe ändert, wird die Antwort der KI falsch.
- Unordentliches Format: Die KI vergaß oft, Zahlen auszurichten oder verwendete die falschen Farben, was die Excel-Tabelle unprofessionell aussehen ließ.
- Aufgeben: Bei sehr schwierigen Aufgaben ließen einige KIs ganze Abschnitte der Excel-Tabelle leer oder erfanden einfach Zahlen.
5. Das Urteil
Die Studie kommt zu dem Schluss, dass KI-Agenten zwar bei einfachen Aufgaben gut werden, aber noch nicht bereit sind, eigenständig zuverlässig professionelle Finanzmodelle zu erstellen.
Sie sind wie ein sehr talentierter Praktikant, der die Mathematik beherrscht, aber immer noch einen menschlichen Vorgesetzten benötigt, um das Format zu überprüfen, Logikfehler zu beheben und sicherzustellen, dass das Endprodukt etwas ist, dem ein Kunde tatsächlich vertrauen würde. Die Technologie ist vorhanden, aber es bedarf noch mehr Arbeit, bevor sie einen menschlichen Finanzanalysten ersetzen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.