Technisches Resümee: APEX–Accounting

Problemstellung

Während große Sprachmodelle (LLMs) bereits eine hohe Kompetenz beim Bestehen professioneller Zertifizierungsprüfungen (z. B. CPA, CMA) und bei der Verbesserung der allgemeinen Arbeitsqualität gezeigt haben, mangelt es an Benchmarks, die ihre Fähigkeit zur Ausführung der tatsächlichen, alltäglichen Arbeit von Buchhaltern bewerten. Bestehende Benchmarks wie AuditBench, FinMaster und AccountingBench verlassen sich oft auf synthetische Transaktionen, rein textbasierte Simulatoren oder Fallstudien einzelner Unternehmen, die nicht in der Lage sind, die repetitive, prozedurale und dokumentenintensive Natur des Monatsabschlusses und der Buchhaltung abzubilden. Die Autoren argumentieren, dass aktuelle Evaluierungen die „reale Arbeit“ von Buchhaltern – welche die Abstimmung von Konten, die Abgrenzung von Aufwendungen, das Buchen von Transaktionen und das Erstellen von Berichten über diverse, komplexe Geschäftskontexte hinweg umfasst – nicht ausreichend testen.

Methodik

Benchmark-Design (APEX–Accounting)

APEX–Accounting ist ein geschlossener Benchmark, der von Mercor in Zusammenarbeit mit Ramp entwickelt wurde und aus 160 Aufgaben in 10 synthetisch generierten Unternehmenswelten besteht.

• Konstruktion der Welten: Jede Welt repräsentiert ein in sich geschlossenes Unternehmen, das am Monatsabschluss eingefroren ist und der US-GAAP-Prinzipien der Periodengerechten Buchführung (Accrual-Basis) folgt. Die Welten wurden in vier Phasen konstruiert: Scoping, detaillierte Spezifikation (einschließlich „Trap Registers“ für gezielte Widersprüche), Ableitung des Styleguides und Dateigenerierung. Alle Dateien (Tabellenkalkulationen, PDFs, Exporte aus Buchhaltungssoftware) sind neuartig und wurden gegen öffentliche Quellen geprüft, um Memorierung zu verhindern.
• Aufwandskategorien: Die 160 Aufgaben sind in vier Kategorien unterteilt:
  1. Abstimmung (61 Aufgaben): Zusammenführung zweier Quellen, Identifizierung von Differenzen sowie deren Erklärung und Korrektur.
  2. Datenerfassung (26 Aufgaben): Buchen von Transaktionen, Journalbuchungen und Rechnungen.
  3. Varianzanalyse (28 Aufgaben): Vergleich von Ist-Werten mit Budgets oder Erwartungen.
  4. Abgrenzungen & Zeitpläne (45 Aufgaben): Erstellung von Zeitplänen, Berechnung von Abgrenzungen und Fortführung von Salden.
• Experteneinbindung: 42 Experten aus dem Rechnungswesen (Median der Erfahrung: 11 Jahre, 52 % aus den Big-Four-Gesellschaften) verfassten die Aufgaben, lösten diese zur Erstellung von „Golden Responses“ und erstellten binäre, ergebnisorientierte Bewertungsrubriken. Jede Aufgabe enthält einen Prompt, erforderliche Eingabedateien, eine Golden Response sowie eine Rubrik mit durchschnittlich 13,7 Kriterien.

Experimentelles Setup

• Evaluierte Modelle: Neun Frontier-Modelle wurden getestet, darunter Claude-Fable-5, Muse-Spark-1.1, GPT-5.6-Sol und andere. Jedes Modell führte jede Aufgabe 8 Mal aus, was insgesamt 11.520 Trajektorien ergab.
• Harnesses (Frameworks): Es wurden zwei Agenten-Harnesses verwendet:
  • Loop Harness: Eine standardmäßige, kanonische While-Schleife-mit-Tools-Architektur.
  • Ramp Harness: Ein spezialisiertes, mit Ramp entwickeltes Harness mit Retry-Awareness, Tool-Allowlists, Validierung und Subagenten-Delegation, um reale buchhalterische Rahmenbedingungen abzubilden.
• Bewertung: Ein DeepSeek-v4-Flash Modell, optimiert mit einem GEPA-Prompt, diente als Judge. Dieses wurde gegen den menschlichen Experten-Ground-Truth (1.687 Kriterien) validiert und erreichte eine Genauigkeit von 97,1 % (F1 = 0,970). Der Judge bewertet den finalen Output anhand binärer Rubrik-Kriterien, ohne Zugriff auf das zwischenzeitliche Trajektorien-Log zu haben.
• Metriken:
  • Mean Criteria@3: Die primäre Metrik, die den Durchschnitt des Prozentsatzes der erfüllten Rubrik-Kriterien über 3 zufällig ausgewählte Durchläufe pro Aufgabe berechnet.
  • Pass@k / Pass^k: Misst die Kapazitätsgrenze (Pass@8: mindestens einmal in 8 Versuchen bestanden) und die Konsistenz (Pass^8: alle 8 Versuche bestanden).
  • Cost Ablation: Experimente, bei denen das Token-Budget von 1 $ bis 50 $ pro Aufgabe variiert wurde, um die Beziehung zwischen Ausgaben und Leistung zu analysieren.

Kernergebnisse

Leaderboard-Performance

• Spitzenreiter: Claude-Fable-5 (Max) erreichte den höchsten Mean Criteria@3 von 56,4 %, gefolgt von Muse-Spark-1.1 (52,6 %) und GPT-5.6-Sol (51,5 %).
• Konsistenzlücke: Trotz hoher Mean Criteria@3-Werte bleibt die Konsistenz extrem gering. Kein Modell erreichte einen Pass^8-Wert von über 2,6 % (GPT-5.6-Sol). Der höchste Pass@8-Wert lag bei 21,5 % (Muse-Spark-1.1), was darauf hindeutet, dass Modelle zwar gelegentlich eine Aufgabe lösen können, dies aber nicht zuverlässig End-to-End leisten können.
• Schwierigkeitsgrad der Kategorien: „Schedules & Accruals“ erwies sich als die schwierigste Kategorie; alle Modelle schnitten hier 7–21 Prozentpunkte schlechter ab als in anderen Kategorien, was den mehrstufigen, urteilspflichtigen Charakter dieser Aufgaben widerspiegelt.

Kosten- und Budgetanalyse

• Auswirkung des Token-Budgets: Die Erhöhung des Budgets von 1 $ auf 50 $ verbesserte die Scores für teure Modelle signifikant (z. B. gewann Claude-Fable-5 +43,4 Prozentpunkte), während günstigere Modelle (z. B. Muse-Spark-1.1) nur minimale Zuwächse verzeichneten.
• Simpson-Paradoxon: Die Studie beobachtete ein Instanz des Simpson-Paradoxons: Während die Erhöhung des Gesamtbudgets die Scores steigerte, korrelierten innerhalb eines fixen Budgets Aufgaben, bei denen die Modelle mehr Tokens verbrauchten, mit niedrigeren Scores. Dies wird auf die Aufgabenkomplexität zurückgeführt: Schwierigere Aufgaben verbrauchen mehr Tokens, bleiben aber schwieriger zu lösen.
• Einfluss des Harnesses: Der Wechsel vom Standard Loop Harness zum spezialisierten Ramp Harness führte zu einer vernachledigbaren durchschnittlichen Verschiebung (+1,2 Prozentpunkte), was darauf hindeutet, dass die Modellkapazität ein stärkerer Treiber der Leistung ist als die spezifische Agenten-Architektur für diese Aufgaben.

Fehleranalyse

Die Analyse der niedrig bewerteten Trajektorien der drei Top-Modelle offenbarte ein auffallend ähnliches Fehlerprofil:

• Dominanz des Denkens: Reasoning-Fehler (Schlussfolgerungsfehler) machten 59–79 % aller annotierten Fehler aus.
• Spezifische Fehlermodi: Die häufigsten Teilfehler waren nicht-numerisches Reasoning (Anwendung fehlerhafter Logik auf nicht-numerische Daten) und Datenverarbeitungsfehler (inkorrektes Filtern, Zusammenführen oder Aggregieren).
• Information vs. Logik: Die Modelle fanden die korrekten Eingabedateien zuverlässig (Fehler bei der Informationsbeschaffung waren selten). Der primäre Fehlermodus war die Fehlbehandlung mehrstufiger Schlussfolgerungen (Reasoning) über diese Inputs: Das Ersetzen korrekter Autorisierungslogik, das Verwerfen korrekter Zwischenergebnisse oder das Versagen beim Fortführen von Schlussfolgerungen bis zum finalen Ergebnis.
• Tool-Nutzung: Keine der annotierten Fehler betraf die Tool-Nutzung, was darauf hindeutet, dass aktuelle Agenten-Architekturen für die Interaktion mit Tools ausreichend sind, aber die zugrunde liegende Reasoning-Kapazität der Flaschenhals ist.

Bedeutung und Behauptungen

Das Paper behauptet, dass APEX–Accounting die erste rigorose Bewertung von Frontier-Modellen auf reale Arbeitsabläufe im Rechnungswesen bietet, indem es über Zertifizierungsprüfungen hinaus auf die praktische Anwendung fokussiert.

• Aktuelle Limitationen: Die Ergebnisse zeigen, dass Frontier-Modelle zwar Informationen abrufen und isolierte Schritte ausführen können, aber noch nicht in der Lage sind, den Monatsabschluss unüberwacht durchzuführen. Die niedrigen Pass^8-Scores (Max 2,6 %) verdeutlichen die signifikante Lücke zwischen „Kapazitätsgrenze“ (Capability Ceiling) und „zuverlässigem Einsatz“.
• Zukünftige Ausrichtung: Die Autoren argumentieren, dass Fortschritte weniger durch die Verbesserung von Agenten-Harnesses (die kaum Einfluss zeigten) als vielmehr durch die Verbesserung der Modelle selbst erzielt werden werden. Insbesondere fordern sie ein spezifisches Training für das Rechnungswesen, um die notwendige Disziplin zu etablieren, um mehrstufige Ergebnisse konsequent fortzuführen, Widersprüche in Dokumenten aufzudecken und den Verzicht auf Buchungen ohne ausreichende Belege zu praktizieren.
• Nutzen des Benchmarks: Als geschlossener Benchmark ermöglicht APEX–Accounting die Evaluierung jedes beliebigen Frontier-Modells auf Anfrage und bietet somit eine standardisierte Metrik für die Industrie, um den Fortschritt bei der Automatisierung hochqualifizierter Wissensarbeit zu verfolgen.