\$OneMillion-Bench: How Far are Language Agents from Human Experts?

Die Arbeit stellt \$OneMillion-Bench vor, einen Benchmark mit 400 von Experten erstellten Aufgaben aus fünf Fachbereichen, der darauf abzielt, die Zuverlässigkeit und professionelle Tiefe von Sprachagenten in realen, wirtschaftlich bedeutenden Szenarien durch eine rubrikbasierte Bewertung zu messen.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr klugen, aber noch jungen Assistenten. Er kann fließend reden, Gedichte schreiben und sogar Matheaufgaben lösen. Bisher haben wir ihn getestet, indem wir ihm Schulaufgaben gegeben haben: „Wer war der erste Präsident?" oder „Löse diese Gleichung."

Das Problem ist: Im echten Leben, besonders in teuren Berufen wie bei Anwälten, Ärzten oder Finanzexperten, reicht das nicht aus. Dort geht es nicht nur um die richtige Antwort, sondern darum, wie man sie findet, welche Regeln man beachtet und ob man am Ende wirklich einen wertvollen Job erledigt.

Genau hier kommt die $OneMillion-Bench (oder kurz: 1-Millionen-Dollar-Test) ins Spiel.

1. Was ist das eigentlich? Ein Test für echte Arbeit, nicht für Schule

Stellen Sie sich diesen Test wie eine große, teure Schnupperstunde für KI-Agenten vor. Statt 100 einfache Quizfragen zu stellen, haben die Forscher 400 extrem schwierige, echte Aufgaben aus fünf Bereichen zusammengestellt:

• Recht: Ein Anwalt muss prüfen, ob ein Vertrag über Ländergrenzen hinweg legal ist.
• Finanzen: Ein Analyst muss den Wert einer Versicherungsgesellschaft berechnen.
• Gesundheit: Ein Arzt muss eine komplexe Diagnose stellen und einen Behandlungsplan erstellen.
• Wissenschaft & Industrie: Forscher müssen Experimente planen oder Maschinen optimieren.

Der Clou: Jede dieser Aufgaben hat einen echten Geldwert. Die Forscher haben berechnet: „Wenn ein echter Senior-Experte diese Aufgabe erledigen würde, wie lange würde er brauchen und wie viel kostet seine Stunde?"
Die Summe aller Aufgaben liegt bei über 1 Million Dollar. Der Name des Tests ist also wörtlich zu nehmen: Es geht um die Frage, wie viel echten Wert eine KI liefern kann.

2. Wie wird bewertet? Nicht nur „Richtig" oder „Falsch"

Bei einem normalen Test gibt es oft nur einen Haken für die richtige Antwort. Bei diesem Test ist es wie bei der Bewertung eines Kochs in einem Sterne-Restaurant:

• Es reicht nicht, dass das Essen schmeckt (die Antwort ist richtig).
• Der Koch muss auch die richtigen Zutaten verwenden (faktische Korrektheit).
• Er muss die Hygienevorschriften einhalten (Berufsregeln).
• Er muss die Bestellung genau so zubereiten, wie der Gast es wollte (Anweisungen befolgen).

Die KI bekommt also eine detaillierte Checkliste (ein „Rubrik"-System). Wenn sie eine wichtige Regel verletzt – zum Beispiel eine falsche medizinische Vorschrift zitiert oder eine gefährliche Empfehlung gibt – gibt es Minuspunkte, sogar wenn die Hauptantwort halbwegs stimmt.

3. Was haben die Tests ergeben? Die harten Fakten

Die Forscher haben 35 verschiedene KI-Modelle getestet, von den ganz großen bis zu den spezialisierten. Hier sind die wichtigsten Erkenntnisse, einfach erklärt:

• Der „Suche"-Effekt ist ein zweischneidiges Schwert:
  Wenn man der KI erlaubt, im Internet zu suchen, wird sie bei den Besten (wie Claude Opus) deutlich besser. Sie findet die richtigen Fakten. Aber bei manchen anderen Modellen wird es schlimmer! Warum? Weil sie dann durch zu viele Informationen verwirrt werden oder falsche Quellen glauben. Es ist wie ein Schüler, der beim Lernen googelt: Der eine findet die perfekte Antwort, der andere kopiert einfach den ersten Wikipedia-Artikel, der ihm in die Finger kommt, auch wenn er veraltet ist.

• Spezialisten vs. Alleskönner:
  Es gab spezielle „Forschungs-KIs", die nur für lange, komplizierte Recherchen gemacht sind. Überraschenderweise waren sie nicht immer die Besten. Die besten Ergebnisse erzielten oft die allgemeinen „Allrounder", die aber gut darin waren, Suchwerkzeuge zu nutzen und Anweisungen genau zu befolgen.

• Die „Halb-richtige"-Falle:
  Viele KIs liefern Antworten, die zu 80 % richtig klingen. Aber im echten Beruf reicht das nicht. Wenn ein Anwalt eine Klausel im Vertrag übersehen hat, ist der ganze Vertrag ungültig. Die Tests zeigten, dass viele KIs zwar gut formulieren, aber bei den harten Fakten oder der Logik hängen bleiben. Sie sind oft „nahe dran", aber nicht „fertig".

• Zeit ist Geld (und KI ist langsam):
  Die Tests zeigten auch, dass KI bei Aufgaben, die aktuelle Daten benötigen (z. B. „Was ist gestern passiert?"), oft schlechter abschneidet als bei alten Fakten. Die Welt verändert sich schneller, als die KI lernen kann.

4. Warum ist das wichtig?

Bisher haben wir KIs oft nur als „Chatbots" gesehen, die nette Gespräche führen. Dieser Test zeigt uns, wie weit sie noch von echten Profis entfernt sind.

• Vertrauen: Wir können einer KI noch nicht blind vertrauen, wenn es um Millionenbeträge oder Menschenleben geht.
• Kosten: Der Test zeigt, dass eine KI mit Suchwerkzeugen oft mehr Wert liefert als eine teure KI ohne Suchwerkzeug. Es geht also nicht nur darum, wie „smart" das Gehirn ist, sondern wie gut es seine Werkzeuge benutzt.
• Die Zukunft: Das Ziel ist nicht, dass die KI den Menschen ersetzt, sondern dass sie ihm hilft, die „sechspfennigen" (kleinen, langweiligen) Aufgaben zu erledigen, damit der Mensch sich auf den „Mond" (die großen, kreativen Ideen) konzentrieren kann.

Zusammenfassend:
Die $OneMillion-Bench ist wie ein strenger, realer Praktikums-Test für KIs. Sie zeigt uns: Die KIs sind schon sehr klug, aber im echten, teuren Berufsalltag machen sie noch zu viele Fehler, um allein gelassen zu werden. Sie brauchen noch mehr Training, um nicht nur „klug" zu klingen, sondern auch „zuverlässig" zu arbeiten.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers "$OneMillion-Bench: How Far are Language Agents from Human Experts?" auf Deutsch:

1. Problemstellung

Bestehende Benchmarks für Large Language Models (LLMs) und Agenten konzentrieren sich häufig auf strukturierte Prüfungsfragen oder isolierte Aufgaben, die nicht den komplexen, kontextreichen Anforderungen realer professioneller Arbeitsumgebungen gerecht werden. Es besteht eine kritische Lücke zwischen der Leistung von Modellen in kontrollierten Testsettings und ihrer Fähigkeit, in wirtschaftlich bedeutsamen Szenarien (z. B. Recht, Finanzen, Gesundheitswesen) verlässliche, mehrstufige Entscheidungen zu treffen. Bisherige Evaluierungen messen oft nur die Richtigkeit einer Antwort, vernachlässigen aber den Prozess der Beweisführung, die Einhaltung von Branchenvorschriften und den tatsächlichen wirtschaftlichen Wert der erbrachten Leistung.

2. Methodik und Aufbau von $OneMillion-Bench

Datensatz und Aufgabenstellung:

• Umfang: Der Benchmark besteht aus 400 expertenkuratierten Aufgaben, die fünf Hochrisiko-Domänen abdecken: Finanzen, Recht, Gesundheitswesen, Naturwissenschaften und Industrie.
• Sprachvielfalt: Der Datensatz ist zweisprachig (200 englisch, 200 chinesisch), wobei die chinesischen Aufgaben spezifisch auf lokale Regulierungen, kulturelle Nuancen und Märkte (z. B. China's Cybersecurity Law, lokale Buchhaltungsstandards) zugeschnitten sind und nicht nur Übersetzungen darstellen.
• Aufgabentyp: Die Aufgaben sind offen-ended (offen formuliert) und simulieren echte Arbeitsabläufe (z. B. die Erstellung eines Bewertungsmodells für Lebensversicherungen nach IFRS 17 oder die Prüfung von Compliance-Klauseln bei M&A-Transaktionen).
• Wirtschaftliche Bewertung: Jeder Aufgabe wurde ein monetärer Wert zugewiesen, basierend auf der geschätzten Zeit, die ein Senior-Experte für die Lösung benötigt, multipliziert mit dem aktuellen Stundenlohn in der jeweiligen Region (USA/China). Der Gesamtwert aller Aufgaben übersteigt 1 Million US-Dollar.

Evaluierungsprotokoll:

• Rubrik-basierte Bewertung (Rubric-based Evaluation): Statt einer einfachen "Richtig/Falsch"-Bewertung wird ein detailliertes Bewertungsschema (Rubrik) verwendet.
  • Expert Score: Ein normalisierter Score (0–1), der auf einer gewichteten Summe von Kriterien basiert (faktische Genauigkeit, logische Kohärenz, praktische Machbarkeit, professionelle Compliance).
  • Pass Rate: Der Anteil der Aufgaben, bei denen der Expert Score einen Schwellenwert von 0,7 überschreitet.
  • Negative Rubriken: Ein einzigartiges Merkmal ist das Vorhandensein negativer Gewichte (-20 bis -10 Punkte) für schwerwiegende Fehler wie Halluzinationen, Verletzung von Sicherheitsrichtlinien oder Nichteinhaltung von Branchennormen.
• Datenkuratierung: Ein dreistufiger Prozess (Aufgabenerstellung durch Experten, Peer-Review durch einen zweiten Experten, Konfliktlösung durch einen dritten) stellt sicher, dass die Aufgaben objektiv, schwer zu lösen und diskriminierend zwischen verschiedenen Agenten-Leveln sind.

Getestete Systeme:
Der Benchmark evaluierte 35 Modelle in drei Kategorien:

1. Vanilla Models: Basis-Modelle ohne externe Tools.
2. Search Agents: Dieselben Modelle mit Web-Such-Funktionalität.
3. Deep Research Agents: Spezialisierte Systeme für komplexe Recherchen (z. B. o3-DeepResearch, Sonar-DeepResearch).

3. Wichtige Beiträge

1. Wirtschaftlich fundierte Evaluation: $OneMillion-Bench quantifiziert die Fähigkeiten von Agenten durch den Lens von tatsächlichen Arbeitskosten. Dies ermöglicht eine direkte Messung des wirtschaftlichen Mehrwerts, den ein Agent liefern kann.
2. Prozessorientierte Bewertung: Der Fokus liegt nicht nur auf dem Endergebnis, sondern auf der Korrektheit des gesamten Prozesses (Recherche, Beweisführung, Einhaltung von Constraints).
3. Kulturelle und regulatorische Tiefe: Durch die Integration von spezifischen lokalen Kontexten (insbesondere China vs. Global) wird getestet, ob Agenten nicht nur allgemeines Wissen, sondern auch domänenspezifische, lokalisierte Regeln anwenden können.
4. Negative Sanktionen: Die Einführung von negativen Rubriken simuliert reale Risiken, bei denen bestimmte Fehler (z. B. falsche rechtliche Beratung) katastrophale Folgen haben, und zwingt Modelle zu größerer Vorsicht und Genauigkeit.

4. Ergebnisse und Erkenntnisse

Leistungsführer:

• CLAUDE-OPUS-4.6 erzielte in beiden Sprachgruppen (Global und CN) die besten Ergebnisse, sowohl als Vanilla-Modell als auch mit Suchfunktion.
• GPT-5.4-HIGH und QWEN3.5-PLUS folgten in der ersten Reihe.

Einfluss von Web-Suche:

• Verstärkungseffekt: Für starke Modelle (wie Claude-Opus-4.6) verbessert die Web-Suche die Leistung signifikant (höhere Expert Scores und Pass Rates), da sie den Zugriff auf aktuelle Fakten und Beweise ermöglicht.
• Rückgang bei schwächeren Modellen: Bei einigen Modellen führte die Suche zu einer Verschlechterung der Ergebnisse. Dies deutet darauf hin, dass diese Modelle Schwierigkeiten haben, widersprüchliche oder verrauschte Informationen zu filtern, was zu "Reward Hacking" oder falschen Schlussfolgerungen führt.
• Deep Research Agents: Spezialisierte Forschungsagenten liegen oft hinter den besten Such-fähigen Generalisten zurück, was darauf hindeutet, dass robuste Rubrik-Compliance und Prozesskontrolle wichtiger sind als reine Recherchetiefe.

Domänen-spezifische Herausforderungen:

• Finanzen erwies sich als die schwierigste Domäne für fast alle Modelle.
• Recht und Gesundheitswesen zeigten bei Top-Modellen höhere Scores, aber auch hier gab es signifikante Lücken bei der Anwendung spezifischer, lokaler Gesetze.
• Fehlermuster: Häufige Fehler umfassten mathematische Berechnungsfehler, das Ignorieren von Constraints, das Verwenden veralteter Normen und das Fehlen von tiefgehenden kausalen Analysen.

Zeitsensitivität und Skalierbarkeit:

• Modelle schneiden bei zeitlich agnostischen Fragen besser ab als bei sensiblen, aktuellen Fragen.
• Test-time Scaling (mehrere Versuche pro Aufgabe) erhöht die Wahrscheinlichkeit, eine korrekte Lösung zu finden, verbessert aber nicht die Zuverlässigkeit der aggregierten Ausgabe (Pass Rate bleibt oft niedrig).

5. Bedeutung und Fazit

$OneMillion-Bench markiert einen Paradigmenwechsel in der Evaluation von KI-Agenten:

• Von "Fähigkeit" zu "Wert": Der Benchmark verschiebt den Fokus von der bloßen Beantwortung von Fragen hin zur Bewertung der wirtschaftlichen Zuverlässigkeit und der Fähigkeit, komplexe, professionelle Arbeit autonom zu erledigen.
• Vertrauenswürdigkeit: Die Ergebnisse zeigen, dass aktuelle Modelle noch nicht bereit sind, als vollautonome Experten in kritischen Bereichen einzusetzen, da sie oft an der Konsistenz, der korrekten Anwendung von Regeln und der Vermeidung von katastrophalen Fehlern scheitern.
• Zukunft: Der Benchmark dient als Testumgebung für die nächste Generation von Agenten, die nicht nur "intelligent", sondern auch vertrauenswürdig, regelkonform und wirtschaftlich sinnvoll sein müssen. Er unterstreicht die Notwendigkeit, Agenten nicht nur auf Genauigkeit, sondern auf prozessuale Integrität zu trainieren und zu evaluieren.

Zusammenfassend stellt $OneMillion-Bench ein rigoroses, wirtschaftlich fundiertes Framework dar, das die Kluft zwischen akademischen Benchmarks und den Anforderungen der realen Welt aufzeigt und als Goldstandard für die Entwicklung zuverlässiger professioneller KI-Agenten dienen soll.