💬 NLP

OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language World Models

Die Arbeit stellt OccuBench vor, einen Benchmark, der mithilfe von Language World Models 100 reale Berufsaufgaben über 10 Branchen hinweg simuliert, um die Leistung von KI-Agenten bei der Aufgabenbewältigung und Robustheit gegenüber Fehlern systematisch zu bewerten und dabei festzustellen, dass keine einzelne Modellfamilie alle Branchen dominiert und implizite Fehler besonders herausfordernd sind.

Ursprüngliche Autoren: Xiaomeng Hu, Yinger Zhang, Fei Huang, Jianhong Tu, Yang Su, Lianghao Deng, Yuxuan Liu, Yantao Liu, Dayiheng Liu, Tsung-Yi Ho

Veröffentlicht 2026-04-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xiaomeng Hu, Yinger Zhang, Fei Huang, Jianhong Tu, Yang Su, Lianghao Deng, Yuxuan Liu, Yantao Liu, Dayiheng Liu, Tsung-Yi Ho

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie wollen testen, wie gut ein neuer, super-intelligenter Roboter-Assistent ist. Bisher haben wir ihn nur in einem Spielzimmer getestet: Er musste Webseiten durchsuchen, einfache Code-Schnipsel schreiben oder virtuelle Tastaturen bedienen. Das ist wie ein Flugsimulator, der nur den Start und die Landung auf einem leeren Feld simuliert.

Aber die echte Welt ist viel komplizierter. Ein echter Pilot muss mit plötzlichen Stürmen, defekten Motoren und verwirrten Passagieren umgehen können. Genau hier setzt die neue Studie OCCUBENCH an.

Hier ist die einfache Erklärung, was die Forscher gemacht haben und was sie herausfunden:

1. Das Problem: Der "Test-Lücken"-Effekt

Bisher konnten wir KI-Agenten nur in Bereichen testen, wo es öffentliche Computer-Systeme gibt (wie Online-Shops oder Webseiten). Aber was ist mit den wirklich wichtigen Jobs?

Kann die KI einen Patienten in einer überfüllten Notaufnahme sortieren?
Kann sie die Sicherheit eines Atomreaktors überwachen?
Kann sie Zollformulare für Importe bearbeiten?

Diese Bereiche sind wie geheime, verschlossene Räume. Es gibt keine öffentlichen Testumgebungen, weil man dort keine echten Daten einfach so kopieren kann (zu gefährlich oder zu privat). Daher wussten wir bisher nicht, ob die KI diese echten, teuren Jobs wirklich erledigen könnte.

2. Die Lösung: Der "Sprach-Welt-Modell"-Zauber

Die Forscher haben eine clevere Idee entwickelt: Statt einen echten Computer-Server für jeden dieser geheimen Jobs zu bauen (was zu teuer und kompliziert wäre), lassen sie eine andere KI die Welt simulieren.

Stellen Sie sich das wie ein Rollenspiel vor:

Der KI-Agent ist der Schauspieler, der die Aufgabe lösen soll (z. B. "Rette den Patienten").
Der Sprach-Welt-Modell (LWM) ist der Regisseur und das Bühnenbild. Er sagt dem Schauspieler: "Hier ist der Patient, er hat Fieber. Was machst du?" Wenn der Schauspieler fragt: "Wie ist der Blutdruck?", antwortet der Regisseur (die simulierte Welt) sofort mit den Werten.

Durch diesen Trick können sie 100 verschiedene Berufsszenarien (von der Landwirtschaft bis zur Raumfahrt) in einer einzigen Umgebung testen, ohne echte Krankenhäuser oder Kraftwerke zu gefährden.

3. Der große Test: Nicht nur "Glücksspiel", sondern "Stress-Test"

Die Forscher haben 15 der fortschrittlichsten KI-Modelle (wie GPT-5, Claude, Gemini, Qwen) durch diesen Test geschickt. Aber sie haben es nicht leicht gemacht. Sie haben drei Arten von Problemen eingefügt:

Der saubere Weg (E0): Alles läuft perfekt.
Der laute Fehler (E1): Die KI bekommt eine klare Fehlermeldung wie "Server abgestürzt" oder "Zeitüberschreitung". Das ist wie ein rotes Warnlicht. Die KI muss einfach neu versuchen.
Der stille Fehler (E2): Das ist der echte Knüller. Die KI bekommt eine Antwort, die aussieht wie alles in Ordnung, aber wichtige Daten fehlen oder sind abgeschnitten. Es ist wie ein Arzt, der Ihnen sagt "Alles gut", aber die Laborergebnisse sind nur zur Hälfte da. Die KI muss selbst merken: "Hey, das sieht verdächtig aus!"

4. Was haben sie herausgefunden? (Die Überraschungen)

Kein "Superheld" für alle Jobs: Es gibt keine einzelne KI, die in allen Berufen die Beste ist.
- Analogie: Stellen Sie sich vor, Sie suchen einen Handwerker. Ein Modell ist ein genialer Mathematiker (gut in Wissenschaft), aber ein schlechter Koch (schlecht im Handel). Ein anderes Modell ist ein toller Organisator (gut im Transport), aber verwirrt im Gesundheitswesen. Man muss das richtige Werkzeug für den richtigen Job wählen.
Stille Fehler sind tödlicher: Die KIs scheiterten viel häufiger bei den "stillen Fehlern" (E2) als bei den lauten Warnungen (E1).
- Analogie: Wenn Ihnen jemand laut schreit "Vorsicht, Feuer!", springen Sie weg. Wenn Ihnen jemand aber ruhig sagt "Hier ist das Wasser, es ist sauber", obwohl es giftig ist, trinken Sie es vielleicht. Die KIs sind gut darin, auf rote Warnungen zu reagieren, aber schlecht darin, zu merken, wenn Informationen einfach fehlen.
Größer ist besser (meistens): Größere Modelle und solche, die mehr "Nachdenken" (Rechenleistung) investieren, waren deutlich besser.
Ein guter Schauspieler ist nicht immer ein guter Regisseur: Eine KI, die Aufgaben sehr gut löst (ein guter Schauspieler), ist nicht unbedingt gut darin, die Welt zu simulieren (ein guter Regisseur). Wenn die Simulations-KI Fehler macht, kann das Testergebnis der anderen KI verfälscht werden.

5. Fazit für den Alltag

Diese Studie ist wie ein großer, realistischer Fahrprüfung für KI. Bisher haben wir nur geprüft, ob die KI den Lenker halten kann. Jetzt prüfen wir, ob sie auch bei Regen, mit einem platten Reifen und einem verwirrten Beifahrer sicher ans Ziel kommt.

Die Botschaft ist klar: KI wird immer besser, aber wir müssen sie in realistischen, chaotischen Umgebungen testen, nicht nur in perfekten Spielwiesen. Und wir müssen vorsichtig sein: Eine KI, die in einem Test gut abschneidet, ist nicht automatisch in jedem Berufsfeld die beste Wahl.

1. Problemstellung

Aktuelle Benchmarks für KI-Agenten sind strukturell unzureichend, um deren Leistung in realen professionellen Umgebungen zu bewerten.

Die „untestbare Mehrheit": Die Bereiche mit dem höchsten Wert für KI-Agenten (Gesundheitswesen, Finanzen, Recht, Fertigung, Energie, Logistik) sind oft durch proprietäre Systeme, fehlende öffentliche APIs und irreversible reale Konsequenzen gekennzeichnet. Es gibt keine öffentlichen Testumgebungen für Aufgaben wie die Triage von Notfallpatienten, die Überwachung von Kernreaktoren oder die Zollabfertigung.
Eingeschränkte Skalierbarkeit: Bestehende Benchmarks (z. B. WebArena, OSWorld, SWE-bench) sind auf Domänen beschränkt, für die bereits Umgebungen implementiert wurden. Die Erweiterung auf neue Domänen erfordert enormen Engineering-Aufwand (Deployment ganzer Webanwendungen oder Integration realer APIs).
Fehlende Robustheitsbewertung: Existierende Tests bewerten Agenten fast ausschließlich auf dem „Happy Path" (fehlerfreie Ausführung). Sie ignorieren systematisch, wie Agenten mit realen Umgebungsstörungen wie API-Timeouts, unvollständigen Daten oder stillen Dienstdegradationen umgehen.

2. Methodik: Language World Models (LWMs)

Die Autoren führen das Konzept der Language World Models (LWMs) ein, um das Problem der fehlenden Umgebungen zu lösen.

Konzept: Anstatt eine reale Softwareumgebung zu simulieren, wird die Umgebung selbst durch ein Large Language Model (LLM) simuliert. Das LWM fungiert als zustandsbehaftete, interaktive Umgebung.
Formalisierung: Ein LWM wird als Funktion definiert: $(s_{t+1}, o_{t+1}) = f_\theta(s_t, a_t; c)$ $(s_{t + 1}, o_{t + 1}) = f_{θ} (s_{t}, a_{t}; c)$ .
- $c$ : Konfiguration (System-Prompt, Tool-Schema, Initialzustand, Zustandsbeschreibung).
- $s_t$ : Latenter Umgebungszustand (im Kontextfenster des LLM gehalten).
- $a_t$ : Aktion des Agenten (Tool-Aufruf).
- $o_{t+1}$ : Beobachtung (strukturierte JSON-Antwort des Tools).
Vorteile: Dies wandelt das Problem der Umgebungserstellung von einem Engineering-Problem in ein Konfigurationsproblem um. Solange ein LLM die operative Logik einer Domäne versteht, kann es Tool-Antworten generieren.

3. Der OCCUBENCH Benchmark

Auf Basis von LWMs wurde OCCUBENCH entwickelt, der erste systematische Benchmark für professionelle Aufgaben.

Umfang: 100 reale Szenarien, 10 Industrie-Kategorien, 65 spezialisierte Domänen und 382 Evaluierungs-Instanzen.
Multi-Agent Synthesis Pipeline: Ein automatisierter Pipeline-Prozess (unterstützt durch ein LLM als Weltmodell) generiert Aufgaben, Tool-Definitionen, Lösungspläne und Verifikationsrichtlinien (Rubrics).
- Qualitätssicherung: Instanzen werden auf Lösbarkeit, überprüfbare Erfolgskriterien, kalibrierte Schwierigkeit und strukturelle Vielfalt getestet.
Zwei Evaluierungsdimensionen:
1. Aufgabenerfüllung (Task Completion): Bewertung der Fähigkeit, mehrstufige Entscheidungen über verschiedene Industrien hinweg zu treffen.
2. Umwelt-Robustheit (Environmental Robustness): Bewertung unter kontrollierter Fehlerinjektion:
  - E0 (Clean): Keine Fehler (Basislinie).
  - E1 (Explizite Fehler): Offensichtliche Fehler wie HTTP 500, Timeouts (der Agent weiß, dass etwas schiefgelaufen ist).
  - E2 (Implizite Fehler): Stille Datenverschlechterung (abgeschnittene Daten, fehlende Felder, leere Listen) ohne Fehlermeldung. Der Agent muss die Qualitätsminderung selbst erkennen.
  - E3 (Gemischt): Kombination aus expliziten und impliziten Fehlern.

4. Wichtige Ergebnisse

Die Studie evaluierte 15 fortschrittliche Modelle (8 Familien, darunter GPT-5.2, Claude Opus/Sonnet, Gemini, Qwen, DeepSeek).

Kein dominantes Modell: Kein einzelnes Modell beherrscht alle Branchen. Jedes Modell hat ein spezifisches „berufliches Kompetenzprofil".
- Beispiel: Gemini 3.1 Pro führt in Bildung und Wissenschaft, scheitert aber im Gesundheitswesen. Claude Opus 4.6 ist stark im Transportwesen, schwach im Handel.
Implizite Fehler sind schwieriger: Die Performance unter impliziten Fehlern (E2, 53,4 %) bricht stärker ein als bei expliziten Fehlern (E1, 62,6 %) oder gemischten Fehlern (E3). Da implizite Fehler keine offensichtlichen Signale liefern, müssen Agenten die Datenverschlechterung eigenständig erkennen – eine Fähigkeit, die den meisten Modellen fehlt.
Skalierung verbessert Leistung: Größere Modelle, neuere Generationen und höherer „Reasoning Effort" (Denkintensität) führen konsistent zu besseren Ergebnissen. GPT-5.2 zeigte beispielsweise eine Verbesserung von 27,5 Punkten, wenn der Reasoning-Effort von „none" auf „xhigh" erhöht wurde.
Starke Agenten sind keine starken Simulatoren: Ein Modell, das als Agent hervorragend abschneidet (z. B. GPT-5.2), muss nicht als Simulator für die Umgebung geeignet sein. GPT-5.2 als Simulator führte zu den schlechtesten Ergebnissen für alle getesteten Agenten, da es Zustände erfand oder Regeln verletzte. Mit einem kompetenten Simulator (z. B. Gemini Flash oder Qwen 3.5 Plus) stimmen die Rangfolgen der Agenten jedoch zu 85,7 % überein.

5. Bedeutung und Fazit

OCCUBENCH schließt eine kritische Lücke in der KI-Forschung, indem es die Bewertung von Agenten von reinen Web- oder Code-Umgebungen auf den gesamten Bereich der professionellen Arbeit ausweitet.

Paradigmenwechsel: Die Arbeit zeigt, dass LLMs nicht nur als Agenten, sondern auch als zuverlässige Umgebungs-Simulatoren für die Evaluation genutzt werden können, was die Skalierbarkeit von Benchmarks revolutioniert.
Praktische Implikationen: Organisationen sollten Agenten nicht nur nach einem Gesamtscore auswählen, sondern basierend auf deren spezifischem Profil für die jeweilige Branche.
Robustheit als Schlüsselkriterium: Die Studie unterstreicht, dass die Fähigkeit, mit stillen Datenfehlern umzugehen (implizite Fehler), eine größere Hürde für den Einsatz in der realen Welt darstellt als das Bewältigen offensichtlicher Systemfehler.

Zusammenfassend bietet OCCUBENCH einen Rahmen für eine multidimensionale Evaluation, die nicht nur die Aufgabenlösung, sondern auch die branchenspezifische Spezialisierung und die Resilienz gegenüber realer Umgebungsrauschen berücksichtigt.