Technischer Überblick: OmniaBench

Problemstellung

Große Sprachmodelle (LLMs) entwickeln sich rasant von statischen Textgeneratoren zu allgemeinen Agenten, die in der Lage sind, Benutzerintentionen zu verstehen, externe Werkzeuge aufzurufen und komplexe Aufgaben durch Interaktion zu bewältigen. Bestehende Benchmarks zur Evaluierung dieser Agenten leiden jedoch unter erheblichen Einschränkungen: Sie konzentrieren sich oft auf enge Szenarien, eingeschränkte Tool-Ökosysteme oder isolierte Interaktionsformate. Dieser Mangel an Diversität erschwert eine systematische Charakterisierung der Modellfähigkeiten über die heterogenen Anwendungsszenarien hinweg, wie sie in der realen Welt vorkommen. Es besteht eine kritische Lücke zwischen der aktuellen Benchmark-Abdeckung und der vielfältigen, mehrstufigen, zustandsbehafteten und restriktionsintensiven Natur realer Agenten-Anwendungsfälle.

Methodik

1. Taxonomie und Szenarienkonstruktion

OmniaBench adressiert diese Lücke durch die Konstruktion einer hierarchischen Taxonomie, die auf realen Anwendungswelten basiert. Die Autoren leiten Szenario-Wissen aus App Stores, Produktspezifikationen (PRDs), Branchenressourcen, Web-Retrieval und menschlicher Verfeinerung ab. Dies führt zu einer Taxonomie, die drei primäre Settings umfasst:

• ToC (Consumer): 22 Level-1 und 101 Level-2 Domänen.
• ToB (Business): 38 Level-1 und 186 Level-2 Domänen.
• ToE (Employee): 30 Level-1 und 67 Level-2 Domänen.
  Der Gesamtumfang deckt 90 Level-1 und 354 Level-2 Domänen ab, was einen signifikant breiteren Domänenraum bietet als Benchmarks, die auf einzelne Tool-Ökosysteme zentriert sind.

2. Umgebung und Aufgaben-Synthese

Für jede Domäne konstruiert das Team ausführbare Umgebungen, die Entitäten, Zustandsvariablen, Werkzeuge und Initialisierungskonfigurationen enthalten. Diese werden als Python-Klassen mit kontrollierten Sandbox-Umgebungen für Datei- und Codeoperationen instanziiert. Aufgaben werden über vier komplementäre Wege synthetisiert, um diverse Interaktionsformen sicherzustellen:

• DAG (Directed Acyclic Graph): Konzentriert sich auf mehrstufige zustandsbehaftete Interaktion und Tool-Chain-Ausführung.
• DAG-S: Leitet einstufige Aufgaben aus DAG-basierten Aufgaben durch Abfrageverfeinerung ab.
• Solver: Zielt auf Selektions-, Zeitplanungs-, Allokations- und Optimierungsszenarien unter Verwendung von impliziter oder expliziter Solver-gesteuerter Synthese ab.
• Program: Konzentriert sich auf komplexe prozedurale Logik unter Einbeziehung von Verzweigungen, Iterationen, Aufgaben-Programm-Synthese und Debugging.
  Der resultierende Datensatz enthält 1.431 Aufgaben, wobei ein kuratierter „Challenging Set“ von 644 Aufgaben entwickelt wurde, um die Evaluierungskosten zu senken und Datenkontamination zu minimieren.

3. Evaluierungs-Framework

OmniaBench verwendet ein einheitliches, trajektorienbasiertes Evaluierungs-Framework innerhalb einer Formulierung als Partially Observable Markov Decision Process (POMDP).

• Metriken: Die primäre Metrik ist Pass@1.
• Bewertung: Aufgaben werden anhand einer zehndimensionalen Kapazitäts-Taxonomie bewertet (Aufgabenverständnis, Informationsbeschaffung, Planung & Entscheidungsfindung, Zustandsmanagement, Werkzeugnutzung, Code- & Programmieroperationen, Datenanalyse, Büro- & Dokumentenverwaltung, Interaktive Kollaboration, Zuverlässigkeit & Sicherheit).
• Verifizierung: Für allgemeine Aufgaben werden rubrikbasierte Kriterien verwendet, während für programmbasierte Aufgaben VerifyCode eingesetzt wird, um binäre Pass/Fail-Ergebnisse basierend auf Trajektorien und finalen Beobachtungen zu bestimmen.
• Simulation: Mehrstufige Interaktionen nutzen Persona-basierte Benutzersimulatoren, um den Schwierigkeitsgrad über Präferenzen, Kommunikationsstile und Informationspreisgabe zu steuern.

Kernbeiträge

Das Paper skizziert vier primäre Beiträge:

1. OmniaBench Benchmark: Ein szenarienreicher, anspruchsvoller Benchmark, der reale App Stores, PRDs und Web-Recherche integriert, um eine breite Taxonomie (ToC/ToB/ToE) zu konstruieren, die in ausführbare, evaluierbare Agenten-Aufgaben instanziiert wird.
2. Mehrdimensionale Kapazitäts-Taxonomie: Ein Framework zur Charakterisierung der Modellfähigkeiten über zehn distinkte Dimensionen hinweg, was eine feingliedrige diagnostische Analyse jenseits aggregierter Erfolgsraten ermöglicht.
3. Kompositionelles Atomaus-Schwierigkeits-Framework: Ein Design, das Aufgabenherausforderungen um Benutzerintention, Persona-Constraints, Umgebungszustände, Tool-Ausführung, mehrstufige Interaktion, Fehlerreparatur und Ergebnisverifizierung organisiert.
4. Systematische Evaluierung: Eine umfassende Evaluierung sowohl geschlossener als auch offener Modelle, die Evidenz über Kapazitätsgrenzen, Domänenspezialisierung und Fehlermuster liefert.

Ergebnisse

Der Benchmark stellt aktuelle Frontier-Modelle vor erhebliche Herausforderungen:

• Leistungsdeckel: Selbst die am weitesten fortgeschrittenen getesteten Modelle, Claude-Sonnet-5 und GPT-5.6-Sol, erreichten Overall Pass@1 Scores von nur 58,54 % bzw. 57,14 %.
• Kapazitäts-Varianz: Die Leistung ist über die zehn Kapazitätsdimensionen hinweg hochgradig ungleichmäßig. Modelle mit ähnlichen Gesamtwerten weisen deutlich unterschiedliche Stärken auf (z. B. in Aufgabenverständnis vs. Zustandsmanagement).
• Domänen-Varianz: Signifikante Leistungsunterschiede bestehen zwischen den ToB-, ToC- und ToE-Splits. Während beispielsweise einige Modelle in ToB exzellieren, kann ihre Leistung in ToE sinken, was darauf hindeutet, dass eine einzelne aggregierte Metrik die praktische Anwendbarkeit nicht vollständig charakterisieren kann.
• Effizienz: Modelle mit vergleichbaren Erfolgsraten unterscheiden sich oft signifikant in der Effizienz der Werkzeugnutzung. Einige erfordern redundante Exploration und zirkuläre Interaktionen, während andere Ergebnisse mit kompakten, gezielten Tool-Sequenzen erzielen.
• Fehleranalyse: Reasoning-bezogene Fehler machen 53,8 % der Fehler aus, wobei Planung/Dekomposition (3,6,7 %) und Constraint-Verletzungen (16,5 %) die Hauptverursacher sind. Direkte Tool-Nutzungsfehler (z. B. Formatierung) machen einen kleineren Anteil aus, was darauf hindeutet, dass die Engpässe eher in der langfristigen Planung (Long-Horizon Planning) und adaptiven Korrektur als in der grundlegenden Aufrufung liegen.

Bedeutung

OmniaBench bietet einen breiten und diagnostischen Benchmark zur Charakterisierung der Kapazitätsgrenzen allgemeiner Agenten. Die Autoren argumentieren, dass mit steigenden Erfolgsraten bei den Aufgaben eine einzelne aggregierte Punktzahl unzureichend wird. Stattdessen bietet der Benchmark eine systematische Grundlage für die Analyse spezifischer Fähigkeiten, Domänenspezialisierungen und Fehlermuster. Indem er persistente Limitationen in Planung, Einhaltung von Constraints und adaptiver Korrektur aufzeigt, dient OmniaBench als kritisches Werkzeug zur Steuerung der Entwicklung robusterer, effizienterer und zuverlässigerer allgemeiner KI-Agenten, die in diversen, realen Szenarien operieren können.