🤖 AI

Benchmark Everything Everywhere All at Once

Dieses Paper stellt Benchmark Agent vor, ein vollautonomes agentisches System, das die arbeitsintensiven und skalierbarkeitsprobleme der traditionellen Benchmark-Erstellung adressiert, indem es mit minimalem menschlichem Aufwand automatisch hochwertige, diverse Evaluations-Benchmarks generiert.

Ursprüngliche Autoren: Shiyun Xiong, Dongming Wu, Peiwen Sun, Yuang Ai, Bokang Yang, Wencheng Han, Xiao-Hui Li, Xiangyu Yue

Veröffentlicht 2026-06-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shiyun Xiong, Dongming Wu, Peiwen Sun, Yuang Ai, Bokang Yang, Wencheng Han, Xiao-Hui Li, Xiangyu Yue

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie wollten testen, wie intelligent ein neuer Roboter ist. In der Vergangenheit mussten Menschen sich hinsetzen, hunderte schwierige Fragen formulieren, Bilder dazu heraussuchen und die Antworten manuell bewerten. Das war langsam, teuer und bis der Test bereit war, hatten die Roboter die Antworten oft schon gelernt, was den Test nutzlos machte.

Dieses Paper stellt den „Benchmark Agent“ vor, ein neues System, das als automatisierter Test-Ersteller fungiert. Anstatt dass Menschen die gesamte Arbeit erledigen, entwirft, baut und überprüft dieses KI-System seine eigenen Tests, um zu sehen, wie gut andere KI-Modelle abschneiden.

So funktioniert es, aufgeschlüsselt mit einfachen Analogien:

1. Das Problem: Das „Veraltete Lehrbuch“-Problem

Betrachten Sie aktuelle KI-Benchmarks (Tests) wie Lehrbücher.

Das Problem: Es dauert lange, ein Lehrbuch zu schreiben (Daten sammeln, Fragen formulieren). Bis das Buch veröffentlicht ist und die Schüler (KI-Modelle) damit zu lernen beginnen, haben die Schüler die Antworten bereits auswendig gelernt. Der Test sagt nicht mehr aus, wer wirklich klug ist; er zeigt nur, wer das Buch auswendig gelernt hat.
Die Behauptung des Papers: Bestehende Tests erreichen zu schnell die „Sättigung“. Sie hören auf, nützlich zu sein, weil Modelle zu gut darin werden, und das manuelle Erstellen neuer Tests ist zu langsam und zu teuer.

2. Die Lösung: Das „Architekt und Bauarbeiter“-Team

Der Benchmark Agent ist ein vollautonomes System, das wie eine Baucrew für Tests fungiert. Er bewertet nicht nur Antworten; er baut die gesamte Prüfung von Grund auf neu, basierend auf dem, was Sie anfordern. Er hat zwei Hauptarbeiter:

Arbeiter A: Der Architekt (Der „Benchmark Planner“)

Dies ist das Gehirn des Betriebs.

Was er tut: Sie sagen ihm: „Ich möchte testen, ob die KI ein Gespräch zwischen einem Arzt und einem Patienten verstehen kann, einschließlich deren Tonfall und eines medizinischen Scans.“
Wie er funktioniert:
1. Design: Er zerlegt diese große Anfrage in kleine, spezifische Aufgaben (z. B. „Finde einen medizinischen Scan“, „Finde ein Gespräch“, „Erstelle eine Frage zur Diagnose“).
2. Grounding (Der Realitätscheck): Er prüft, ob diese Aufgaben tatsächlich möglich sind. Er fragt: „Haben wir echte medizinische Scans, die wir verwenden können? Können wir diese rechtmäßig in eine Testfrage umwandeln?“ Wenn die Antwort nein lautet, geht er zurück und entwirft die Aufgabe neu.
3. Allokation: Er entscheidet, wie viele Fragen jeder Art erstellt werden sollen, um einen ausgewogenen Test zu gewährleisten.

Arbeiter B: Der Bauarbeiter (Der „Benchmark Executor“)

Dies ist der praktische Arbeiter, der die Testfragen tatsächlich erstellt.

Was er tut: Er nimmt den Plan des Architekten und nutzt Werkzeuge, um die Fragen zu bauen.
Wie er funktioniert:
- Er nutzt Werkzeuge, um Bilder zu skalieren, Audio in Text umzuwandeln oder im Internet nach Fakten zu suchen.
- Er generiert die eigentlichen Fragen und Antworten.
- Qualitätskontrolle: Er agiert wie ein strenger Editor. Wenn eine Frage verwirrend ist oder die Antwort falsch ist, wirft er sie weg und versucht es erneut, bis er genügend hochwertige Fragen hat.

3. Was macht es besonders?

Das Paper hebt drei Superkräfte hervor:

Anpassbarkeit (Die „Schneider“-Metapher): Anstatt eines „Einheitsmodells“ (wie einer Standard-Multiple-Choice-Prüfung) kann dieses System den Test genau auf Ihre Bedürfnisse zuschneiden. Möchten Sie testen, ob eine KI 19. Jahrhundertliche Kunst versteht? Oder Code in einer spezifischen Sprache? Der Architekt entwirft einen maßgeschneiderten Anzug für genau diesen Job.
Geschwindigkeit und geringe Kosten (Die „Fabrik“-Metapher): Menschen brauchen Minuten oder Stunden, um eine einzige Testfrage zu erstellen. Der Benchmark Agent kann sie in Sekunden erstellen. Das Paper behauptet, dass er etwa 20 Mal schneller und viel kostengünstiger als die menschliche Annotation ist.
Immer aktuell (Die „Livestream“-Metapher): Da er Tests automatisch erstellt, kann er in dem Moment, in dem ein neues, klügeres KI-Modell erscheint, sofort neue Tests erstellen. Dies verhindert das „Auswendiglernen“-Problem, indem die Fragen ständig aktualisiert werden.

4. Hat es funktioniert?

Die Forscher haben dieses System getestet, indem sie es 15 verschiedene Arten von Tests erstellen ließen (die Bereiche Mathematik, Kunst, medizinische Bildgebung und Gespräche abdecken).

Menschliche Überprüfung: Menschliche Experten betrachteten die Tests und sagten: „Ja, diese sind gut, klar und beantwortbar.“
KI-Richter: Eine andere KI fungierte als Richter und bestätigte, dass die Fragen logisch waren und den Zielen entsprachen.
Das Ergebnis: Das System konnte erfolgreich hochwertige Tests erstellen, die den Unterschied zwischen einer „dummen“ KI und einer „klugen“ KI feststellen konnten, selbst wenn die kluge KI sehr fortgeschritten war.

Zusammenfassung

Kurz gesagt, der Benchmark Agent ist ein selbstfahrendes Auto für die Erstellung von KI-Tests. Anstatt dass Menschen den Prozess des Schreibens von Fragen manuell steuern, navigiert dieses System die gesamte Reise – von dem Verständnis dessen, was Sie benötigen, über das Finden der richtigen Materialien bis hin zum Bau des fertigen Tests – und stellt sicher, dass die Ergebnisse frisch, fair und schnell sind.

Technisches Resümee: Benchmark Agent

1. Problemstellung

Die Erstellung von Benchmarks für Large Language Models (LLMs) und Multimodale Large Language Models (MLLMs) wird derzeit durch drei primäre Herausforderungen behindert:

Arbeitsintensität und mangelnde Wiederverwendbarkeit: Die bestehende Benchmark-Konstruktion ist weitgehend menschengesteuert und erfordert erheblichen Aufwand für Aufgabenentwurf, Datenerhebung, Bereinigung und Annotation. Diese Pipelines sind oft maßgeschneidert für spezifische Benchmarks, was zu wiederholter manueller Arbeit und langsamen Iterationszyklen führt.
Leistungs-Sättigung: Benchmarks erreichen häufig kurz nach der Veröffentlichung eine Leistungs-Sättigung. Da sich Modelle schnell verbessern, liegen die Genauigkeitswerte oft über 80 %, was zu wenig Spielraum lässt, um State-of-the-Art-Methoden zu differenzieren. Dies macht die kontinuierliche Einführung neuer Benchmarks notwendig, die selbst dazu neigen, schnell zu sättigen.
Skalierbarkeit und Nachhaltigkeit: Die starke Abhängigkeit von menschlicher Arbeit und nicht standardisierter Pipelines wirft Fragen hinsichtlich der langfristigen Nachhaltigkeit und Skalierbarkeit aktueller Evaluierungspraktiken auf, insbesondere da reale Anwendungen umfassendere und feingranularere Evaluierungen erfordern.

2. Methodik: Benchmark Agent

Um diese Herausforderungen anzugehen, führen die Autoren den Benchmark Agent ein, das erste vollautonome agentische System, das für den Aufbau und die Anpassung von Benchmarks konzipiert wurde. Das Framework ist von der hierarchischen Brain-Cerebellum-Architektur inspiriert und besteht aus zwei eng gekoppelten Komponenten:

A. Benchmark Planner (High-Level Decision Module)

Der Planner übersetzt abstrakte Benutzeranforderungen für die Evaluierung in konkrete, machbare Benchmark-Spezifikationen. Er verwendet ein Multi-Agent-Kollaborationssystem:

Design Agent: Wandelt informelle menschliche Intentionen in strukturierte Subtasks ( $S$ ) um. Er nutzt ein Proposer-Tool, um Kandidaten zu entwerfen, sowie Revising/Discarding-Tools, um Subtasks basierend auf ihrer Gut formulierten Natur und ihrem Beitrag zu verfeinern oder zu eliminieren.
Grounding Agent: Validiert, ob jeder Subtask durch reale Daten und ausführbare Transformationen unterstützt werden kann.
- Dataset Search: Identifiziert Kandidaten-Datensätze ( $D_i$ ), die den Modalitäts- und Domänenpräferenzen des Subtasks entsprechen.
- Transformability Validation: Konstruiert und bewertet potenzielle Transformationspläne ( $t_{i,j}$ ) hinsichtlich der Übereinstimmung mit der Intention, der Prozessrobustheit und der Bewahrung von Evaluierungssignalen. Ein Subtask wird nur akzeptiert, wenn mindestens ein gültiges Grounding $(d_{i,j}, t_{i,j})$ existiert.
Allocation Agent: Bestimmt machbare Allokationen unter globalen Quoten- und Ressourcenbeschränkungen. Er nutzt einen geschlossenen Regelkreis, der ein Allocation-Tool, ein Diagnose-Tool (zur Identifizierung von Engpässen) und ein Adjustment-Tool umfasst, um Allokationen zu revidieren, bis ein machbarer Plan gefunden wird.

B. Benchmark Executor (Operational Module)

Der Executor transformiert die validierten Spezifikationen in ausführbare Benchmarks:

Sample-Level Realization:
- Orchestration: Ein LLM spezialisiert den Datensatz-Ebene-Transformationsplan auf den aktuellen Stichprobenzustand und bestimmt die nächste Aktion.
- Execution: Aktionen werden mittels eines Tool-Pools ausgeführt. Dies umfasst Content-Synthese-Tools (z. B. TTS, Bildskalierung, Audio-Mixing) und skriptbasierte Verarbeitungstools (z. B. Dateikonvertierung, Metadaten-Editierung).
Qualitäts- und Quotensteuerung:
- Generierte Stichproben werden einer kontinuierlichen Verifizierung auf semantische Validität und strukturelle Konformität unterzogen.
- Ungültige Stichproben werden verworfen oder zur lokalen Korrektur weitergeleitet.
- Das System überwacht die Erfüllung der Quote und verarbeitet Rohdaten neu, falls die Anzahl der validen Stichproben unter die Zielvorgaben fällt.

3. Kernbeiträge

Autonomes Framework: Der Vorschlag des Benchmark Agent, eines Systems, das die gesamte Benchmark-Konstruktions-Pipeline von der Analyse der Benutzerabfrage bis zur qualitätskontrollierten Datengenerierung automatisiert und so die Abhängigkeit von menschlicher Arbeit reduziert.
Anpassbarkeit und Effizienz: Das System ermöglicht eine benutzerorientierte Anpassung (Anpassung von Formaten, Domänen und Kriterien) sowie schnelle Iterationen, wodurch die Nachhaltigkeitsprobleme statischer, menschengebauter Benchmarks adressiert werden.
Umfassende Evaluierung: Die Autoren implementieren den Agenten, um 15 repräsentative Benchmarks über diverse Szenarien hinweg (Text, Audio, Bild und multimodales Denken) zu produzieren. Sie validieren das System durch:
- Human Evaluation: Bewertung von Korrektheit, Klarheit und Relevanz.
- LLM-as-a-Judge: Bewertung von Alignment, Formatqualität, Kohärenz, Grounding und Schwierigkeitsgrad.
- Konsistenzprüfungen: Verifizierung, dass die Benchmarks kohärente Leistungsrankings über Modellskalen hinweg (z. B. Qwen3.5 Serie) erzeugen.
- Ablationsstudien: Bestätigung der Notwendigkeit jeder Komponente (Design, Grounding, Allocation, Planning, Verification).

4. Experimentelle Ergebnisse

Qualität: Von Benchmark Agent generierte Benchmarks erreichten hohe menschliche Akzeptanzraten (96–98 %) und starke LLM-as-Judge-Scores. Das System demonstrierte eine hohe Format- & Schema-Qualität (FSQ) sowie eine Frage-Antwort-Kohärenz (QAC).
Diskriminierungsfähigkeit: Die generierten Benchmarks konnten erfolgreich Unterschiede zwischen Modellskalen aufzeigen. Beispielsweise zeigten Qwen3.5-Modelle beim Art-Reasoning-Benchmark einen klaren Skalierungstrend von 40,96 % (2B) auf 56,38 % (27B).
Kosteneffizienz: Der Agent reduzierte die Annotationskosten im Vergleich zur menschlichen Annotation signifikant. So dauerte die Generierung einer Audio-basierten Reasoning-Stichprobe mit dem Agenten 0,3 Minuten gegenüber 6 Minuten für Menschen.
Ablationsbefunde:
- Direkte LLM-Generierung (ohne den agentischen Workflow) führte zu deutlich niedrigeren Scores, insbesondere bei der Benutzer-Intention-Alignment (UIA) und der auf Fähigkeiten bezogenen Herausforderung (SSC).
- Der Design Agent war entscheidend für breite Anforderungen, während die Transformability Checking für komplexe multimodale Aufgaben essenziell war.
- Verification war entscheidend für das Filtern ambivalenter Stichproben und die Sicherstellung der Zuverlässigkeit.
Modell-Erkenntnisse: Die Evaluierung von MLLMs auf den generierten Benchmarks zeigte, dass Modelle zwar in allgemeinen visuellen und logischen Aufgaben (z. B. Geografie, Mathematik) exzellieren, aber Schwierigkeiten mit der feingranularen Wahrnehmung in spezifischen Domänen wie Kunst und Tierrassen haben.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass der Benchmark Agent einen Wechsel von einer statischen, arbeitsintensiven Evaluierung hin zu einem dynamischen, autonomen und nachhaltigen Paradigma darstellt. Seine Bedeutung liegt in:

Lösung des Sättigungsproblems: Durch die Ermöglichung schneller, kontinuierlicher Benchmark-Updates kann das System mit der Modellentwicklung Schritt halten und verhindert eine Stagnation der Evaluierung.
Demokratisierung der kundenspezifischen Evaluierung: Es erlaubt Forschern und Praktikern, hochwertige, domänenspezifische Benchmarks zu erstellen, die auf einzigartige Anforderungen zugeschnitten sind, ohne prohibitive manuelle Kosten.
Zuverlässigkeit: Das System produziert Benchmarks, die nicht nur nutzbar, sondern auch diskriminativ sind und aussagekräftige Signale für den Vergleich von Modellkapazitäten über verschiedene Skalen und Familien hinweg liefern.

Die Autoren kommen zu dem Schluss, dass während aktuelle Modelle Stärken in allgemeinen Aufgaben zeigen, die Fähigkeit zur schnellen Generierung feingranularer Benchmarks spezifische Limitationen in der feingranularen Wahrnehmung und domänenspezifischen Logik aufzeigt, was einen Weg für zukünftige Forschungsrichtungen ebnet.