🤖 AI

MMBench-Live: A Continuously Evolving Benchmark for Multimodal Models

Das Paper stellt MMBench-Live vor, einen sich kontinuierlich weiterentwickelnden multimodalen Benchmark, der durch eine Multi-Agenten-automatisierte Pipeline angetrieben wird, welche kosteneffiziente, hochwertige Evaluierungsinstanzen generiert und dabei die Verteilungskonsistenz wahrt sowie Datenkontamination minimiert.

Ursprüngliche Autoren: Yuanzhi Liu, Shousheng Zhao, Bo Zhou, Kongming Liang, Zhanyu Ma

Veröffentlicht 2026-07-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuanzhi Liu, Shousheng Zhao, Bo Zhou, Kongming Liang, Zhanyu Ma

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Lehrer, der eine Klasse von Schülern bewerten muss, die lernen, die Welt durch Computer zu sehen und zu verstehen (diese werden Vision-Language-Modelle oder VLMs genannt).

Lange Zeit haben Lehrer dieselben alten Testblätter (statische Benchmarks) verwendet, um alle zu bewerten. Aber es gibt ein großes Problem: Die Schüler lernen aus dem Internet, und das Internet verändert sich jede Sekunde. Wenn das Testblatt aus dem letzten Jahr stammt, könnten die Schüler die Antworten bereits auswendig gelernt haben, weil diese Fragen in ihrem Lernmaterial vorkamen (Datenkontamination). Außerdem könnte der Test veraltet sein und nicht mehr widerspiegeln, was die Schüler heute tatsächlich können.

MMBench-Live ist eine neue, revolutionäre Art, Tests zu erstellen. Anstatt ein statisches Papier auszudrucken und zu hoffen, dass es relevant bleibt, haben die Autoren eine robotergestützte Test-Erstellungsfabrik gebaut, die ständig frische, neue Fragen produziert.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das „Rezeptbuch“ (Strukturierter Benchmark)

Zuerst haben die Experten nicht einfach wahllos Bilder gesammelt. Sie haben den ursprünglichen Test (MMBench) in ein strenges Rezeptbuch verwandelt.

Sie haben jede Frage in ihre Kernzutaten zerlegt: Welche Fähigkeit wird hier getestet? (z. B. ein Schild lesen, Objekte zählen, einen Witz verstehen).
Sie haben den „Geschmack“ der ursprünglichen Fragen identifiziert (z. B. „Diese Fragen beinhalten meist belebte Stadtstraßen“ oder „Diese beinhalten meist Text auf einer Speisekarte“).
Dieses Rezept stellt sicher, dass die neuen Fragen, obwohl sie brandneu sind, exakt wie die alten schmecken. Sie testen dieselben Fähigkeiten auf dieselbe Weise.

2. Der „Schlaue Scout“ (Aufgabenbewusste Datenerfassung)

Als Nächstes schickt das System einen Schlauen Scout aus, um neue Bilder aus der realen Welt (dem Internet) zu finden.

Das Problem: Wenn man eine Suchmaschine nur nach „einem Bild einer Katze“ fragt, bekommt man vielleicht eine Zeichentrickkatze, eine Spielzeugkatze oder eine schlafende Katze. Aber wenn Ihr Test eine „Katze, die einer Laserpointer-Linie hinterherjagt“ erfordert, versagt eine generische Suche.
Die Lösung: Der Scout hat eine spezifische Mission. Er geht raus, findet Bilder und ein Feedback-Controller (ein strenger Editor) prüft sie dann.
Die Schleife: Wenn der Scout ein Bild einer schlafenden Katze zurückbringt, sagt der Editor: „Nein, das passt nicht zum Rezept. Suche stattdere nach ‚aktiven Katzen‘.“ Der Scout versucht es erneut. Dies geschieht automatisch, bis die Bilder exakt dem „Geschmack“ des ursprünglichen Tests entsprechen.

3. Der „Koch und der Geschmackstester“ (QA-Generierung & Verifizierung)

Sobald die richtigen Bilder gefunden wurden, muss das System die Fragen und Antworten schreiben.

Der Koch: Ein Team von KI-„Köchen“ schreibt die Fragen und Antworten basierend auf dem Bild.
Der Geschmackstester: Hier liegt der clevere Teil. Normalerweise könnte eine KI einfach die Antwort erraten. Aber MMBench-Live zwingt die KI dazu, ein Schritt-für-Schritt-Rezept (einen ausführbaren Plan) zu schreiben, wie man zur Antwort gelangt.
Die Verifizierung: Ein separates, „blindes“ Robotersystem (das das Bild nicht sehen kann, sondern nur den Text) folgt diesem Rezept. Es führt die Schritte aus. Wenn das Rezept besagt „Zähle die roten Autos“ und der Roboter sie zählt und 3 ergibt, aber der Lösungsschlüssel 4 angibt, weiß das System, dass die Antwort falsch ist, und wirft sie raus. Dies stellt sicher, dass die Antworten mathematisch und logisch korrekt sind und keine bloßen Glückstreffer.

4. Das Ergebnis: Ein schneller, günstiger und fairer Test

Das Paper behauptet, dass dieses System aus drei Gründen ein Game-Changer ist:

Es ist frisch: Es erstellt 5.900 neue Testfragen unter Verwendung von Realdaten aus dem Internet.
Es ist günstig und schnell: Dies manuell zu erledigen, würde Tausende von Dollar kosten und Monate dauern. Diese Roboterfabrik erledigt dies in 1–2 Stunden für etwa 30 $.
Es ist fair: Da die Fragen neu sind und on-the-fly generiert werden, können die Schüler (KI-Modelle) die Antworten nicht einfach aus ihren Trainingsdaten auswendig lernen. Das Paper fand heraus, dass die „Memorization Signals“ (Betrug durch Auswendiglernen) hier viel schwächer waren als bei alten Tests.

Das Fazrem

Betrachten Sie MMBench-Live als einen Live-Kochwettbewerb, bei dem die Zutaten jede Stunde frisch geliefert werden und die Juroren eine strikte Checkliste haben, um sicherzustellen, dass das Gericht dem ursprünglichen Rezept entspricht. Es beweist, dass wir KI-Modelle fair und genau testen können, ohne in veralteten, auswendig gelernten oder teuren Tests stecken zu bleiben. Es ist ein nachhaltiger Weg, um zu sehen, ob KI tatsächlich intelligenter wird oder nur besser darin wird, die Vergangenheit auswendig zu lernen.

Technisches Resümee: MMBench-Live

Problemstellung

Die Evaluierung von Vision-Language-Modellen (VLM) stützt sich derzeit stark auf statische Benchmarks. Obwohl diese für die Bewertung essenziell sind, leiden diese festen Testsets unter zeitlicher Veraltung (Temporal Staleness), Datenkontamination (bei der Trainingskorpora mit Testdaten überlappen, was die Scores künstlich aufbläht) und prohibitiven Wartungskosten. Da VLMs skalieren und auf immer größeren Web-Korpora trainiert werden, werden statische Benchmarks zu fragilen Stellvertretern für die wahre Leistungsfähigkeit der Modelle.

Bestehende Versuche, Benchmarks zu aktualisieren, stehen vor erheblichen Zielkonflikten:

Selbstentwickelnde Methoden (visuelle Perturbationen/linguistische Umschreibungen) leiden oft unter semantischer Drift und reduzierter Vergleichbarkeit.
Generierungsbasierte Methoden können unter komplexen Einschränkungen zu Distributionsunterschieden führen.
Die Aktualisierung durch Realdaten ist vielversprechend für die Aktualität, lässt aber oft die systematische Struktur vermissen, die notwendig ist, um Aufgabensemantik, distributionsbedingte Konsistenz und die Vergleichbarkeit zwischen Versionen über diverse multimodale Aufgaben hinweg zu bewahren.

Die zentrale Herausforderung besteht darin, einen Benchmark zu schaffen, der sich durch zeitlich frische Daten kontinuierlich weiterentwickelt, während er gleichzeitig eine semantische Kohärenz, distributionsbedingte Konsistenz und eine Evaluationsstabilität aufweist, die mit der ursprünglichen statischen Version vergleichbar ist.

Methodik: MMBench-Live Framework

Die Autoren schlagen MMBench-Live vor, einen sich kontinuierlich weiterentwickelnden multimodalen Benchmark, der über eine Multi-Agenten-gesteuerte automatisierte Pipeline konstruiert wird. Das Framework behandelt die Benchmark-Evolution als einen aufgabenorientierten Datensatz-Konstruktionsprozess, der durch die Aktualisierung des ursprünglichen MMBench realisiert wird.

Die Pipeline besteht aus drei primären Phasen:

1. Strukturierte Benchmark-Spezifikation

Um Konsistenz zu gewährleisten, wird das ursprüngliche MMBench in eine strukturierte Beschreibung umgewandelt, die vier Komponenten enthält:

Evaluationszweck: Hochgradige semantische Charakterisierung (z. B. räumliches Verständnis, kompositionelle Inferenz).
Evaluationsformat: Strukturelle Definitionen von Input-/Output-Modalitäten und Antworttypen.
Aufgabenhierarchie: Eine mehrstufige Dekomposition von grobkörnigen Aufgaben zu feinkörnigen Sub-Aufgaben.
Atomare Aufgaben: Blattebene-Einheiten, die die kleinsten operativen Evaluierungseinheiten definieren. Entscheidend ist, dass jede atomare Aufgabe eine Aufgabencharakterisierung beinhaltet mit:
- Textuell: QA-Beispiele zur Klärung der Semantik.
- Visuell: Aufgabenbezogene visuelle Muster (rekurrente visuelle/semantische Attribute, die nicht explizit definiert, aber implizit einschränkend für gültige Instanzen sind). Diese werden durch ein datengesteuertes Verfahren identifiziert, bei dem ein VLM Muster extrahiert und ein LLM diese konsolidiert.

2. Aufgabenbewusste Datenerfassung

Anstatt einer generischen Suche wird die Datensammlung durch die Aufgabenintention und visuelle Evidenz eingeschränkt. Diese Phase nutzt eine Feedback-gesteuerte Schleife:

Acquisition Planner (Erwerbsplaner): Erstellt einen ausführbaren Plan ( $P_t$ ), der beobachtbare Felder, die Akquisitionsstrategie und Abfragesätze umfasst.
Acquisition Executor (Erwerbsausführer): Unterstützt drei Abrufmodi:
1. Spezifische strukturierte Abfrage: Crawlen ausgewählter autoritativer Seiten.
2. Schlüsselwortgestützte semantische Abfrage: Verwendung der Google Image API mit einem Zeitfenster von einem Jahr, um Aktualität zu gewährleisten.
3. Open-Domain Retrieval: Stichproben aus der Flickr API für eine breite, natürliche Abdeckung.
Feedback Controller (Feedback-Steuerung): Ein leichtgewichtiges multimodales Urteilsorgan ( $J$ $J$ ) bewertet die abgerufenen Kandidaten gegenüber dem Aufgabenzweck ( $G_t$ $G_{t}$ ) und den visuellen Mustern ( $B_t$ $B_{t}$ ).
- Liegt die Akzeptanzrate ( $\rho_q$ ) der Top- $K$ Kandidaten unter einem Schwellenwert ( $\tau$ ), aggregiert der Controller visuelle Begründungen abgelehnter Proben, um die Suchanfrage ( $q_{m+1}$ ) zu verfeinern.
- Diese Schleife läuft für maximal drei Iterationen, um schlecht ausgerichtete Anfragen vor der endgültigen Sammlung zu korrigieren.

3. QA-Generierung und Verifizierung

Um Zuverlässigkeit zu gewährleisten, generiert das System Frage-Antwort-Paare (QA) mit ausführbarer Argumentation:

Generierung: Mehrere multimodale Modelle generieren Kandidaten-QA-Tripletts $(q, a, \pi)$ , wobei $\pi$ ein ausführbarer Lösungsplan ist. Das beste Kandidat wird mittels Modellvergleich und regelbasierten Checks ausgewählt.
Verifizierung der ausführbaren Argumentation: Um visuelle Halluzinationen zu minimieren, wird die Verifizierung von der direkten visionsbasierten Beurteilung entkoppelt.
- Der Lösungsplan $\pi$ wird als Sequenz ausführbarer Operationen behandelt.
- Werkzeuge (z. B. Objekterkennung, Tiefenschätzung, OCR) führen diese Operationen auf dem Bild aus, um textuelle Zwischenergebnisse zu produzieren.
- Ein visionsblinder Sprachmodell-Verifier sagt die Antwort basierend nur auf der Frage und dem werkzeugbasierten Text voraus.
- Die generierte Antwort wird nur akzeptiert, wenn sie mit dem verifizierten Ergebnis übereinstimmt, was sicherstellt, dass das QA-Paar ein deterministisches Validierungsverfahren zulässt.

Kernbeiträge

MMBench-Live Benchmark: Ein sich kontinuierlich weiterentwickelnder Benchmark, der über eine Multi-Agenten-automatisierte Pipeline konstruiert wird, was skalierbare, kostengünstige Updates mit zeitlich frischen Realdaten ermöglicht.
Distributionskonsistente Update-Strategie: Ein neuartiger Ansatz, der die Identifizierung aufgabenbezogener visueller Muster mit einer Feedback-gesteuerten Datenerfassung kombiniert. Dies bewahrt die Aufgabensemantik und die visuellen Charakteristika über Benchmark-Versionen hinweg und adresset das Problem der „semantischen Drift“ bei dynamischen Updates.
Systematische Evaluierung: Umfassende Analyse, die eine hohe QA-Korrektheit, niedrige Konstruktionskosten, stabile Cross-Version-Konsistenz und reduzierte kontaminationsbedingte Memorierungssignale im Vergleich zu statischen Benchmarks nachweist.

Experimentelle Ergebnisse

Das Framework wurde auf MMBench angewendet und generierte 5,9K neue Evaluierungsinstanzen.

QA-Qualität: Eine manuelle Verifizierung von 10 % der Stichproben über alle Aufgaben hinweg ergab eine Antwortkorrektheitsrate von 96,06 %.
Kosten und Effizienz: Jeder Update-Zyklus (1–2 Stunden) kostet etwa 30 $, was eine Reduktion um mehrere Größenordnungen im Vergleich zu manuellen Pipelines darstellt (die typischerweise Tausende von Dollar kosten und Monate dauern).
Modellleistung: Evaluierungen auf repräsentativen Open-Source-VLMs (z. B. Qwen2.5-VL, DeepSeek-VL) zeigten, dass MMBench-Live stabile Modell-Rankings bewahrt. Während spezifische Modelle in unterschiedlichen Dimensionen glänzen (z. B. DeepSeek-VL in der groben Wahrnehmung, Qwen2.5-VL in der feinkörnigen Argumentation), bleibt die allgemeine relative Ordnung konsistent.
Cross-Version-Konsistenz:
- Aufgaben-Modell-Ebene: Pearson-Korrelation von 0,52 und Spearman-Korrelation von 0,43 zeigen, dass Modelle, die im ursprünglichen Benchmark gut abschneiden, tendenziell auch in der aktualisierten Version eine gute Leistung beibehalten.
- Modell-Durchschnittsebene: Stärkere Korrelationen (Pearson 0,89, Spearman 0,83) bestätigen, dass globale Modell-Rankings erhalten bleiben.
Kontaminationsanalyse: Unter Verwendung des PaCoST-Frameworks zur Messung von Memorierungssignalen (Konfidenzverschiebungen zwischen Originalfragen und paraphraisierten Fragen) wies MMBench-Live eine schwächere kontaminationsbedingte Konfidenz-Bias auf als das ursprüngliche MMBench, was auf eine geringere Anfälligkeit für Datenkontamination hindeutet.

Bedeutung und Ansprüche

Das Paper behauptet, dass MMBench-Live ein praktisches, skalierbares und kostengünstiges Paradigma für die nachhaltige Entwicklung multimodaler Benchmarks bietet. Indem das Update von Benchmarks als strukturierter, aufgabenorientierter Konstruktionsprozess und nicht als einfacher Austausch von Stichproben behandelt wird, gelingt es dem Framework, die Balance zwischen der Notwendigkeit zeitlicher Frische und der Notwendigkeit der Evaluationsstabilität zu halten.

Die Autoren betonen, dass ihr Ansatz die „Fragilität“ statischer Benchmarks im Zeitalter schnell skalierender VLMs mildert. Die Einführung der ausführbaren Argumentationsverifizierung und der feedbackgesteuerten Erfassung stellt sicher, dass der Benchmark ein zuverlässiger Stellvertreter für die Modellkapazität bleibt, ohne die prohibitiven Kosten einer manuellen Kuration zu verursachen. Die Ergebnisse legen nahe, dass dynamische Benchmarks feingliedrige Fähigkeitsunterschiede aufzeigen können, während sie die Integrität von Cross-Version-Vergleichen wahren, und bieten somit einen gangbaren Weg für die Community, um Datenkontamination und zeitliche Veraltung zu bekämpfen.