Multimodal Large Language Models as Image Classifiers

Diese Studie zeigt, dass die vermeintlich schwache Klassifizierungsleistung von multimodalen Sprachmodellen (MLLMs) hauptsächlich auf fehlerhafte Evaluierungsprotokolle und verrauschte Ground-Truth-Daten zurückzuführen ist, die durch korrekte Annotationen und optimierte Protokolle behoben werden können, wodurch sich die Lücke zu überwachten Modellen erheblich verringert und MLLMs zudem als wertvolle Werkzeuge für die menschliche Datenerstellung erweisen.

Das Wesentliche

Stell dir vor, du hast einen riesigen, superintelligenten Bibliothekar namens MLLM (Multimodales Großes Sprachmodell). Dieser Bibliothekar kann nicht nur lesen, sondern auch Bilder sehen und verstehen. Die Frage der Forscher war: „Ist dieser Bibliothekar eigentlich gut darin, Bilder zu klassifizieren, also zu sagen: ‚Das ist eine Katze' oder ‚Das ist ein Auto'?"

Die Antwort der Wissenschaftler aus Prag ist überraschend: Es kommt ganz darauf an, wie man ihn testet und wie gut die Vorlagen sind, nach denen er arbeitet.

Hier ist die Geschichte des Papers, einfach erklärt:

1. Das Problem: Der faule Bibliothekar oder ein schlechter Test?

In der Vergangenheit gab es viele Diskussionen. Manche sagten: „Der Bibliothekar ist schlecht, er kennt sich mit Bildern nicht aus!" Andere sagten: „Nein, er ist genial!"
Die Forscher haben herausgefunden, dass beide Seiten recht hatten, aber aus den falschen Gründen. Es lag nicht am Bibliothekar selbst, sondern am Testsystem:

• Der „Multiple-Choice"-Trick: Oft wurde der Bibliothekar wie in einer Schulprüfung getestet. Man zeigte ihm ein Bild und gab ihm vier Antwortmöglichkeiten: „Katze, Hund, Auto, Banane". Da die falschen Antworten (die „Distraktoren") oft so dumm waren (z. B. „Banane" bei einem Bild von einem Hund), hat der Bibliothekar die richtige Antwort leicht erraten. Das war wie eine Prüfung, bei der die falschen Antworten so offensichtlich falsch waren, dass man sie gar nicht lesen musste. Das Ergebnis war zu gut – ein Trugbild.
• Die „Offene Welt"-Falle: Wenn man den Bibliothekar bat, das Bild frei zu beschreiben (ohne vorgegebene Antworten), passierte oft etwas Seltsames: Er nannte Dinge, die gar nicht auf der Liste der erlaubten Antworten standen. Zum Beispiel nannte er „Labrador", obwohl auf der Liste nur „Hund" stand. In alten Tests wurde das als Fehler gewertet. Die Forscher sagen: „Nein, das ist kein Fehler! Er hat das Bild richtig erkannt, nur die Übersetzung in die Liste hat nicht geklappt."
• Der alte, schmutzige Katalog (Ground Truth): Das größte Problem war der Katalog, nach dem geprüft wurde (ImageNet). Dieser Katalog ist alt und voller Fehler. Manche Bilder haben zwei Tiere drauf, aber der Katalog sagt nur „Hund". Oder ein Bild zeigt einen „Glas", aber der Katalog sagt „Tasse". Wenn der Bibliothekar das Richtige sagt, aber der Katalog falsch ist, wird er als „falsch" abgestempelt.

2. Die Lösung: Ein neuer, sauberer Katalog (ReGT)

Die Forscher haben sich hingesetzt und 625 Kategorien des Bilderkatalogs neu überprüft und korrigiert. Sie haben die alten, falschen Etiketten entfernt und durch korrekte, manchmal sogar mehrfache Beschreibungen ersetzt.
Stell dir vor, sie haben den alten, vergilbten und fehlerhaften Bibliothekskatalog durch einen modernen, digitalen Katalog ersetzt.

Das Ergebnis war verblüffend:
Sobald sie den Bibliothekar mit dem neuen, sauberen Katalog prüften, verbesserte sich seine Leistung drastisch (bis zu +10,8 %!).

• Die Erkenntnis: Der Bibliothekar war gar nicht so schlecht. Er wurde nur durch den schmutzigen alten Katalog und die zu leichten Tests in die Irre geführt.
• Der Vergleich: Früher dachte man, spezialisierte Bilderkennungs-Computer (die nur für Bilder trainiert wurden) seien viel besser als der Bibliothekar. Mit dem neuen Katalog hat sich diese Lücke fast halbiert! Der Bibliothekar ist fast so gut wie die Spezialisten.

3. Die neuen Test-Methoden (CW+)

Die Forscher haben auch neue Regeln für den Test eingeführt:

• Die „Nahe-Neighbour"-Methode: Wenn der Bibliothekar etwas sagt, das nicht exakt auf der Liste steht (z. B. „Labrador" statt „Hund"), schauen wir nicht sofort auf „Falsch". Stattdessen suchen wir im Text-Universum nach dem nächsten Wort auf der Liste. Da „Labrador" und „Hund" sehr nah beieinander liegen, wird es als richtig gewertet. Das ist wie wenn ein Schüler „Hund" schreibt, aber der Lehrer „Labrador" erwartet hat – man gibt ihm trotzdem die volle Punktzahl, weil es dasselbe ist.

4. Der Bibliothekar als Assistent für Menschen

Das Coolste am Ende: Der Bibliothekar ist nicht nur ein Schüler, sondern kann auch Lehrer sein!
In einem Experiment haben die Forscher Bilder gezeigt, bei denen der Bibliothekar und die menschlichen Prüfer unterschiedlicher Meinung waren.

• In 50 % der schwierigen Fälle haben die menschlichen Prüfer nachgesehen und gesagt: „Stimmt, der Bibliothekar hat recht! Wir waren falsch."
• Der Bibliothekar kann also helfen, alte Fehler in riesigen Datensätzen zu finden und zu korrigieren. Er ist wie ein super-effizienter Korrekturleser, der uns hilft, unsere eigenen Datenbanken sauberer zu machen.

Zusammenfassung in einer Metapher

Stell dir vor, du hast einen Genie-Schüler (den MLLM), der in einer veralteten, fehlerhaften Schule (ImageNet) unterrichtet wird.

• Die Lehrer (alte Studien) sagen: „Der Schüler ist dumm, er macht Fehler!"
• Aber die Fehler kommen daher, dass die Schulbücher falsch sind (schlechte Labels) und die Klausuren zu einfach (Multiple Choice mit dummen Antworten) oder zu streng (jedes kleine Wort zählt als Fehler).
• Die Forscher haben die Schulbücher korrigiert und die Klausuren fairer gestaltet.
• Ergebnis: Der Schüler ist eigentlich ein Genie! Und er kann sogar den Lehrern helfen, die restlichen Fehler in den Büchern zu finden.

Fazit: Multimodale KI-Modelle sind viel besser im Bilderkennen, als wir bisher dachten. Wir müssen sie nur fairer testen und mit saubereren Daten füttern.

Technische Zusammenfassung

1. Problemstellung

Die Leistungsfähigkeit von Multimodalen Large Language Models (MLLMs) bei der Bildklassifizierung wird in der aktuellen Literatur unterschiedlich bewertet. Während einige Studien MLLMs als deutlich unterlegen gegenüber überwachten Modellen und Vision-Language-Modellen (VLMs) wie CLIP oder SigLIP einstufen, zeigen andere Ergebnisse, die vergleichbar sind. Die Autoren identifizieren, dass diese widersprüchlichen Schlussfolgerungen auf mangelhafte Evaluierungsprotokolle und fehlerhafte Ground-Truth-Labels zurückzuführen sind.

Die Hauptprobleme sind:

• Fehlerhafte Ground Truth: Der ImageNet-1k-Datensatz, der als Standardbenchmark dient, enthält bekannte Fehler (ca. 20 % Fehlerquote im Validierungsset), mehrdeutige Klassen und Bilder mit mehreren Objekten, die jedoch nur mit einem einzelnen Label versehen sind.
• Inflatierte oder unterschätzte Protokolle:
  • Multiple-Choice (MC): Oft werden zu einfache Distraktoren (falsche Antwortmöglichkeiten) verwendet, was die Leistung künstlich aufbläht.
  • Open-World (OW): Die Zuordnung freier Textausgaben zu Klassen erfolgt oft ineffizient (z. B. durch einfaches String-Matching), was zu unnötig schlechten Ergebnissen führt.
  • Closed-World (CW): MLLMs generieren häufig Labels, die nicht in der vorgegebenen Liste enthalten sind („Out-of-Prompt" oder Halluzinationen). Diese werden in bisherigen Studien pauschal als falsch gewertet, obwohl sie semantisch korrekt sein könnten.

2. Methodik

Die Autoren führen eine umfassende Neubewertung durch, die drei Hauptpfeiler umfasst:

A. Neue Ground Truth (ReGT)

Statt sich auf die originalen ImageNet-Labels zu verlassen, haben die Autoren 625 Klassen des ImageNet-1k-Validierungssets (insgesamt 31.250 Bilder) neu annotiert (ReGT).

• Ziel: Reduktion von Rauschen, Mehrdeutigkeiten und Fehlern.
• Strategie: Annotatoren wurden geschult, um Objekte zu erkennen und Mehrfachlabel zu vergeben. Bilder ohne korrekte ImageNet-Klasse wurden als solche markiert.
• Kategorisierung: Die Bilder wurden basierend auf Übereinstimmung mit dem Original (ImGT) und der Anzahl der Labels in Kategorien unterteilt (z. B. ein-Label, Mehrfach-Label, keine korrekte Original-Label).

B. Verbesserte Evaluierungsprotokolle

Die Studie vergleicht MLLMs, VLMs und überwachte Modelle unter drei Szenarien innerhalb eines einheitlichen Rahmens:

1. Open-World (OW): Das Modell generiert eine freie Beschreibung, die mittels Text-Embedding (Nearest-Neighbor-Suche im Vektorraum) auf die Klassenliste gemappt wird. Dies ist effizienter als reines String-Matching.
2. Multiple-Choice (MC): Das Modell wählt aus 4 Optionen. Die Autoren testen verschiedene Strategien zur Generierung von Distraktoren (zufällig vs. basierend auf der Verwechslungsmatrix von EVA-02), um die Schwierigkeit zu erhöhen.
3. Closed-World (CW) & CW+:
   • CW: Das Modell muss aus einer vollständigen Liste von 1000 Klassen wählen.
   • CW+ (Neu): Um das Problem der „Out-of-Prompt" (OOP) Vorhersagen zu lösen, werden Ausgaben, die nicht in der Liste stehen, nicht verworfen, sondern über Text-Embeddings auf die nächstgelegene gültige Klasse gemappt. Dies ermöglicht eine faire Bewertung der 1000-Klassen-Aufgabe ohne teure constrained decoding.

C. Analyse von Design-Entscheidungen

Es werden Einflüsse von Batch-Größe, Bildreihenfolge innerhalb eines Batches und der Wahl des Text-Encoders quantifiziert.

D. Fallstudie zur Annotation

In einer kontrollierten Studie halfen Annotatoren, MLLM-Vorhersagen (GPT-4o) zu überprüfen. In ca. 50 % der schwierigen Fälle (wo das Original-Label und ReGT abwichen) bestätigten oder integrierten die Annotatoren die MLLM-Vorhersage, was die Rolle von MLLMs als Annotation-Assistenten unterstreicht.

3. Schlüsselbeiträge

1. Verbesserter Benchmark: Einführung eines einheitlichen Frameworks für OW, MC und CW(+) sowie die Bereitstellung der neuen ReGT-Annotationen für 625 Klassen.
2. CW+ Methode: Eine leichte, Embedding-basierte Nachverarbeitung, die OOP-Vorhersagen korrigiert und eine vollständige Closed-World-Evaluation ohne Token-Limit-Probleme ermöglicht.
3. Empfindlichkeit gegenüber Label-Rauschen: Die Studie zeigt, dass MLLMs (und weniger stark überwachte Modelle) am stärksten von korrigierten Labels profitieren (bis zu +10,8 % Genauigkeitssteigerung). Dies deutet darauf hin, dass die wahrgenommene Schwäche von MLLMs oft auf schlechte Ground Truth zurückzuführen ist, nicht auf Modellmängel.
4. Quantifizierung von Protokoll-Bias: Es wird gezeigt, dass die Wahl der Distraktoren (z. B. Verwechslungsmatrix-basiert) die Genauigkeit um 10–15 % senken kann und Batch-Größen die Ergebnisse signifikant beeinflussen.
5. MLLMs als Annotationstools: Nachweis, dass MLLMs menschliche Annotatoren effektiv unterstützen können, um verbleibende Fehler in großen Datensätzen zu identifizieren.

4. Ergebnisse

• Leistungssteigerung durch ReGT: Auf den neuen Labels (ReGT) verbessert sich die Leistung aller MLLMs signifikant.
  • PaliGemma 2: +10,8 %
  • LLaVA-OneVision: +8,6 %
  • InternVL3.5: +8,3 %
  • Qwen3-VL: +7,9 %
  • GPT-4o: +6,0 %
  • Überwachte Modelle (z. B. EfficientNet, EVA-02) profitieren deutlich weniger (+0,7 % bis +1,3 %), da sie stärker an das ursprüngliche Label-Rauschen angepasst sind.
• Schließung der Leistungslücke: Der wahrgenommene Abstand zwischen den besten MLLMs und überwachten Modellen halbiert sich fast auf den neuen Labels.
• CW+ vs. CW: Die CW+-Methode (Embedding-Mapping) übertrifft das reine CW-Protokoll konsistent, insbesondere bei schwierigen Untergruppen (Mehrfach-Label-Bilder). LLaVA-OV profitiert hier am meisten, da es eine hohe OOP-Rate hat, die durch Mapping korrigiert wird.
• Open-World vs. Closed-World: Im Gegensatz zu früheren Studien, die CW als überlegen ansahen, schneiden einige MLLMs (LLaVA-OV, Qwen3-VL) im OW-Modus (mit Embedding-Mapping) besser ab als im CW-Modus.
• Distraktoren: Schwierigere Distraktoren (basierend auf Verwechslungsmatrizen) führen zu einem deutlichen Leistungsabfall (10–15 %), was frühere, optimistische MC-Ergebnisse in Frage stellt.

5. Bedeutung und Fazit

Die Studie widerlegt die Annahme, dass MLLMs für die Bildklassifizierung grundsätzlich ungeeignet seien. Stattdessen zeigt sie, dass die bisherigen negativen Ergebnisse oft Artefakte von verrauschten Ground-Truth-Daten und ineffizienten Evaluierungsprotokollen sind.

• Für die Forschung: Es ist dringend notwendig, sauberere Benchmarks (wie ReGT) und robustere Protokolle (CW+, schwierige Distraktoren) zu verwenden, um die wahre Leistungsfähigkeit von MLLMs zu messen.
• Für die Praxis: MLLMs sind nicht nur leistungsfähige Klassifikatoren, sondern auch wertvolle Werkzeuge zur Datensatz-Pflege, da sie in der Lage sind, verbleibende Annotationfehler in großen Datenmengen zu erkennen und zu korrigieren.
• Paradigmenwechsel: Modelle, die weniger auf rein überwachte Trainingsdaten angewiesen sind (wie MLLMs), reagieren empfindlicher auf die Qualität der Annotationen, was ihre Fähigkeit zur Generalisierung und Anpassung an korrekte semantische Konzepte unterstreicht.

Zusammenfassend liefert das Paper einen methodischen Meilenstein, der die Bewertung von Multimodal-Modellen auf ein faires und realistisches Fundament stellt und deren Potenzial für die visuelle Erkennung neu definiert.