Large Multimodal Models as General In-Context Classifiers

Die Arbeit zeigt, dass Large Multimodal Models (LMMs) durch In-Context-Learning und die vorgeschlagene, trainingsfreie Methode CIRCLE sowohl in geschlossenen als auch in offenen Klassifizierungsszenarien wettbewerbsfähige Alternativen zu spezialisierten Contrastive Vision-Language-Modellen darstellen.

Das Wesentliche

Titel: Wie man große KI-Modelle zu super-Clownern macht – ohne sie neu zu erfinden

Stell dir vor, du hast zwei verschiedene Arten von Künstlern in deinem Atelier:

1. Der Spezialist (CLIP): Dieser Künstler ist extrem gut darin, Bilder zu vergleichen. Wenn du ihm ein Foto von einem Hund zeigst und fragst: „Ist das ein Hund, eine Katze oder ein Auto?", kann er das blitzschnell und fast immer richtig beantworten. Aber er ist stur: Er kennt nur die Begriffe, die du ihm vorher aufgelistet hast. Wenn du ihn fragst: „Was ist das für ein Tier?", antwortet er oft nur mit dem, was er gerade gelernt hat, oder er erfindet Dinge, die nicht passen.
2. Der Allrounder (LMM – Large Multimodal Model): Dieser Künstler ist ein Genie. Er kann Bilder beschreiben, Geschichten erzählen, Witze machen und komplexe Fragen beantworten. Aber wenn du ihn bittest, ein Bild nur in eine von drei Kategorien einzuordnen (z. B. „Hund, Katze, Auto"), macht er oft Fehler. Er ist zu kreativ und denkt zu viel nach, statt einfach nur zu klassifizieren.

Bisher dachten alle: „Für das einfache Einteilen von Bildern ist der Spezialist (CLIP) besser."

Die große Entdeckung dieses Papiers:
Die Forscher haben festgestellt, dass man dem Allrounder (LMM) einfach ein paar Beispiele geben muss, damit er plötzlich besser ist als der Spezialist.

Stell dir vor, du bringst dem Allrounder bei, wie man ein Bild klassifiziert, indem du ihm sagst:

• „Schau mal, dieses Bild hier ist ein Hund."
• „Und dieses hier ist eine Katze."
• „Und dieses ist ein Auto."

Wenn du ihm dann ein neues Bild zeigst, schaut er auf diese Beispiele und sagt: „Aha! Das neue Bild sieht aus wie der Hund, also ist es ein Hund!"

Das nennt man „In-Context Learning" (Lernen im Kontext). Das Papier zeigt: Wenn man dem Allrounder ein paar Beispiele gibt, kann er den Spezialisten sogar schlagen!

Das Problem im „offenen Welt"-Szenario:
Jetzt wird es knifflig. Stell dir vor, du hast keine Liste mit Kategorien (keine Hunde, Katzen, Autos). Du hast nur einen Haufen Bilder und weißt nicht, was sie sind.

• Wenn du dem Allrounder einfach nur zufällige Bilder zeigst, um ihm zu helfen, wird er verwirrt. Er beginnt zu halluzinieren und sagt Dinge wie: „Das ist ein Flugzeug, aber auch ein Hubschrauber und vielleicht ein Wetterballon." Das hilft nicht weiter.
• Der Spezialist (CLIP) scheitert hier auch, weil er keine Liste von Kategorien hat, mit der er vergleichen kann.

Die Lösung: CIRCLE (Der selbstkorrigierende Kreis)
Hier kommt die geniale Idee des Papiers ins Spiel, genannt CIRCLE.

Stell dir vor, du hast eine Gruppe von Bildern, deren Inhalt du nicht kennst. Du willst sie sortieren.

1. Der erste Versuch: Du fragst den Allrounder: „Was ist auf diesem Bild?" Er antwortet: „Ich denke, das ist ein Hund."
2. Der Kreislauf: Jetzt nimmst du diese Antwort („Hund") und gibst sie dem Allrounder als Hinweis für die anderen Bilder.
   • Du sagst: „Okay, wenn Bild A ein Hund ist, was ist dann Bild B? Ist es auch ein Hund oder vielleicht eine Katze?"
   • Der Allrounder nutzt die Antwort für Bild A, um Bild B besser zu verstehen.
   • Dann nutzt er die Antwort für Bild B, um Bild A nochmal zu überprüfen.

Das machen sie immer und immer wieder (wie ein Kreislauf). Durch dieses ständige „Nachdenken" und gegenseitige Abgleichen werden die Antworten immer genauer. Der Allrounder korrigiert sich selbst, bis er eine klare, konsistente Antwort findet.

Warum ist das toll?

• Kein Training nötig: Man muss den KI-Modell nicht neu trainieren (was teuer und langsam ist). Man nutzt nur die Intelligenz, die schon da ist.
• Besser als die Spezialisten: Mit dieser Methode (CIRCLE) sind die kreativen Allrounder-Modelle plötzlich besser darin, Bilder zu erkennen als die starren Spezialisten, besonders wenn es um schwierige, offene Fragen geht.
• Flexibilität: Es funktioniert, egal ob du 4 Bilder oder 16 Bilder als Beispiele hast.

Zusammenfassung in einem Satz:
Das Papier zeigt, dass große KI-Modelle (LMMs) nicht schlechter im Klassifizieren sind als die alten Spezialisten – sie brauchen nur ein paar Beispiele und eine Methode, die sie dazu bringt, sich selbst zu korrigieren (CIRCLE), um ihr volles Potenzial zu entfalten.

Technische Zusammenfassung

1. Problemstellung

Die Arbeit adressiert die Frage, welche Art von multimodalen Modellen für Bildklassifizierungsaufgaben am besten geeignet ist. Bisherige Studien favorisierten kontrastive Vision-Language-Modelle (VLMs) wie CLIP für Klassifizierungsaufgaben, insbesondere im „Zero-Shot"-Modus (ohne Anpassung an neue Daten), während Large Multimodal Models (LMMs) eher für komplexe generative Aufgaben angesehen wurden.

Die Autoren identifizieren zwei Hauptprobleme:

• Closed-World-Klassifizierung: LMMs schneiden in herkömmlichen Benchmarks oft schlechter ab als VLMs, obwohl sie rechnerisch leistungsfähiger sind. Es wurde angenommen, dass LMMs inhärent schlechter in diskriminativen Aufgaben sind.
• Open-World-Klassifizierung: In Szenarien ohne vordefinierte Klassenkategorien (Open-World) fehlen LMMs oft die Konsistenz und Genauigkeit. Zudem scheitern einfache „In-Context Learning" (ICL) Ansätze bei LMMs oft daran, dass die Kontextbeispiele (Beispielbilder) keine korrekten Labels haben, was zu Halluzinationen oder inkonsistenten Granularitäten führt.

Die zentrale Hypothese der Arbeit ist, dass LMMs nicht per se schlechter sind, sondern dass ihre Leistung stark von der Art des Kontexts abhängt, der ihnen zur Verfügung gestellt wird.

2. Methodik

Die Arbeit untersucht systematisch die Rolle des In-Context Learning (ICL) bei LMMs und vergleicht sie mit etablierten Methoden für VLMs.

A. Closed-World-Analyse (Vordefinierte Klassen)

• Vergleich: Die Autoren vergleichen VLMs (unter Verwendung von Tip-Adapter, einer Cache-basierten Few-Shot-Methode) mit LMMs (unter Verwendung von Vanilla ICL, bei dem annotierte Beispielbilder direkt in den Eingabekontext des LLMs eingefügt werden).
• Ergebnis: Während LMMs im Zero-Shot-Modus schlechter abschneiden, holen sie mit wenigen Beispielen (Few-Shot) auf. Mit ausreichend Kontext (z. B. 16 Beispiele) können starke LMMs (wie Qwen2-VL) die Leistung von starken VLMs (wie CLIP ViT-L/14) erreichen oder sogar übertreffen. LMMs zeigen eine höhere Sample-Effizienz, da sie mit weniger Beispielen eine größere relative Leistungssteigerung erzielen als VLMs.

B. Open-World-Analyse (Keine vordefinierten Klassen)

Hier liegt die größte Herausforderung: Es gibt keine Ground-Truth-Labels für die Kontextbeispiele.

• Problem naive ICL: Wenn man LMMs einfach ungelabelte Bilder als Kontext gibt, generieren sie oft inkonsistente oder falsche Pseudo-Labels, was die Leistung verschlechtert.
• Lösung: CIRCLE (Iterative Refinement):
  Die Autoren schlagen CIRCLE (CIRCLE Iteratively Refines Contextual Learning Examples) vor, eine trainingsfreie Methode:
  1. Initialisierung: Das LMM generiert zunächst Pseudo-Labels für eine Menge ungelabelter Kontextbilder.
  2. Iterative Verfeinerung: In einem zyklischen Prozess wird für jedes Kontextbild ein neuer Kontext erstellt, der aus allen anderen Kontextbildern und deren aktuellen Pseudo-Labels besteht. Das Modell nutzt diesen Kontext, um das Pseudo-Label des aktuellen Bildes zu verfeinern.
  3. Konvergenz: Dieser Prozess wird über mehrere Runden wiederholt, bis die Labels stabil sind.
  4. Klassifizierung: Das finale, verfeinerte Kontextset wird verwendet, um die eigentliche Abfrage (Query) zu klassifizieren.

Dieser Ansatz nutzt die Abhängigkeiten zwischen den Beispielen im Kontext, um die semantische Granularität und Konsistenz der Labels automatisch zu verbessern, ohne menschliche Annotationen.

3. Schlüsselbeiträge

1. Systematische Analyse von ICL in LMMs: Der erste umfassende Nachweis, dass LMMs mit ICL im Closed-World-Szenario mit VLMs konkurrieren und diese übertreffen können.
2. Entwicklung von CIRCLE: Eine neue, trainingsfreie Methode für Open-World-Klassifizierung, die Pseudo-Labels iterativ verfeinert. Sie löst das Problem der Inkonsistenz bei ungelabelten Kontextdaten.
3. Benchmark-Ergebnisse: Umfassende Experimente zeigen, dass CIRCLE LMMs in der Lage ist, VLMs in Open-World-Szenarien deutlich zu übertreffen, sowohl in Bezug auf die Korrektheit (Llama Inclusion) als auch auf die semantische Relevanz der Antworten.

4. Ergebnisse

Die Experimente wurden auf 10 verschiedenen Datensätzen (z. B. Caltech101, Flowers102, Stanford Cars, Open-World-Daten) durchgeführt.

• Closed-World:

  • LMMs (z. B. Phi-3.5-Vision, Qwen2-VL) steigern ihre Genauigkeit um bis zu +29,2% (bei 16-Shot) gegenüber dem Zero-Shot-Baseline.
  • Bei 16 Beispielen erreicht Qwen2-VL 7B eine Genauigkeit, die mit dem stärksten CLIP-Modell (ViT-L/14) gleichzieht oder diese übertrifft.
  • LMMs profitieren deutlich stärker von zusätzlichen Kontextbeispielen als VLMs.

• Open-World:

  • Naives ICL (Random Context oder einfache Pseudo-Labeling) führt oft zu Leistungsabfällen im Vergleich zum Zero-Shot-Modell.
  • CIRCLE kehrt diesen Trend um: Es verbessert die Llama Inclusion (LI) (Korrektheit des Labels) signifikant.
    • Beispiel: Bei Qwen2.5-VL steigt die LI auf Prototyp-Datensätzen von 82,9 (Zero-Shot) auf 94,9 (mit CIRCLE).
    • Bei Phi-3.5-Vision steigt die LI im Very Fine-grained-Bereich von 54,2 auf 99,6.
  • CIRCLE übertrifft konsistent sowohl die Baseline-VLMs (wie CaSED) als auch andere ICL-Varianten in allen Metriken (LI, Semantic Similarity, Concept Similarity).

5. Bedeutung und Fazit

Die Arbeit widerlegt die Annahme, dass VLMs für diskriminative Aufgaben (Klassifizierung) überlegen sind. Sie zeigt vielmehr, dass LMMs, wenn sie richtig konditioniert werden (durch ICL und insbesondere durch CIRCLE im Open-World-Szenario), als universelle Klassifizierer fungieren können.

• Einheitlichkeit: LMMs können sowohl generative als auch diskriminative Aufgaben mit einem einzigen Modell bewältigen, was die Notwendigkeit spezialisierter Modelle reduziert.
• Trainingsfreiheit: CIRCLE erfordert keine Feinabstimmung (Fine-Tuning) und keine menschlichen Annotationen, was es für ressourcenbeschränkte Umgebungen und dynamische Datenströme (Streaming) äußerst attraktiv macht.
• Zukunftsperspektive: Die Studie legt nahe, dass VLMs in Zukunft eher als „Kontext-Bausteine" für LMMs dienen könnten, um deren diskriminative Fähigkeiten zu maximieren.

Zusammenfassend demonstriert das Paper, dass durch die intelligente Nutzung von Kontext und iterativer Selbstverfeinerung (CIRCLE) die latenten Fähigkeiten von Large Multimodal Models für Klassifizierungsaufgaben voll ausgeschöpft werden können.