Scale Can't Overcome Pragmatics: The Impact of Reporting Bias on Vision-Language Reasoning

Die Studie zeigt, dass die mangelnden Schlussfolgerungsfähigkeiten von Vision-Language-Modellen auf einen in den Trainingsdaten vorherrschenden Berichtsbias zurückzuführen sind, der durch reine Skalierung nicht behoben werden kann, sondern eine gezielte Kuratierung von Daten erfordert, die implizite Informationen explizit machen.

Das Wesentliche

Das große Missverständnis: „Mehr ist nicht immer besser"

Stell dir vor, du möchtest einen sehr klugen Roboter (einen KI-Modell) bauen, der Bilder versteht und darüber reden kann. Die aktuelle Annahme in der Tech-Welt war lange: „Wenn wir dem Roboter nur noch mehr Bilder und Texte zeigen, wird er von selbst schlau und kann alles verstehen."

Diese Studie sagt jedoch: „Nein, das funktioniert so nicht."

Das Problem liegt nicht daran, dass dem Roboter zu wenig Informationen fehlen, sondern daran, wie diese Informationen gesammelt wurden. Es ist ein Problem der Berichterstattung (im Englischen „Reporting Bias").

Die Analogie: Der Fotograf und der Reporter

Stell dir vor, du hast einen Fotografen, der Bilder macht, und einen Reporter, der die Bilder beschreibt.

1. Wie Menschen Bilder beschreiben: Wenn du ein Foto von einem Hund und einer Katze siehst, sagst du wahrscheinlich: „Ein Hund und eine Katze."

   • Du sagst nicht: „Der Hund steht links von der Katze." (Das ist dir zu offensichtlich).
   • Du sagst nicht: „Es gibt genau 37 Menschen im Hintergrund." (Das zählst du nicht).
   • Du sagst nicht: „Der Hund wird gleich den Ball fangen." (Das ist eine Vermutung über die Zukunft).
   • Du sagst nicht: „Hier ist kein Papagei." (Warum sollte man das erwähnen, wenn keiner da ist?)

2. Das Problem für den Roboter: Die KI lernt aus diesen Beschreibungen. Da die Menschen diese Details (Links/Rechts, Zählen, Zeit, Verneinungen) in ihren Beschreibungen fast immer weglassen, weil sie „selbstverständlich" oder „unnötig" wirken, lernt die KI nie, wie man diese Dinge tut.

Die KI denkt also: „Ah, Menschen erwähnen das nie. Also ist das wahrscheinlich nicht wichtig oder gar nicht vorhanden."

Was haben die Forscher herausgefunden?

Die Forscher haben drei große KI-Modelle untersucht (OpenCLIP, LLaVA, Molmo) und festgestellt:

• Die Daten sind riesig, aber leer: Die Trainingsdaten enthalten Milliarden von Bildern. Aber wenn man genau hinsieht, fehlen darin fast alle Informationen über Raum (wo ist was?), Zeit (was passiert wann?), Zählen (wie viele?) und Verneinung (was ist nicht da?).
• Mehr Skalen hilft nicht: Man könnte denken: „Okay, wir fügen einfach noch mehr Daten hinzu oder machen den Roboter noch größer." Die Studie zeigt: Das bringt nichts. Wenn die Grunddaten immer noch diese Lücken haben, wird ein riesiger Roboter mit riesigen Daten immer noch nicht besser im Zählen oder im Verstehen von „Links/Rechts". Es ist wie ein Koch, der nur mit Salz kocht – egal wie viele Töpfe er hat, er wird nie eine Suppe ohne Salz machen können.
• Sprache spielt keine Rolle: Selbst wenn man Daten aus vielen verschiedenen Sprachen nimmt und ins Englische übersetzt, passiert das Gleiche. Menschen in allen Sprachen lassen diese Details aus.

Die Lösung: Der „Gute Chef" (Anweisungen)

Wie löst man das Problem? Nicht durch mehr Daten, sondern durch bessere Anweisungen.

Stell dir vor, du bist der Chef des Reporters.

• Schlechter Chef: „Beschreibe das Bild." -> Der Reporter sagt: „Ein Hund."
• Guter Chef: „Beschreibe das Bild, aber sag mir genau, wo der Hund steht, wie viele Tiere da sind und ob etwas fehlt." -> Der Reporter sagt: „Ein weißer Hund steht links von zwei Katzen. Es gibt keinen Papagei."

Die Forscher haben gezeigt: Wenn man die Menschen (oder andere KIs), die die Daten erstellen, explizit anweist, diese Details zu erwähnen, passiert Magie. Die Daten füllen sich mit den fehlenden Informationen.

Das Fazit für die Zukunft

Die Studie lehrt uns eine wichtige Lektion:
Wir können nicht einfach darauf hoffen, dass KI durch „Zufall" und „Menge" schlau wird. Wir müssen absichtlich und gezielt Daten sammeln. Wir müssen den Menschen (und den KIs), die die Daten schreiben, genau sagen, was sie tun sollen, damit sie die „stillschweigenden" Dinge (wie Zählen oder räumliche Beziehungen) auch wirklich aufschreiben.

Kurz gesagt: Ein riesiger Haufen Daten bringt nichts, wenn in allen Daten die gleichen wichtigen Details fehlen. Man muss die Daten erst „richtig" füllen, bevor die KI wirklich schlau werden kann.

Technische Zusammenfassung

1. Problemstellung

Trotz beeindruckender Leistungen auf Standard-Benchmarks weisen Vision-Language-Modelle (VLMs) signifikante Defizite bei Aufgaben auf, die logisches Schlussfolgern erfordern, insbesondere beim Zählen, der räumlichen und zeitlichen Reasoning sowie bei der Verarbeitung von Verneinungen (Negation).

Die Autoren postulieren, dass diese Schwächen nicht primär auf architektonische Grenzen oder unzureichende Datenmengen zurückzuführen sind, sondern auf einen Reporting Bias (Berichtungsverzerrung) in den Trainingsdaten.

• Kernthese: Wenn Menschen Bilder beschreiben (z. B. in Alt-Texten oder Captions), neigen sie dazu, implizites Wissen und bestimmte logische Relationen systematisch wegzulassen, da diese nach den Prinzipien der Pragmatik (Grice'sche Maximen) für die Kommunikation als selbstverständlich oder unnötig erachtet werden.
• Beispiel: Statt „37 Personen stehen hinter einem Feld" zu schreiben, wird eher „Bei einem Spiel heute!" verwendet. Informationen wie genaue Anzahlen, räumliche Präpositionen („links von", „unter") oder zeitliche Abläufe werden oft weggelassen, da sie im Kontext als redundant gelten.

2. Methodik

Die Studie verfolgt einen mehrstufigen Ansatz, um diese Hypothese zu validieren und Lösungen zu testen:

A. Theoretische Analyse & Datenuntersuchung

Die Autoren leiten vier Kategorien von vernachlässigtem Reasoning aus linguistischen und kognitiven Theorien ab:

1. Räumlich (Spatial): Präpositionen wie „links von", „über".
2. Zeitlich (Temporal): Begriffe wie „vor", „nach".
3. Zählen (Counting): Exakte Objektanzahlen.
4. Verneinung (Negation): Aussagen wie „kein X".

Sie analysieren große, open-source Bild-Text-Korpora (LAION, LLaVA-1.5, Molmo) auf das Vorkommen dieser Schlüsselwörter. Dabei wird zwischen dem bloßen Vorkommen von Keywords und dem tatsächlichen, visuell validierten Reasoning (True Occurrence) unterschieden.

B. Benchmark-Erstellung

Es wurden vier spezialisierte Benchmarks entwickelt (basierend auf bestehenden Datensätzen wie What'sUp, CountBench, VAW, ControlledImCaps), die VLMs zwingen, genau diese vier Reasoning-Typen in Multiple-Choice- oder Free-Form-Aufgaben anzuwenden.

C. Skalierungsstudien (Scaling Laws)

Die Leistung von Contrastive (OpenCLIP) und Generative VLMs wurde in Abhängigkeit von:

• Modellgröße (Parameter),
• Datenmenge (Training Data Size),
• und multilingualer Vielfalt (Übersetzung nicht-englischer Captions)
  evaluiert, um zu prüfen, ob „Scale" (Skalierung) allein zu einem Emergenten Reasoning führt.

D. Nutzerstudie zur Gegensteuerung

Um zu testen, ob der Bias durch Anweisungen beeinflussbar ist, wurde eine kontrollierte Studie durchgeführt. Annotatoren erhielten denselben Bildsatz (aus COCO), aber unterschiedliche Instruktionen:

• Standard (COCO),
• LLaVA-1.5 Art,
• PixMo Art,
• Spezifische Instruktionen der Autoren: Explizite Aufforderung, räumliche, zeitliche, zählende und verneinende Informationen zu erwähnen.

E. Feinabstimmung (Fine-Tuning)

Um die praktische Wirksamkeit zu testen, wurde ein subset des LLaVA-1.5-Modells auf einem Datensatz feinabgestimmt, der durch die neuen Instruktionen eine signifikant höhere Dichte an Zähl-Informationen (39% vs. 6% im Original) aufwies.

3. Wichtige Ergebnisse

Datenanalyse (Reporting Bias)

• Selbst in Web-Scale-Datensätzen (Milliarden von Datenpunkten) sind die relevanten Reasoning-Muster extrem selten.
• Beispiel LAION: Räumliches Reasoning kommt nur in ca. 0,1 % der Daten vor.
• Die Autoren zeigen, dass synthetisch generierte Daten (z. B. durch LLMs wie GPT-4 in LLaVA-1.5) denselben Bias aufweisen, da diese Modelle auf menschlichen Daten trainiert wurden.

Modellleistung

• Leistungslücke: VLMs schneiden bei diesen Reasoning-Aufgaben deutlich schlechter ab als Menschen (im Durchschnitt 54 Punkte hinter menschlicher Leistung).
• Negation: Modelle schneiden hier oft schlechter als bei Zufall (Random Chance), da sie Verneinungen systematisch ignorieren.
• Skalierungseffekt:
  • Eine Vergrößerung der Modellgröße oder der Datenmenge führt nicht zu einem automatischen Emergenten Reasoning.
  • Die Skalierungsgesetze zeigen, dass selbst bei exponentiell steigendem Compute die Leistung bei Negation und zeitlichem Reasoning nicht annähernd menschliches Niveau erreicht (die Verlustkurve flacht ab, statt auf Null zu fallen).
  • Multilinguale Vielfalt (Übersetzung von Captions) verbessert die Leistung nicht, da der Bias sprachübergreifend existiert.

Wirksamkeit von Anweisungen

• Nutzerstudie: Spezifische Anweisungen erhöhten das Vorkommen der gewünschten Reasoning-Typen drastisch (z. B. 39% Zähl-Informationen vs. 6% bei Standard-Instructions).
• Fine-Tuning: Modelle, die auf Daten mit weniger Reporting Bias (höhere Dichte an Reasoning-Informationen) feinabgestimmt wurden, zeigten signifikante Verbesserungen in der entsprechenden Reasoning-Aufgabe (Zählen), was beweist, dass die Architektur der Modelle das Reasoning prinzipiell beherrschen kann, wenn die Daten es zulassen.

4. Hauptbeiträge

1. Identifikation des Reporting Bias: Nachweis, dass selbst Web-Scale-Korpora systematisch wichtige Reasoning-Informationen (räumlich, zeitlich, zählend, negierend) vermissen lassen, bedingt durch menschliche Kommunikationsgewohnheiten.
2. Entkräftung des „Scale"-Mythos: Demonstration, dass das bloße Skalieren von Daten und Parametern nicht ausreicht, um diese Reasoning-Fähigkeiten zu erlernen, da die zugrundeliegenden menschlichen Verhaltensmuster sich nicht ändern.
3. Neue Benchmarks: Bereitstellung von evaluierten Benchmarks für Contrastive und Generative VLMs, die spezifisch auf diese vernachlässigten Reasoning-Typen abzielen.
4. Lösungsansatz durch Intentionalität: Beweis, dass gezielte Anweisungen an Annotatoren (oder LLMs) den Bias effektiv mitigieren können und zu besseren Trainingsdaten führen.

5. Bedeutung und Implikationen

Die Arbeit hat tiefgreifende Konsequenzen für die Zukunft der VLM-Forschung:

• Paradigmenwechsel: Die Forschung muss weg vom reinen „More Data"-Ansatz hin zu intentionaler Datencuration. Es reicht nicht, mehr Bilder zu sammeln; die Art und Weise, wie diese Bilder beschrieben werden, muss aktiv gesteuert werden.
• Qualität vor Quantität: Die Qualität der Annotationen (durch spezifische Prompts) ist entscheidender als die reine Menge der Datenpunkte.
• Synthetische Daten: Auch bei der Generierung von Daten durch LLMs müssen die Instruktionen sorgfältig gestaltet werden, da LLMs den menschlichen Reporting-Bias replizieren.
• Zukünftige Richtungen: Die Autoren fordern Methoden zur automatischen Identifikation von Lücken in Korpora und zur gezielten Synthese von Daten, die diese Lücken füllen, anstatt auf das zufällige Auftreten von Reasoning-Mustern zu hoffen.

Zusammenfassend zeigt das Paper, dass Pragmatik (die Art, wie Menschen kommunizieren) eine größere Hürde für das Reasoning von KI-Modellen darstellt als die reine Rechenleistung oder Datenmenge. Um menschähnliches Reasoning zu erreichen, müssen Trainingsdaten aktiv so kuratiert werden, dass sie die impliziten Informationen explizit machen.