Contextual inference from single objects in Vision-Language models

Die Studie zeigt, dass Vision-Language-Modelle aus einzelnen Objekten auf Kontext schließen können, wobei diese Fähigkeit von menschlich ähnlichen Objektmustern abhängt, aber auf mechanischer Ebene eine komplexe und teilweise entkoppelte Verarbeitung von Szenenidentität und übergeordneten Kategorien aufweist.

Das Wesentliche

Stell dir vor, du betrittst einen Raum, aber du siehst nur ein einziges Objekt. Vielleicht liegt da nur ein Handtuch auf dem Boden oder eine Gabel auf dem Tisch.

Kannst du daraus schließen, wo du bist?

• Ein Handtuch sagt dir sofort: „Ah, das ist ein Badezimmer."
• Eine Gabel sagt dir: „Das ist eine Küche."
• Ein Baumstumpf sagt dir: „Wir sind draußen im Wald."

Das ist etwas, das Menschen sehr gut können. Aber wie ist das bei künstlicher Intelligenz? Können moderne KI-Modelle (die sogenannten Vision-Language-Models oder VLMs) das auch? Und wenn ja, wie funktioniert das in ihrem „Gehirn"?

Genau das haben die Forscher in diesem Papier untersucht. Hier ist die Erklärung, ganz einfach und mit ein paar Bildern im Kopf:

1. Das Experiment: Der „versteckte Hintergrund"

Die Forscher haben den KI-Modellen Bilder gezeigt, aber sie haben den Hintergrund weggezaubert. Es blieb nur das Objekt übrig, schwebend auf einem grauen Hintergrund.

• Frage A: „Was für ein Raum ist das?" (Fein: Badezimmer, Küche, Strand...)
• Frage B: „Ist das drinnen oder draußen?" (Grob: Superordinate)
• Frage C: „Was ist das für ein Objekt?" (Ist es eine Gabel oder ein Baum?)

Das Ergebnis: Die KIs sind nicht dumm! Selbst ohne Hintergrund konnten sie oft erraten, ob es drinnen oder draußen war, und manchmal sogar den genauen Raum. Aber sie waren nicht perfekt.

2. Die zwei Arten von „Wissen" in der KI

Das Papier zeigt, dass die KI zwei verschiedene Arten von Informationen verarbeitet, die sich nicht immer decken:

• Der „Detektiv" (Feine Details): Um zu wissen, ob es eine Küche oder ein Badezimmer ist, schaut die KI auf Spezifität. Ein Herd ist fast immer in einer Küche. Ein Badewanne fast immer im Bad. Das ist wie ein Detektiv, der nach eindeutigen Hinweisen sucht.
• Der „Riese" (Grobe Details): Um zu wissen, ob es drinnen oder draußen ist, schaut die KI vor allem auf die Größe des Objekts. Große, massive Dinge (wie ein ganzer Baum oder ein großes Sofa) geben oft einen besseren Hinweis auf den Kontext als kleine Dinge.

Die Analogie: Stell dir vor, du siehst nur einen kleinen Teil eines riesigen Elefanten (den Rüssel).

• Der „Detektiv" sagt: „Das ist ein Elefant!" (Fein).
• Der „Riese" sagt: „Das ist ein großes Tier, also wahrscheinlich draußen!" (Grob).
  Manchmal stimmt das, manchmal nicht.

3. Das große Geheimnis: Die KI denkt nicht immer logisch zusammen

Das ist der spannendste Teil. Man könnte denken: „Wenn die KI weiß, dass es eine Badewanne ist, muss sie automatisch wissen, dass es ein Badezimmer ist."

Aber nein! Die Forscher haben entdeckt, dass die KI diese Informationen oft getrennt verarbeitet.

• Die KI kann das Wort „Badewanne" erkennen, aber trotzdem raten, dass es ein „Schlafzimmer" ist.
• Oder sie erkennt das Objekt falsch, weiß aber trotzdem, dass es „drinnen" ist.

Die Metapher: Stell dir die KI wie ein Team von drei verschiedenen Experten vor, die in einem Raum sitzen, aber nicht miteinander reden:

1. Experte Objekt: „Ich sehe eine Badewanne!"
2. Experte Raum: „Ich sehe eine Badewanne... also sage ich 'Badezimmer'."
3. Experte Lage: „Ich sehe eine Badewanne... also sage ich 'Drinnen'."

Bei manchen KI-Modellen (wie InternVL) arbeiten diese Experten gut zusammen und stimmen überein. Bei anderen (wie LLaVA) schreien sie durcheinander. Der eine sagt „Küche", der andere „Außen". Das führt zu inkonsistenten Antworten.

4. Wo im Gehirn sitzt das Wissen?

Die Forscher haben sich auch angesehen, wo in der KI diese Informationen gespeichert sind (in den verschiedenen Schichten des neuronalen Netzwerks).

• Raum-Information (z.B. Küche): Diese Information ist wie ein leuchtender Neon-Schriftzug, der sofort angeht, sobald das Bild hereinkommt. Sie ist in fast allen Schichten der KI vorhanden.
• Grobe Information (Drinnen/Draußen): Diese Information ist wie ein Geist, der erst ganz am Ende des Prozesses erscheint. In den frühen Schichten der KI ist davon gar nichts zu spüren. Sie muss erst „herausgearbeitet" werden.

Fazit: Was lernen wir daraus?

1. KIs lernen wie Menschen: Auch KIs nutzen statistische Muster (wie oft kommt ein Objekt in einem Raum vor?), um Kontext zu erraten, genau wie wir Menschen.
2. Es ist komplexer als gedacht: Nur weil eine KI ein Objekt erkennt, heißt das nicht, dass sie den Kontext versteht. Die Fähigkeiten sind oft entkoppelt.
3. Nicht alle KIs sind gleich: Manche Modelle sind besser darin, diese Informationen zu verknüpfen (wie ein gut koordiniertes Team), andere sind eher chaotisch (wie eine Gruppe von Leuten, die sich nicht absprechen).

Zusammengefasst: Wenn du einer KI nur ein Objekt zeigst, kann sie oft raten, wo sie ist. Aber sie tut das nicht immer mit demselben „Gedanken", mit dem sie das Objekt benennt. Es ist, als würde sie zwei verschiedene Bücher gleichzeitig lesen, die aber nicht immer auf derselben Seite aufhören.

Technische Zusammenfassung

Titel: Kontextinferenz aus einzelnen Objekten in Vision-Language-Modellen (VLMs)

Autoren: Martina G. Vilas, Timothy Schaumlöffel, Gemma Roig
Institutionen: Goethe-Universität Frankfurt, Hessisches Zentrum für KI

---

1. Problemstellung

Ein zentrales Forschungsgebiet der menschlichen Szenenwahrnehmung ist die Frage, wie viel Kontextinformation ein einzelnes Objekt trägt. Während bekannt ist, dass Menschen aus einzelnen Objekten Rückschlüsse auf die umgebende Szene (z. B. „Badezimmer") oder übergeordnete Kategorien (z. B. „innen" vs. „außen") ziehen können, ist unklar, wie diese Fähigkeit in Vision-Language-Modellen (VLMs) organisiert ist.
Die Studie adressiert folgende Kernfragen:

• Tragen einzelne Objekte unabhängig vom Hintergrund Kontextinformationen?
• Wird diese Inferenz durch dieselben objektbezogenen Eigenschaften moduliert, die auch beim Menschen die Szenenkategorisierung vorhersagen?
• Ist die Kontextinferenz von der korrekten Objekterkennung unabhängig?
• Werden Szenen- und übergeordnete Informationen durch dieselben internen Mechanismen verarbeitet oder entstehen sie aus unterschiedlichen Pfaden?

2. Methodik

Modelle und Stimuli:
Die Studie evaluierte zwei weit verbreitete große VLMs: LLaVA 1.5-13B und InternVL3.5-14B. Als Datengrundlage diente eine kuratierte Teilmenge des Datensatzes von Greene (2013) mit 2.392 Objekt-Szenen-Paaren aus acht Szenenkategorien (z. B. Badezimmer, Küche, Küste, Wald).

Experimentelles Design:
Jedes Bild wurde den Modellen unter zwei Bedingungen präsentiert:

1. Vollständige Szene: Das Originalbild.
2. Nur Objekt: Nur das Vordergrundobjekt ist sichtbar; der Rest des Bildes wurde durch einen grauen Hintergrund maskiert.

Aufgaben (Prompts):
Für jede Bedingung wurden drei Aufgaben gestellt:

1. Szenenkategorisierung: Inferenz der spezifischen Szene (z. B. „Badezimmer").
2. Übergeordnete Kategorisierung: Inferenz der Kategorie „innen" vs. „außen".
3. Objektidentifikation: Identifikation des gezeigten Objekts.

Analyse der Objekteigenschaften:
Vier Eigenschaften wurden quantifiziert, die in der menschlichen Forschung als prädiktiv gelten:

• Häufigkeit (Frequency): Wahrscheinlichkeit des Objekts in einer Szene.
• Spezifität (Specificity): Wie exklusiv das Objekt eine bestimmte Szene vorhersagt.
• Größe (Size): Flächenanteil des Objekts im Bild.
• Objekttyp: Unterscheidung zwischen „Anker-Objekten" (groß, stationär, z. B. Herd) und „lokalen Objekten" (klein, z. B. Pfanne).

Mechanistische Analyse:

• Repräsentationsstabilität: Berechnung der Kosinussimilarität der Hidden-State-Aktivierungen von Objekt-Patches zwischen den Bedingungen „Vollständige Szene" und „Nur Objekt" über alle Transformer-Lagen hinweg.
• Vokabular-Decoding: Projektion der Bild-Patch-Repräsentationen in den Vokabularraum (Unembedding), um zu prüfen, ob Szenen- und übergeordnete Labels direkt aus den Bild-Tokens decodierbar sind und in welcher Netzwerktiefe dies geschieht.

3. Wichtige Ergebnisse

A. Einzelne Objekte tragen partielle Kontextinformation

• Beide Modelle können aus einem einzelnen Objekt mit über dem Zufall liegender Genauigkeit auf die Szene und die übergeordnete Kategorie schließen.
• Szeneninferenz: Die Genauigkeit sinkt bei maskiertem Hintergrund stark (z. B. LLaVA: 96% → 59%), bleibt aber signifikant. Ein „relaxierter" Score (akzeptiert jede semantisch plausible Szene) zeigt, dass Modelle oft eine plausible, aber nicht die exakte Ground-Truth-Szene inferieren.
• Übergeordnete Inferenz: Die Unterscheidung „innen/außen" ist deutlich robuster (LLaVA: ~94%, InternVL: ~85% im Objekt-only-Modus).
• Objektidentifikation: Es gibt einen interessanten Unterschied zwischen den Modellen. Bei LLaVA verbessert sich die Objekterkennung ohne Hintergrund (weniger Ablenkung), während InternVL bei Vorhandensein des Hintergrunds besser abschneidet.

B. Modulation durch objektbezogene Eigenschaften

• Szenenkategorisierung: Wird primär durch Spezifität, Häufigkeit und Größe des Objekts vorhergesagt. Dies spiegelt menschliche Muster wider.
• Übergeordnete Kategorisierung: Wird fast ausschließlich durch die Größe des Objekts dominiert. Spezifität ist hier weniger relevant oder sogar negativ korreliert (bei InternVL), da stark spezifische Objekte oft nur eine Unterkategorie abdecken und nicht die breite Kategorie (innen/außen) generalisieren.

C. Dissociation zwischen Kontext und Objekterkennung

• Unabhängigkeit: Korrekte Objekterkennung ist für korrekte Kontextinferenz nicht zwingend erforderlich. Modelle können die Szene oft korrekt inferieren, auch wenn sie das Objekt falsch identifizieren (und umgekehrt).
• Konsistenz: Die Vorhersagen sind nicht immer kohärent. Wenn ein Modell ein falsches Objekt nennt, sagt es nicht immer die dazu passende Szene voraus. InternVL zeigt hier eine höhere interne Konsistenz als LLaVA.

D. Mechanistische Einblicke (Repräsentationen)

• Repräsentationsstabilität: Objekte, deren interne Repräsentationen stabil bleiben, wenn der Hintergrund entfernt wird, führen zu höherer Inferenzgenauigkeit. InternVL zeigt insgesamt stabilere Objekt-Repräsentationen als LLaVA.
• Entstehung von Informationen (Layer-Analyse):
  • Szenen-Information: Ist in den Bild-Tokens von der allerersten Transformer-Lage an vorhanden und durch das gesamte Netzwerk hinweg decodierbar.
  • Übergeordnete Information:
    • Bei LLaVA ist übergeordnete Information in den Bild-Tokens kaum decodierbar (AUC unter Zufall), was auf einen anderen Verarbeitungsmechanismus hindeutet.
    • Bei InternVL taucht diese Information erst in späteren Schichten (ca. Layer 25–28) auf und folgt einem anderen zeitlichen Verlauf als die Szenen-Information.

4. Hauptbeiträge und Signifikanz

1. Verifizierung menschlicher Prinzipien in KI: Die Studie zeigt, dass VLMs ähnliche statistische Muster nutzen wie Menschen, um Kontext aus einzelnen Objekten zu inferieren (Modulation durch Häufigkeit, Spezifität, Größe).
2. Dissociation der Inferenzebenen: Es wird nachgewiesen, dass die Inferenz von Szenen, übergeordneten Kategorien und Objekten teilweise unabhängige Repräsentationspfade nutzt. Die Genauigkeit auf einer Ebene garantiert nicht die Genauigkeit auf einer anderen.
3. Mechanistische Unterscheidung: Ein zentrales Ergebnis ist die fundamentale Trennung, wie Szenen- vs. übergeordnete Informationen im Netzwerk verankert sind:
   • Szenenidentität ist früh und durchgängig in den Bild-Tokens kodiert.
   • Übergeordnete Kategorien sind entweder gar nicht (LLaVA) oder erst spät (InternVL) in diesen Tokens sichtbar.
4. Modellvergleich: Die Studie offenbart tiefgreifende architektonische Unterschiede zwischen LLaVA und InternVL. InternVL zeigt eine stärkere Integration von Objekt-, Szenen- und Kontextinformationen, während LLaVA modularer und anfälliger für Kontextverluste ist.

Fazit:
Die Organisation der Kontextinferenz in VLMs ist komplexer als reine Genauigkeitsmetriken vermuten lassen. Die Fähigkeit, Kontext aus einzelnen Objekten abzuleiten, ist keine emergente Eigenschaft einer einzigen Repräsentation, sondern das Ergebnis verschiedener, teils entkoppelter Mechanismen, die stark von der Modellarchitektur abhängen. Dies hat direkte Implikationen für das Verständnis von Modellfehlern, Generalisierungsfähigkeit und die Entwicklung robusterer multimodaler Systeme.