Would you still call this Dax? Novel Visual References in VLMs and Humans

Das Wesentliche

Stellen Sie sich vor, Sie bringen einem Roboter ein brandneues Wort für ein brandneues Objekt bei. Sie zeigen ihm das Bild eines seltsamen, leuchtenden Wesens und sagen: „Das ist ein Dax.“ Dann zeigen Sie dem Roboter Bilder von Daxes, die etwas anders aussehen: Einer ist verschwommen, einer steht auf dem Kopf, einer hat eine andere Farbe und einer hat einen zusätzlichen Arm.

Die Frage, die diese Arbeit stellt, la ist: Ab welchem Punkt sagt der Roboter: „Das ist kein Dax mehr“? Und noch wichtiger: Trifft der Roboter dieselbe Entscheidung wie ein Mensch?

Hier ist eine einfache Aufschlüsselung dessen, was die Forscher herausgefunden haben:

1. Der „Dax“-Test (Der Aufbau)

Die Forscher erstellten einen riesigen Datensatz namens NVRD (Novel Visual References Dataset). Stellen Sie sich dies als eine riesige Kunstgalerie mit 90 einzigartigen, erfundenen Objekten vor.

• Einige Objekte sehen wie reale Dinge aus (ein Stuhl), haben aber einen falschen Namen erhalten (wie „Blomwich“).
• Einige sind Hybride (ein Toaster mit einem Eberkopf).
• Einige sind völlig fremdartig und existieren nicht in der realen Welt.

Für jedes Objekt erstellten sie 20 Versionen, die progressiv „schlechter“ oder stärker verzerrt wurden. Sie testeten fünf verschiedene KI-Modelle (die „Roboter“) und 2.400 Menschen, um zu sehen, wie diese reagierten, wenn sich das Objekt veränderte.

2. Das Problem des „alten Wissens“

Die erste große Erkenntnis ist, dass KI Schwierigkeiten hat, wenn sie bereits weiß, was etwas ist.

• Die menschliche Analogie: Wenn man einem Menschen das Bild eines echten Hundes zeigt und ihn einen „Dax“ nennt, wird er wahrscheinlich sagen: „Nein, das ist ein Hund.“ Er hat eine starke Erinnerung daran, dass Hunde einen spezifischen Namen haben.
• Das KI-Ergebnis: Die KI-Modelle verhielten sich ähnlich. Wenn das Objekt etwas Vertrautes war (wie ein Stuhl), weigerte sich die KI, den neuen Namen „Dax“ zu lernen, und nannte es weiterhin „Stuhl“. Wenn das Objekt jedoch etwas völlig Neues und Seltsames war, akzeptierte die KI den neuen Namen bereitwillig.

3. Der „Form vs. Textur“-Bias

Die Forscher begannen dann, die Objekte zu verändern. Sie änderten die Farbe, fügten Rauschen hinzu oder veränderten die Form des Objekts komplett.

• Die menschliche Analogie: Menschen sind wie Bildhauer. Wenn man eine Tonstatue eines Dax nimmt und sein Gesicht zerquetscht oder einen Arm abricht, sagen wir: „Das ist nicht mehr derselbe Dax!“ Wir legen großen Wert auf die Form. Wenn man ihn nur blau anstreicht oder es so aussehen lässt, als wäre es ein Gemälde, sagen wir immer noch: „Ja, das ist immer noch ein Dax.“
• Das KI-Ergebnis: Die KI-Modelle stimmten den Menschen in diesem Punkt zu! Auch sie legten den größten Wert auf die Form. Wenn sich die Form änderte, hörten sie auf, das Objekt einen „Dax“ zu nennen. Wenn sich nur die Farbe oder die Textur änderte, war die KI damit einverstanden.

4. Der „übermäßig großzügige“ Roboter

Dies ist die kritischste Erkenntnis. Während sich KI und Menschen darin einig waren, was wichtig ist (die Form), waren sie sich uneinig darüber, wie viel Veränderung zu viel ist.

• Die menschliche Analogie: Menschen sind streng. Wenn man den Hals eines Dax so weit streckt, bis er wie eine Giraffe aussieht, sagen wir: „Nee, das ist kein Dax mehr.“
• Das KI-Ergebnis: Die KI-Modelle waren zu großzügig. Sie nannten das Objekt weiterhin einen „Dax“, selbst wenn es gestreckt, deformiert oder mit zusätzlichen Teilen versehen war. Sie waren bereit, eine viel größere Bandbreite an Seltsamkeiten zu akzeptieren als Menschen.

Die Analogie: Stellen Sie sich vor, ein Mensch und ein Roboter spielen ein Spiel, bei dem man erraten muss, ob zwei Bilder dasselbe Tier darstellen.

• Mensch: „Das ist eine Katze. Und das... ist eine Katze mit einem wirklich langen Schwanz. Immer noch eine Katze. Aber das? Das ist eine Katze mit einem Hundekopf. Nein, das ist keine Katze.“
• Roboter: „Das ist eine Katze. Das ist eine Katze mit einem langen Schwanz. Das ist eine Katze mit einem Hundekopf. Das ist eine Katze, aus der ein Baum wächst. Ja, das ist immer noch eine Katze.“

5. Warum das wichtig ist (laut der Arbeit)

Die Arbeit kommt zu dem Schluss, dass KI zwar besser darin wird, neue Dinge im laufenden Betrieb zu lernen, aber nicht über denselben „gesunden Menschenverstand“ verfügt wie Menschen.

Wenn ein Mensch und eine KI versuchen, über ein neues Objekt in der realen Welt zu kommunizieren, denkt der Mensch vielleicht: „Das ist zu kaputt, um dasselbe Ding zu sein“, während die KI darauf beharrt: „Nein, es ist immer noch dasselbe Ding.“ Diese Diskrepanz könnte es schwierig machen, in Zukunft effektiv zusammenzuarbeiten.

Kurz gesagt: Die KI kann zwar neue Wörter lernen, aber sie ist zu bereit, die Definition dieser Wörter auszulegen, insbesondere wenn das Objekt sehr unterschiedlich zum Original aussieht.

Technische Zusammenfassung

Problemstellung

Vision-Language-Modelle (VLMs) sind, ähnlich wie menschliche Lernende, häufig nach ihrem initialen Training neuen visuellen Konzepten ausgesetzt. Die Mechanismen, durch die diese Modelle neue visuelle Referenzen sprachlich zuordnen – insbesondere wenn diese Referenzen im Widerspruch zum Vorwissen aus dem Pre-training stehen –, sind jedoch noch unzureichend erforscht. Während die bestehende Forschung visuelle Augmentationen bekannter Konzepte untersucht hat, mangelt es an Benchmarks für „echt neue“ Konzepte (offen stehende Stimuli, die von Grund auf konstruiert wurden). Die Autoren fragen: Wie kategorisieren Modelle neuartige Stimuli nach der Exposition? Wie gut ordnen sie diese nicht existierenden Namen (Nonce-Namen) zu? Generalisieren sie über identische Instanzen hinaus, und wie verhält sich dieses Verhalten im Vergleich zu menschlichen Lernenden?

Methodik

Um diese Fragen zu adressieren, führen die Autoren den Novel Visual References Dataset (NVRD) ein und führen eine vergleichende Evaluierung von VLMs gegenüber menschlichen Urteilen durch.

1. Der Novel Visual References Dataset (NVRD)

• Zusammensetzung: Der Datensatz enthält 19.176 Bilder, die sich auf 90 visuelle Konzepte verteilen. Diese Konzepte werden in drei Typen unterteilt:
  • Bekannte Entitäten: Vertraute Objekte (z. B. eine Lampe), denen Nonce-Namen gegeben wurden, um die Zuordnung zu testen, wenn diese dem Vorwissen widerspricht.
  • Komponierte Entitäten: Hybride aus existierenden Objekten (z. B. Form-Form- oder Form-Textur-Kombinationen).
  • Vollständig neue Entitäten: Objekte, die nicht existieren oder keinen realen Gegenständen ähneln.
• Perturbationen (Störungen): Jedes Basiskonzept wird bis zu 20 Ebenen kontrollierter visueller Perturbationen über 11 Achsen unterzogen. Dazu gehören:
  • Low-level Edits: Gaußsches Rauschen, Skalierung, Pixelierung, JPEG-Kompression und Farbverschiebungen.
  • High-level Edits: Texturverschiebungen, Hintergrundänderungen, Degradierung des künstlerischen Stils, Formdeformation, Hinzufügen von Teilen und Entfernen von Teilen.
• Generierung: Die Bilder wurden mit Gemini-3 Pro Image und Gemini-2.5 Flash generiert, gefolgt von einer zweistufigen automatisierten Qualitätskontroll-Pipeline und manueller Validierung.

2. Experimentelles Setup
Die Studie evaluiert drei Open-Source-Modelle (Qwen-2 VL 7B, Idefics-3 8B, Molmo-2 8B) und zwei Closed-Source-Modelle (GPT-4o Mini, Gemini-2.5 Flash) unter Verwendung von drei Prompting-Paradigmen im Rahmen des In-Context Learning (ICL):

• Namensgenerierung: Modellen wird ein Basiskonzept mit einem Nonce-Wort gezeigt sowie ein perturbiertes Bild mit einer Lückentext-Beschreibung, um zu sehen, ob sie das Nonce-Wort generieren.
• Token-Wahrscheinlichkeiten: Modelle werden abgefragt, um die Log-Wahrscheinlichkeit des Nonce-Wortes im Vergleich zu „vanilla“ (bekannten) Labels zu bestimmen, um echte Akquisition gegenüber Recency-Effekten zu messen.
• Dual-Image Likert-Skala-Bewertung: Modellen (und Menschen) wird ein Basiskonzept mit einem Nonce-Wort und ein perturbiertes Bild gezeigt, woraufhin sie die Übereinstimmung (auf einer Skala von 1–7) bewerten sollen, ob beide Bilder dasselbe Label teilen.

3. Human Study
Um eine Baseline zu etablieren, sammelten die Autoren 2.400 Urteile von 30 Muttersprachlern des Englischen via Prolific. Die Teilnehmer führten dieselbe Dual-Image Likert-Skala-Aufgabe an einer Teilmenge des NVRD durch, wobei der Fokus auf High-Level-Perturbationen lag.

Kernergebnisse

• Akquisition vs. Vorwissen: Modelle können neue visuelle Referenzen im Kontext erwerben, aber diese Fähigkeit ist signifikant reduziert, wenn die neuen Stimuli im Widerspruch zum bisherigen konzeptionellen Wissen stehen (z. B. bekannte Objekte mit neuen Namen). Dies spiegelt den „Mutual Exclusivity“-Bias wider, der beim menschlichen Wortlernen beobachtet wird, bei dem Lernende Widerstand leisten, neue Bezeichnungen auf Objekte mit bereits existierenden Namen anzuwenden.
• Sensitivität gegenüber Perturbationen: Modelle zeigen einen Shape Bias (Form-Bias), ähnlich wie Menschen. Sie reagieren am empfindlichsten auf strukturelle Perturbationen (Formdeformation, Hinzufügen/Entfernen von Teilen), was eine steile Abnahme der Übereinstimmung zeigt, sobald diese Verzerrungen zunehmen. Im Gegensatz dazu haben Low-Level-Edits (Farbverschiebungen, Rauschen, Skalierung) minimale Auswirkungen auf die Modellurteile, wobei die Bewertungen hoch bleiben (starke Übereinstimmung).
• Über-Generalisierung: Während Modelle und Menschen eine korrelierte Sensitivität gegenüber Perturbationsarten zeigen (beide stufen strukturelle Veränderungen als identitätsbedrohlicher ein als Textur oder Farbe), über-generalisieren Modelle signifikant. Modelle neigen dazu, gelernte Labels auf stark perturbierte Stimuli auszuweiten, die Menschen ablehnen würden. Beispielsweise bewerten Menschen formdeformierte Objekte bei moderaten Perturbationsstufen als „Ablehnung“ (Scores <3), während Modelle oft im Bereich „Neutral“ bis „Zustimmung“ (Scores 4–6) verbleiben.
• Adversarielle Divergenz: In einer Ablationsstudie, in der Modelle gebeten wurden, dasselbe Label für völlig unterschiedliche Objekte zuzuweisen, stimmten Modelle häufig zu (Scores von 3 oder höher), während Menschen konsistent ablehnten. Dies deutet darauf hin, dass Modelle in bestimmten Kontexten ein breiteres Muster des „Zustimmens auf alles“ aufweisen, das sich von ihrer nuancierten Sensitivität in der Hauptaufgabe unterscheidet.

Beiträge und Bedeutung

Das Paper trägt den NVRD als Korpus und Benchmark zur Untersuchung des visuellen Konzeptlernens bei Menschen und Maschinen bei. Seine Bedeutung liegt in:

1. Überbrückung der Lücke: Es erweitert die Untersuchung visueller Biases (Form vs. Textur) von vertrauten Objekten auf wahrhaft neuartige, offen stehende Konzepte.
2. Mensch-Modell-Vergleich: Es liefert einen direkten, quantitativen Vergleich darüber, wie VLMs und Menschen neue Konzepte generalisieren, und zeigt auf, dass Modelle zwar eine menschenähnliche Hierarchie der Sensitivität teilen, aber die diskriminative Strenge vermissen lassen, um stark verzerrte Stimuli abzulehnen.
3. Implikationen für die Interaktion: Die Ergebnisse verdeutlichen eine kritische Diskrepanz für eine zuverlässige Mensch-Agent-Interaktion. Wenn Agenten neuartige Labels über-generalisieren, während Menschen dies nicht tun, könnten sie Schwierigkeiten haben, in sich entwickelnden Umgebungen gemeinsame Referenzpunkte aufrechtzuerhalten.

Die Autoren kommen zu dem Schluss, dass der NVRD als Werkzeug dient, um diese kognitiven Lücken zu untersuchen und die Entwicklung von Vision-Language-Systemen zu fördern, die neue Konzepte mit der Erdung und Sensitivität kommunizieren können, die bei menschlichen Lernenden beobachtet wird.