Seeing Is Not Sharing: Some Vision-Language Models Overestimate Common Ground in Asymmetric Dialogue
Diese Arbeit zeigt auf, dass Vision-Language-Modelle dazu neigen, das gegenseitige Verständnis in kollaborativen Dialogen zu überschätzen, indem sie das bloße Vorhandensein relevanter Aufgabeninhalte mit etabliertem Common Ground verwechseln – ein Bias, der durch statische referenzielle Hinweise statt durch die dynamische Dialoghistorie getrieben wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Kernidee: „Sehen“ ist nicht dasselbe wie „Teilen“
Stellen Sie sich vor, Sie und ein Freund versuchen, eine Route auf zwei verschiedenen Karten einzuzeichnen. Sie beide haben eine Karte, aber sie sind nicht identisch. Vielleicht hat Ihre Karte oben einen „geparkten Van“, während die Karte Ihres Freundes einen unten hat.
Wenn Sie sagen: „Geh zum geparkten Van“, denken Sie an den oben stehenden. Ihr Freund denkt an den unten stehenden. Sie haben sich noch nicht wirklich auf welchen Van geeinigt, obwohl Sie dieselben Worte verwendet haben.
In der menschlichen Konversation lösen wir das durch ein Hin und Her: „Warte, meinst du den in der Nähe des Parks?“ „Oh, nein, ich meine den beim Bäcker.“ Dieser Prozess des Prüfens und Bestätigens wird als Grounding bezeichnet.
Das Problem:
Die Forscher stellten die Frage: Können moderne KI-Modelle (Vision-Language Models) zwischen dem unterscheiden, was wir „teilen könnten“ und dem, was wir tatsächlich „geteilt haben“?
Sie testeten dies, indem sie die KI als „unbeteiligten Beobachter“ (einen Overhearer) einsetzten. Die KI konnte die Karten sehen und das Gespräch hören, konnte aber keine Fragen stellen oder unterbrechen, um etwas zu klären.
Die wichtigste Entdeckung: Die KI ist zu optimistisch
Die Forscher fanden heraus, dass die KI besser darin wurde, die Antwort zu erraten, wenn man ihr die tatsächlichen Karten gab, aber sie wurde auch gefährlich übermäßig selbstbewusst.
Die Analogie: Die „Ko-Präsenz“-Falle
Stellen Sie sich vor, Sie beobachten ein Theaterstück von einem Balkon aus. Sie sehen zwei Schauspieler, die neben einem roten Stuhl stehen.
- Schauspieler A denkt, der Stuhl sei für den Bösewicht.
- Schauspieler B denkt, der Stuhl sei für den Helden.
- Sie haben noch nicht über den Stuhl gesprochen.
Weil Sie (der Beobachter) sehen können, dass der Stuhl direkt vor beiden steht, nimmt Ihr Gehirn an, dass sie auch über dasselbe sprechen müssen. Sie denken: „Oh, die sind sich definitiv einig!“
Die KI macht genau das Gleiche. Wenn sie ein Wahrzeichen (wie einen „geparkten Van“) auf beiden Karten sieht, nimmt sie an, dass die Sprecher bereits darüber Einigkeit erzielt haben. Sie verwechselt Potenzial (das Objekt existiert auf beiden Karten) mit der Realität (die Sprecher haben bereits bestätigt, dass sie dasselbe meinen).
Die Experimente: Was änderte die Meinung der KI?
Die Forscher testeten die KI unter verschiedenen Bedingungen, um herauszufinden, was diese „Über-Optimismus“ verursachte.
1. Die visuelle Falle (Karten vs. Text)
- Echte Karten: Wenn die KI die tatsächlichen Bilder der Karten sah, sagte sie viel zu oft „Ja, sie sind sich einig!“.
- Textbeschreibungen: Als sie die Bilder durch eine einfache Textliste ersetzten, die besagte „Karte A hat einen Van; Karte B hat einen Van“, sagte die KI immer noch viel zu oft „Ja, sie sind sich einig!“.
- Leere/Veränderte Karten: Wenn sie der KI leere graue Quadrate oder durcheinandergewürfelte Kartenstücke ohne nützliche Informationen zeigten, wurde die KI sehr vorsichtig. Sie hörte auf zu raten („Ja“) und begann mit „Nein“ zu antworten.
Die Lehre: Das Problem ist nicht, dass die KI schlecht darin ist, Bilder zu „sehen“. Das Problem ist, dass sie schlecht darin ist, Informationen zu interpretieren. Ob die Information nun als Bild oder als Textliste kommt: Wenn die KI sieht, dass ein Objekt geteilt werden könnte, nimmt sie an, dass es auch geteilt wird.
2. Der „Overhearer“-Effekt
Die KI ist strukturell ein „Overhearer“. Sie hört jedes Wort, kann aber nicht teilnehmen.
- Menschen wissen, dass nur weil zwei Personen dasselbe Objekt betrachten, das nicht bedeutet, dass sie gemeinsam darüber sprechen.
- Die KI denkt: „Ich sehe das Objekt auf beiden Karten, also müssen sie auch gemeinsam darüber sprechen.“
Sie behandelt die Existenz eines gemeinsamen Objekts als Beweis für das gegenseitige Verständnis.
Die Ergebnisse: Ein Kompromiss
Das Verhalten der KI erzeugte ein spezifisches Muster:
- Wenn die Sprecher tatsächlich übereinstimmten: War die KI sehr gut darin, dies zu erkennen (besonders mit Karten).
- Wenn die Sprecher verwirrt waren oder sich noch nicht geeinigt hatten: War die KI schrecklich darin, dies zu erkennen. Sie behauptete selbstbewusst „Sie sind sich einig!“, selbst wenn sie eigentlich aneinander vorbeiredeten.
Es ist wie ein Schüler, der großartig darin ist, Fragen zu beantworten, bei denen er die Antwort bereits kennt, aber wenn er verwirrt ist, rät er selbstbewusst die falsche Antwort, weil er denkt, die Frage sei offensichtlich.
Welche KI-Modelle taten dies?
Die Forscher testeten mehrere Modelle.
- Qwen3-VL-8B: Dieses Modell zeigte den Bias am deutlichsten. Es war sehr selbstbewusst in seinen falschen Antworten, wenn Karten im Spiel waren.
- Gemma3-Modelle: Diese verhielten sich anders. Einige waren so verwirrt von den komplexen Kartenteilzeichnungen, dass sie kaum versuchten, überhaupt zu antworten.
- Größe spielt keine Rolle: Das Modell größer zu machen, löste das Problem nicht. Tatsächlich waren die größeren Modelle oft noch selbstbewusster in ihren falschen Antworten.
Das Fazate
Das Paper kommt zu dem Schluss, dass aktuelle KI-Modelle exzellent in der statischen Analyse sind (auf eine Karte schauen und sehen, was geteilt werden könnte), aber schlecht in der dynamischen Verfolgung (einer Konversation zuhören, um zu sehen, was bereits geteilt wurde).
Sie verwechseln die Möglichkeit einer Übereinstimmung mit einer tatsächlichen Übereinstimmung. Sie sehen den „gemeinsamen Grund“ auf der Karte und nehmen an, dass die Sprecher bereits eine Brücke darüber gebaut haben, selbst wenn die Sprecher noch kein Wort darüber verloren haben.
Kurz gesagt: Die KI sieht die Karte, nimmt an, dass alle auf derselben Wellenlänge sind, und ignoriert dabei selbstbewusst die Tatsache, dass die Sprecher vielleicht völlig unterschiedliche Kapitel lesen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.