💬 NLP

Vision-Language Models Mistake Head Orientation for Gaze Direction: Nonverbal Conversation Cues

Dieses Papier zeigt, dass Vision-Language-Modelle beim Inferieren der Blickrichtung im Vergleich zu Menschen signifikant schlechter abschneiden, da sie fälschlicherweise auf die Kopforientierung statt auf das Augenaussehen zurückgreifen, ein Bias, der auf die Trainingsdaten und nicht auf die Modellarchitektur zurückzuführen ist.

Ursprüngliche Autoren: Zory Zhang, Pinyuan Feng, Bingyang Wang, Tianwei Zhao, Suyang Yu, Qingying Gao, Hokin Deng, Ziqiao Ma, Yijiang Li, Dezhi Luo

Veröffentlicht 2026-05-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zory Zhang, Pinyuan Feng, Bingyang Wang, Tianwei Zhao, Suyang Yu, Qingying Gao, Hokin Deng, Ziqiao Ma, Yijiang Li, Dezhi Luo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Das „Kopf-zuerst"-Raten

Stellen Sie sich vor, Sie spielen ein Spiel, bei dem Sie erraten müssen, auf welches Objekt eine Person auf einem Foto schaut. Auf dem Tisch liegen drei Gegenstände: ein Hase, ein Wasserkocher und einige Tulpen.

Wenn die Person auf den Hasen schaut, ihr Kopf aber leicht zum Wasserkocher gedreht ist, was tun Sie dann?

Ein Mensch schaut genau in die Augen der Person, sieht, dass die Pupillen auf den Hasen gerichtet sind, und sagt: „Sie schaut auf den Hasen."
Aktuelle KI (Vision-Language-Modelle) ignoriert die Augen oft. Stattdessen betrachtet sie die Richtung des Gesichts (des Kopfes) und sagt: „Sie schaut auf den Wasserkocher."

Das Papier argumentiert, dass diese KI-Modelle „faule" Rater sind. Sie verlassen sich auf einen Shortcut: Wenn der Kopf auf ein Objekt gerichtet ist, müssen die Augen dorthin schauen. Sie unterlassen die harte Arbeit, tatsächlich die Augen zu lesen.

Wie die Forscher dies testeten

Die Forscher bauten ein spezielles „Blick-Labor", um dies zu testen. Sie nahmen 1.360 echte Fotos von Personen auf, die an einem Tisch mit verschiedenen Gegenständen saßen. Sie richteten drei spezifische Szenarien ein, um die KI zu täuschen:

Das „Einvernehmliche" Szenario: Die Person schaut auf den Hasen, und ihr Kopf ist ebenfalls zum Hasen gerichtet. (Für alle einfach).
Das „Natürliche" Szenario: Die Person schaut auf den Hasen, und ihr Kopf ist in die natürliche Richtung gedreht, in der sie sich wohlfühlt (meistens zum Hasen).
Das „Trick"-Szenario (inkongruent): Dies ist der Schlüssel. Die Person hält ihren Kopf zum Wasserkocher gerichtet, bewegt aber ihre Augen, um auf den Hasen zu schauen.

Das Ergebnis:

Menschen lagen fast immer richtig (etwa 89 % Trefferquote). Sie schauten auf die Augen.
KI-Modelle (wie GPT-4o, GPT-5.2, Qwen3) schnitten sehr schlecht ab, oft kaum besser als zufälliges Raten. Wenn Kopf und Augen nicht übereinstimmten, riet die KI fast immer auf das Objekt, auf das der Kopf gerichtet war, nicht auf das Objekt, auf das die Augen schauten.

Warum scheiterte die KI? (Die Detektivarbeit)

Die Forscher sagten nicht einfach nur „KI ist schlecht". Sie spielten Detektiv, um herauszufinden, warum. Sie schlossen mehrere Ausreden aus:

Liegt es daran, dass die Fotos zu unscharf sind? Nein. Als sie die Fotos superscharf machten, scheiterte die KI immer noch.
Liegt es daran, dass die KI die Gegenstände nicht benennen kann? Nein. Die KI konnte den „Hasen" und den „Wasserkocher" korrekt identifizieren, wenn sie danach gefragt wurde.
Liegt es daran, dass die KI zu klein ist? Nein. Größere, leistungsfähigere Modelle scheiterten genauso stark wie kleinere.

Der wahre Täter: Die Trainingsdaten
Die Forscher glauben, das Problem liegt darin, was die KI aus dem Internet gelernt hat.

Die Analogie: Stellen Sie sich ein Kind vor, das nur Menschen gesehen hat, die auf Dinge schauen, denen sie zugewandt sind. In der realen Welt ist es selten, jemanden zu sehen, der seitwärts starrt, während sein Gesicht nach vorne zeigt.
Da die Internetdaten voller Beispiele sind, bei denen „Kopf und Augen übereinstimmen", lernte die KI eine Regel: „Kopfrichtung = Blickrichtung." Sie lernte nie, dass sich Augen unabhängig vom Kopf bewegen können.

Der „Münzwurf"-Test

Um zu beweisen, dass die KI nicht einfach nur verwirrt war, führten die Forscher einen spezifischen Test durch. Sie fragten: Ist der KI die Augen überhaupt wichtig?

Sie stellten fest, dass das Verhalten der KI wie ein Münzwurf oder eine verzerrte Waage war:

Wenn Kopf und Augen übereinstimmten, war die KI zuversichtlich.
Wenn sie nicht übereinstimmten, versuchte die KI nicht, die Augen zu entschlüsseln. Sie griff einfach auf den Kopf zurück.
Selbst wenn die Forscher versuchten, der KI beizubringen, auf die Augen zu schauen, indem sie Anweisungen wie „Konzentriere dich auf die Augen" hinzufügten, ignorierte die KI diese größtenteils und ging zurück zum Raten basierend auf dem Kopf.

Das „Proof of Concept"-Experiment

Um zu zeigen, dass dies kein dauerhafter Defekt im Gehirn der KI (Architektur) ist, sondern nur eine schlechte Angewohnheit aus ihrem Training, führten die Forscher ein kleines Experiment durch:

Sie nahmen eines der KI-Modelle und trainierten es neu, und zwar speziell auf ihren „Trick"-Fotos (wo Kopf und Augen nicht übereinstimmten).

Vor dem Neulernen: Das Modell war beim Trick-Szenario schrecklich (15 % Trefferquote).
Nach dem Neulernen: Das Modell wurde viel besser (34 % Trefferquote). Es lernte, sich nicht mehr ausschließlich auf den Kopf zu verlassen und tatsächlich auf die Augen zu schauen.

Die Lehre: Die KI kann lernen, Augen zu lesen, aber sie benötigt spezifische Daten, die ihr dies beibringen. Die Standard-Internetdaten, aus denen sie normalerweise lernt, enthalten nicht genügend dieser „Trick"-Beispiele.

Zusammenfassung

Das Problem: Aktuelle KI-Modelle sind schrecklich darin, zu erkennen, wohin jemand schaut, wenn sein Kopf in eine andere Richtung gedreht ist. Sie verwechseln die Richtung des Gesichts mit der Richtung der Augen.
Die Ursache: Sie wurden mit Daten trainiert, bei denen Kopf und Augen meist in die gleiche Richtung zeigen, sodass sie einen faulen Shortcut lernten.
Die Lösung: Wir müssen der KI mehr Daten zuführen, bei denen Menschen zur Seite oder nach oben schauen, während ihr Kopf still bleibt, und so die KI zwingen zu lernen, tatsächlich Augen zu lesen.

Das Papier kommt zu dem Schluss, dass die KI, solange wir dieses Datenproblem nicht lösen, Schwierigkeiten haben wird, menschliche nonverbale Signale zu verstehen, was für Roboter und Computer essenziell ist, um natürlich mit Menschen zu interagieren.

1. Problemstellung

Vision-Language-Modelle (VLMs) werden zunehmend erwartet, nonverbale Kommunikationshinweise wie den Blick zu verstehen, um die Mensch-Roboter-Interaktion und soziale KI zu ermöglichen. Obwohl spezialisierte Modelle zur Blickschätzung existieren, fehlt ihnen die allgemeine Schlussfolgerungsfähigkeit von VLMs. Es bleibt jedoch unklar, ob VLMs in Zero-Shot-Szenarien Blickziele (was eine Person betrachtet) genau ableiten können, insbesondere bei der Unterscheidung zwischen Augenappearance (der tatsächlichen Richtung der Augen) und Kopfausrichtung (der Richtung, in die das Gesicht zeigt).

Das untersuchte Kernproblem besteht darin, ob VLMs die grundlegende Fähigkeit besitzen, den Blick basierend auf subtilen Augenhinweisen zu inferieren, oder ob sie auf einen heuristischen Bias zurückgreifen, bei dem sie annehmen, eine Person schaue in die Richtung, in die ihr Kopf zeigt, selbst wenn die Augen woanders hinschauen.

2. Methodik

A. Datensatz und Stimuli-Konstruktion

Die Autoren erstellten einen kontrollierten Datensatz aus 1.360 realen Fotografien, die eine einzelne Person zeigen, die an einem Tisch mit 2–4 Objekten sitzt.

Kontrollierte Variablen:
- Blickziel: Das spezifische Objekt, das die Person betrachtet.
- Kopfziel: Die Richtung, in die der Kopf der Person ausgerichtet ist.
- Bedingungen:
  - Kongruent: Kopf und Augen zeigen auf dasselbe Objekt.
  - Inkongruent: Kopf zeigt auf ein Objekt, aber die Augen schauen auf ein anderes Objekt (der kritische Testfall).
  - Natürlich: Kopfausrichtung ist unbeschränkt, aber komfortabel.
- Manipulationen: Blickwinkel (Vorne, Links, Rechts), Objektnähe (1–3, wobei 3 am nächsten ist) und Anzahl der Objekte (2–4).
Neuartigkeit: Die Bilder sind reale Fotos (nicht synthetisch), um statistische Regelmäßigkeiten von Licht und Schatten zu gewährleisten, sind jedoch neu genug, um eine Überlappung mit Trainingsdaten zu minimieren.

B. Experimentelles Design

Bewertete Modelle: Die Studie testete in einer Vor-Pilotphase 111 VLMs, wobei die Hauptstudie sich auf die Top-Performer konzentrierte: GPT-4o, GPT-5.2, Qwen3-VL, InternLM-XComposer2 und GLM-4.6V.
Basislinien: Enthalten waren spezialisierte Modelle wie Moondream2 (Hybrid mit spezialisierter Blickfunktion) und GazeLLE (feinabgestimmtes Vision-Modell).
Aufgabe: Ein Multiple-Choice-Frageformat mit der Frage „Auf welches Objekt schaut diese Person?", mit randomisierten Optionen.
Bewertungsprotokoll: Jedes VLM sah 1360 Bilder 16 Mal mit unterschiedlichen Prompt-Vorlagen (insgesamt ~21.760 Versuche pro Modell), um statistische Aussagekraft zu gewährleisten.

C. Charakterisierungsrahmen

Die Autoren schlugen eine Reihe empirischer Tests vor, um das Modellverhalten in fünf hypothetische Typen zu kategorisieren (visualisiert in Abbildung 2 des Papers):

Blick-kompetent: Präzision auf menschlichem Niveau.
Augen-bewusst: Unter menschlicher Präzision, aber nicht stark von der Kopfausrichtung verzerrt.
Kopf-dominant: Kann den Blick nicht präzise auflösen; verlässt sich stark auf die Kopfausrichtung als Heuristik.
Nur-Kopf: Ignoriert weitgehend das Erscheinungsbild der Augen.
Augen-Kopf-ambivalent: Wechselt zufällig zwischen Kopf- und Blickzielen.

Schlüsseltests:

Test 1 (Leistungsgefälle): Vergleich der VLM-Genauigkeit mit menschlichen Teilnehmern.
Test 2 (Kopf-Bias): Wählt das Modell das Kopfziel häufiger als das Blickziel, wenn diese unterschiedlich sind? Fällt die Leistung in der inkongruenten Bedingung signifikant ab?
Test 3 (Blick-Reaktionsfähigkeit): Nimmt der Fehlerabstand des Modells zu, wenn der Abstand zwischen Kopfziel und Blickziel zunimmt?
Test 4 (Münzwurf): Ändert sich die Verteilung der Modellwahl basierend auf der Anzahl der Objekte zwischen Kopf- und Blickziel?

D. Mitigations-Experiment (Proof-of-Concept)

Um festzustellen, ob der Bias architektonisch oder datengetrieben ist, fine-tunten die Autoren GazeLLE auf ihrem spezifischen Stimulus-Set (7:1:2 Aufteilung in Trainings-/Validierungs-/Testdaten).

3. Hauptergebnisse

A. Leistungsgefälle

Menschen: Erreichten 89% Genauigkeit bei den Pilot-Stimuli.
VLMs: Die meisten Modelle performten nahe dem Zufall (~42%). Selbst die besten Modelle (GPT-5.2, GPT-4o) erreichten nur 30–46% Genauigkeit bei den Stimuli der Hauptstudie (Natürliche Bedingung).
Spezialisierte Modelle: Moondream2 und GazeLLE erreichten im Zero-Shot-Setting ebenfalls nicht das menschliche Niveau, obwohl GazeLLE besser abschnitt als allgemeine VLMs.

B. Der Bias der Kopfausrichtung

Dominante Fehlerart: Die meisten VLMs zeigten einen starken Kopf-dominanten Bias.
- In der inkongruenten Bedingung wählten Modelle häufig das Objekt, auf das der Kopf zeigte, anstatt das Objekt, auf das die Augen schauten.
- Test 2.1: GPT-5.2 und Qwen3 wählten das Kopfziel signifikant häufiger als das Blickziel (62% bzw. 57%).
- Test 2.3: Die Leistung brach drastisch ein, wenn Kopfziel ≠ Blickziel war (z. B. sank GPT-5.2 von 45% Genauigkeit in kongruenter auf 28% in inkongruenter Bedingung).
Nähe-Effekt: Modelle performten schlechter, wenn Objekte näher beieinander lagen, was darauf hindeutet, dass sie visuelle Informationen nutzen, aber Schwierigkeiten mit der feinkörnigen Diskriminierung haben.
Blickwinkel-Effekt: Modelle zeigten eine geringere Sensitivität für das Augenappearance bei Seitenansicht im Vergleich zur Frontansicht, im Gegensatz zu Menschen, die eine hohe Genauigkeit beibehalten.

C. Ursachenanalyse

Die Autoren schlossen mehrere alternative Erklärungen aus:

Auflösung: Eine Erhöhung der Auflösung (bis zu 1024x1024) verbesserte die Genauigkeit nicht.
Objektbenennung: Modelle konnten Objekte korrekt identifizieren; der Fehler lag in der Verknüpfung des Blicks mit dem Objekt.
Architektur/Größe: Größere Modelle (mehr Parameter) und neuere Releases zeigten keine signifikanten Verbesserungen.
Fazit: Der Bias ist wahrscheinlich datengetrieben. Trainingsdaten (Internetbilder) repräsentieren wahrscheinlich Fälle, in denen Kopf und Blick übereinstimmen, übermäßig und unterrepräsentieren „seitliche Blicke" oder inkongruente Hinweise, wodurch das Modell die soziale Nuance der Entkopplung von Auge und Kopf nicht lernt.

D. Fine-Tuning-Ergebnisse

Das Fine-Tuning von GazeLLE auf dem spezifischen Datensatz milderte den Bias signifikant.
Inkongruente Bedingung: Die Genauigkeit stieg von 15,65% (vorab trainiert) auf 34,15% (feinabgestimmt).
Kongruente Bedingung: Verbesserte sich bescheiden (62,82% $\to$ 70,00%).
Implikation: Das Modell kann lernen, sich auf das Augenappearance zu verlassen, wenn es ausreichend Gegenbeispielen ausgesetzt wird, was die Hypothese der Datenverteilung bestätigt.

4. Hauptbeiträge

Empirische Charakterisierung: Einführung eines rigorosen Rahmens zur Kategorisierung von VLM-Blickinferenz-Verhalten, der über einfache Genauigkeitsbenchmarks hinausgeht, um zu verstehen, wie Modelle versagen (z. B. Kopf-dominant vs. Augen-bewusst).
Datensatz-Erstellung: Veröffentlichung eines hochwertigen, kontrollierten Datensatzes mit 1.360 realen Bildern, der speziell entwickelt wurde, um die Kopfausrichtung von der Blickrichtung zu entkoppeln.
Identifizierung von Bias: Lieferte starke Belege dafür, dass aktuelle State-of-the-Art-VLMs auf einen „Kopfausrichtungs-Heuristik" zurückgreifen, anstatt das Augenappearance zu analysieren, was zu einem signifikanten Leistungsgefälle im Vergleich zu Menschen führt.
Datenzentrierte Erkenntnis: Zeigte durch Fine-Tuning, dass dieser Bias keine inhärente architektonische Begrenzung, sondern ein Ergebnis der Trainingsdatenverteilung ist, und bietet einen klaren Weg zur Verbesserung.

5. Bedeutung und zukünftige Richtungen

Soziale KI: Damit Roboter und konversationelle Agenten natürlich interagieren können, müssen sie den Blick verstehen, um Referenzmehrdeutigkeiten aufzulösen und Absichten zu inferieren. Aktuelle VLMs sind für diese Aufgabe unzuverlässig.
Bewertungsmethodik: Das Paper plädiert für eine „hypothesegetriebene Evaluation" und kontrollierte Verhaltensproben (ähnlich der Kognitionswissenschaft) anstatt nur Benchmarks an Internetbildern, wo Kopf-Heuristiken oft ausreichen.
Trainingsempfehlungen: Zukünftige VLMs benötigen Trainingsdaten, die das Zusammenspiel zwischen Körper-/Kopfausrichtung und Augenappearance explizit erfassen, insbesondere „inkongruente" Fälle, in denen Kopf und Augen in verschiedene Richtungen zeigen.
Ethische Überlegungen: Die Autoren warnen, dass, obwohl aktuelle Modelle diese Fähigkeit fehlt, das Potenzial von Maschinen, nonverbale Hinweise ohne Zustimmung zu interpretieren, ein gesellschaftliches Risiko darstellt, das mit der Verbesserung der Technologie gemanagt werden muss.

Zusammenfassend offenbart das Paper, dass trotz ihrer fortschrittlichen Fähigkeiten aktuelle VLMs gegenüber den subtilen Hinweisen des menschlichen Blicks „blind" sind und stattdessen auf eine einfachere, oft falsche Heuristik der Kopfausrichtung zurückgreifen. Diese Einschränkung ist durch gezielte Datencuration und Fine-Tuning lösbar.