💻 computer science

Attention Alignment Between Humans and Vision-Language Models

Diese Studie zeigt auf, dass während LSTM-basierte Decoder in Vision-Language-Modellen eine überlegene Übereinstimmung mit der menschlichen räumlichen Aufmerksamkeit im Vergleich zu Transformer-Decodern erreichen, letztere eine schärfere räumliche Konzentration und eine bessere Aufgabenunterscheidung aufweisen, wobei ein Trade-off entsteht, bei dem Modelle mit geringerer Fixierungsübereinstimmung (CNN-Transformer) die synthetische neuronale Aktivität im frühen visuellen Kortex besser vorhersagen.

Ursprüngliche Autoren: Isaac R. Christian, Udith Haputhanthrige, Hanna Hornfeld, Declan Campbell, Samuel Nastase, Taylor Webb, Michael Graziano

Veröffentlicht 2026-06-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Isaac R. Christian, Udith Haputhanthrige, Hanna Hornfeld, Declan Campbell, Samuel Nastase, Taylor Webb, Michael Graziano

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, ein Bild so anzusehen wie ein Mensch. Sie möchten, dass die Augen des Roboters genau auf denselben Stellen landen, auf die auch ein Mensch schauen würde, wenn er ein Foto einer belebten Straße oder einer Familienfeier betrachtet.

Dieses Paper ist wie ein wissenschaftliches Experiment, bei dem Forscher verschiedene „Robotergehirne“ gebaut haben, um zu sehen, welches am ehesten wie ein Mensch aussieht. Sie haben nicht nur einen Roboter gebaut; sie haben eine ganze Familie von Robotern erschaffen, indem sie verschiedene Teile kombinierten und austauschten – so als würde man das Kameraobjektiv (Encoder) und den Teil des Gehirns, der entscheidet, worauf man sich konzentriert (Decoder), austauschen würde.

Hier ist die Aufschlüsselung ihrer Ergebnisse, unter Verwendung einfacher Analogien:

1. Die zwei Hauptteile des Roboters

Betrachten Sie das Sichtsystem des Roboters als eine Kamera und einen Regisseur:

Der Encoder (Die Kamera): Dies ist der Teil, der das Bild aufnimmt und in Einzelteile zerlegt. Die Forscher testeten zwei Arten:
- CNN (Der lokale Scanner): Wie eine Person, die ein Foto Bild für Bild betrachtet und dabei auf Details wie Kanten und Texturen achtet.
- ViT (Der globale Beobachter): Wie eine Person, die einen Schritt zurücktritt, um das gesamte Bild auf einmal zu erfassen und das große Ganze sofort zu verstehen.
Der Decoder (Der Regisseur): Dies ist der Teil, der entscheidet: „Okay, jetzt, wo ich das Bild sehe, was soll ich sagen und wohin sollte ich als Nächstes schauen?“ Sie testeten zwei Arten:
- LSTM (Der einläufige Regisseur): Dieser Regisseur versucht, alle visuellen Informationen in einer Hand zu halten und sie in einen einzigen „Fokuspunkt“ zu pressen, während er jedes Wort spricht.
- Transformer (Das Team von Regisseuren): Dieser Regisseur hat ein Team von Spezialisten (genannt „Heads“), die alle gleichzeitig auf das Bild schauen und sich jeweils auf einen anderen Aspekt konzentrieren.

2. Die große Entdeckung: Der Regisseur ist wichtiger als die Kamera

Die Forscher fanden heraus, dass wer die Show regiert, viel wichtiger ist als die Art der verwendeten Kamera.

Der „LSTM-Regisseur“ (Einläufiger Regisseur): Dieser Roboter war am besten darin, menschliche Augenbewegungen nachzuahmen. Wenn Menschen auf ein Bild schauten, ähnelte die Aufmerksamkeitskarte dieses Roboters sehr stark dem, wohin Menschen schauten. Er erreichte etwa 85–87 % eines perfekten menschlichen Abgleichs.
- Der Haken: Er schaute zwar an die richtigen Stellen, war aber etwas „schlampig“. Seine Aufmerksamkeit war breit gestreut, wie ein breiter, unscharfer Scheinwerfer. Er fokussierte sich nicht scharf auf spezifische Details und änderte seinen Fokus nicht wesentlich, egal ob die Aufgabe darin bestand, „die Szene zu beschreiben“ oder „zu erraten, worauf die Person schaut“.
Der „Transformer-Regisseur“ (Team von Spezialisten): Dieser Roboter war schärfer und präziser. Er konnte seine Aufmerksamkeit eng auf bestimmte Stellen richten, fast wie ein Laserstrahl. Er änderte seinen Fokus auch drastisch, je nach Aufgabe (z. B. Blick auf ein Gesicht für eine soziale Aufgabe vs. Blick auf den ganzen Raum für eine Beschreibung).
- Der Haken: Trotz seiner Schärfe war er viel schlechter darin, menschliche Augenbewegungen nachzuahmen. Er erreichte nur etwa 40–59 % des menschlichen Abgleichs. Er schaute zwar auf die richtige Art von Stellen, aber nicht auf die exakten Stellen, die Menschen wählten.

Das Urteil: Wenn Sie einen Roboter wollen, der genau dort hinschaut, wo ein Mensch hinschaut, wollen Sie den „LSTM-Regisseur“. Wenn Sie einen präzisen und anpassungsfähigen Roboter wollen, der jedoch auf andere Stellen als Menschen schaut, wollen Sie den „Transformer-Regisseur“.

3. Die „Kamera“ hilft trotzdem

Obwohl der Regisseur der wichtigste Teil war, machte auch die Kamera einen Unterschied.

Die CNN-Kamera (der lokale Scanner) half dem Roboter konsequent dabei, menschlicher zu wirken, als es die ViT-Kamera (der globale Beobachter) tat.
Die beste Kombination insgesamt war die CNN-Kamera gepaart mit dem LSTM-Regisseur. Dieser Roboter kam dem menschlichen Verhalten am nächsten und erreichte fast 87 % des menschlichen Limits.

4. Der „Gehirnschaden“-Test

Um zu testen, wie robust diese Roboter waren, simulierten die Forscher eine „Gehirnverletzung“, indem sie die linke Seite der Sicht des Roboters blockierten (ähnlich einem Zustand namens Hemispatial Neglect, bei dem Menschen eine Seite des Raumes ignorieren).

Die Transformer-Roboter (das Team von Regisseuren) waren sehr widerstandsfähig. Selbst wenn die Hälfte ihrer Sicht blockiert war, konnten sie immer noch Sinn aus dem Bild machen, da ihre Teammitglieder die Last teilen konnten.
Die LSTM-Roboter (der einläufige Regisseur) hatten mehr Schwierigkeiten. Da sie sich auf eine einzige große „Zusammenfassung“ des Bildes verließen, schadete das Blockieren eines Teils der Sicht ihnen mehr.

5. Die Überraschung: Schauen vs. Denken

Schließlich stellten die Forscher eine knifflige Frage: „Schaut ein Roboter, der wie ein Mensch aussieht, auch wie ein Mensch?“

Sie verwendeten ein spezielles Werkzeug, um zu simulieren, wie ein menschliches Gehirn auf die Bilder reagieren würde, auf die die Roboter schauten.

Die Überraschung: Der Roboter, der am meisten wie ein Mensch aussah (der LSTM), war nicht derjenste, der die Gehirnaktivität am besten vorhersagte.
Stattdessen war der CNN-Transformer-Roboter (der weniger wie ein Mensch aussah) tatsächlich besser darin, vorherzusagen, welche Teile des Gehirns aktiv werden würden.
Was das bedeutet: Es gibt einen Unterschied zwischen „wo wir hinschauen“ (Verhalten) und „wie unser Gehirn ein Bild verarbeitet“ (neuronale Aktivität). Ein Roboter kann ein Bild auf eine menschenähnliche Weise betrachten, Informationen aber auf eine nicht-menschliche Weise verarbeiten – und umgekehrt.

Zusammenfassung

Um wie ein Mensch auszusehen: Verwenden Sie eine „Lokale Scanner“-Kamera (CNN) mit einem „Einläufigen Regisseur“ (LSTM). Er ist etwas unscharf, trifft aber die richtigen Stellen.
Um scharf und anpassungsfähig zu sein: Verwenden Sie eine „Globale Beobachter“-Kamera (ViT) mit einem „Team von Regisseuren“ (Transformer). Er ist präzise, schaut aber auf andere Stellen als Menschen.
Die Lehre: Nur weil sich die Augen eines Roboters wie die eines Menschen bewegen, heißt das nicht, dass sein Gehirn auch wie das eines Menschen funktioniert. Die beiden Dinge sind miteinander verwandt, aber sie sind nicht dasselbe.

Technisches Resümee: Aufmerksamkeitsausrichtung zwischen Menschen und visuell-sprachlichen Modellen

Problemstellung

Die visuelle Wahrnehmung wird durch das Zusammenspiel von Bottom-up-Sensorikmechanismen und Top-down-Zielen gesteuert. Während visuell-sprachliche Modelle (Vision-Language Models, VLMs) beide Komponenten implementieren, bleibt unklar, wie spezifische architektonische Entscheidungen im Encoder (Bottom-up) und Decoder (Top-down) die Ausrichtung der Modellaufmerksamkeit auf die menschliche Fixierung prägen. Vorherige Forschungen konzentrierten sich weitgehend auf die Bottom-up-Salienz oder behandelten die Trainingsverteilung als primären Treiber der Ausrichtung, wobei sie oft vernachlässigten, wie architektonische Biases unabhängig und gemeinsam die Top-down-Aufmerksamkeitsmechanismen beeinflussen. Diese Studie zielt darauf ab, diese Beiträge zu differenzieren, indem sie die Encoder- und Decoder-Architekturen systematisch variiert und dabei die Trainingsdaten kontrolliert, um zu untersuchen, ob spezifische Konfigurationen Aufmerksamkeitskarten erzeugen, die menschliche räumliche Selektion und Aufgabenadaption besser nachahmen.

Methodik

Experimentelles Design

Die Autoren verwendeten ein $2 \times 2$ -faktorielles Design, um vier Bildbeschreibungsmodelle zu trainieren und so die Effekte der Encoder- und Decoder-Familien zu isolieren:

Encoder: ResNet-101 (CNN) vs. ViT-B/16 (Vision Transformer).
Decoder: LSTM mit additiver Soft-Attention vs. 4-schichtiger Transformer mit Multi-Head-Cross-Attention.
Baseline-Modelle: Zwei State-of-the-Art VLMs (Molmo 7B-D und Qwen3.5 9B) wurden ohne Fine-Tuning evaluiert.

Daten und Aufgaben

Stimuli: 200 natürliche Bilder aus dem COCO 2017 Validierungsset.
Human-Daten: Augenbewegungen wurden von 49 Teilnehmern mit einem EyeLink 1000 Plus (2000 Hz) während zweier distinkter Aufgaben aufgezeichnet:
1. Beschreibungsaufgabe (Describe Task): Allgemeine Szenenbeschreibung.
2. Soziale Aufgabe (Social Task): Inferenz des Aufmerksamkeitszustands eines spezifischen Akteurs innerhalb der Szene.
Ground Truth: Menschliche Fixations-Heatmaps wurden generiert, indem Gaze-Samples mit einem Gaußschen Kern gefaltet und auf $256 \times 256$ heruntergesampelt wurden.

Trainingsprotokoll

Alle vier benutzerdefinierten Modelle durchliefen ein konsistentes vierphasiges Curriculum:

Pretraining: Decoder trainiert auf COCO 2014 Captions (Encoder eingefroren).
Fine-tuning (Describe): Encoder aufgetaut; trainiert auf COCO 2014.
Fine-tuning (Social): Encoder aufgetaut; trainiert auf einem im Labor gesammelten Datensatz für soziale Bildbeschreibungen.
Evaluierung: Aufmerksamkeitskarten wurden extrahiert und gegen menschliche Heatmaps der entsprechenden Aufgabe verglichen.

Evaluierungsmetriken

Fixationsausrichtung: Spearman-Korrelation zwischen Modell-Aufmerksamkeitskarten und menschlichen Fixations-Heatmaps, normalisiert gegen die Human-Human-Noise-Ceiling.
Räumliche Streuung (Spatial Spread): Normalisierte Shannon-Entropie zur Messung der Diffusität der Aufmerksamkeit (Konzentration vs. Verteilung).
Aufgabenadaption (Task Adaptation):ity): Korrelation zwischen den für die Social-Aufgabe generierten und den für die Describe-Aufgabe generierten Aufmerksamkeitskarten, um die aufgabenspezifische Rekonfiguration zu bewerten.
Robustheit: Simulation von Hemisphärenneglect durch progressive Ablation des linken räumlichen Gitters (7 % bis 100 %), um die Degradation der Bildbeschreibung zu messen.
Neuronale Prädiktion: Ein Banded-Ridge-Encoding-Modell sagte TRIBE-simulierte fMRT-Antworten unter Verwendung der Modell-Aufmerksamkeitskarten („Wo“) und CLIP-Embeddings („Was“) voraus. Die Varianzpartitionierung wurde verwendet, um einzigartige und gemeinsame Beiträge zu isolieren.

Kernergebnisse

1. Decoder-Architektur dominiert die Ausrichtung

Die Wahl des Decoders war der primäre Prädiktor für die Ausrichtung an menschlichen Fixationen und erklärte einen Unterschied von 40–50 Prozentpunkten:

LSTM-Decoder: Erzielten die höchste Ausrichtung und erreichten 80–87 % der menschlichen Noise-Ceiling (z. B. CNN-LSTM: 85–87 %).
Transformer-Decoder: Zeigten eine signifikant geringere Ausrichtung und erreichten lediglich 40–59 % der Ceiling (z. B. ViT-Transformer: 39–52 %).
Encoder-Beitrag: CNN-Encoder boten einen sekundären Vorteil von 5–20 Prozentpunkten gegenüber ViT-Encodern, abhängig von der Decoder-Familie. Die Kombination CNN-LSTM war insgesamt am stärksten ausgerichtet.
SOTA-Modelle: Molmo 7B-D (76–82 %) und Qwen3.5 9B (53–69 %) lagen zwischen den Extremen der trainierten Modelle, übertrafen jedoch das benutzerdefinierte CNN-LSTM nicht.

2. Dissoziation zwischen Ausrichtung und räumlichen Eigenschaften

Eine kritische Erkenntnis war der Trade-off zwischen Ausrichtungsgenauigkeit und räumlichen Charakteristika:

LSTM-Modelle: Obwohl sie hochgradig mit menschlichen Fixations-Lokationen korrelierten, waren ihre Aufmerksamkeitskarten räumlich diffus (Shannon-Entropie $\approx 0,999$ ) und verteilten die Gewichte über fast alle 196 räumlichen Positionen. Sie zeigten zudem eine geringe Aufgabendifferenzierung, da sie über die Describe- und Social-Aufgaben hinweg ähnliche Aufmerksamkeitsmuster beibehielten.
Transformer-Modelle: Trotz geringerer Fixationsausrichtung wiesen sie eine schärfere räumliche Konzentration und eine stärkere Aufgabendifferenzierung auf (z. B. zeigte der ViT-Transformer die deutlichsten Unterschiede in den Aufmerksamkeitskarten zwischen den Aufgaben).

3. Robustheit gegenüber Läsionen

In Simulationen von Hemisphärenneglect korrelierte die Robustheit mit dem Grad der verteilten Verarbeitung:

ViT-Transformer: Die am stärksten verteilte Architektur war am resilientesten gegenüber räumlicher Ablation und behielt die Qualität der Bildbeschreibung selbst bei erheblichem Verlust des rezeptiven Feldes bei.
LSTM-Modelle: Zeigten die größte Degradation unter Läsionen, insbesondere bei hoher Schwere der Ablation, wenn alle Patches das gleiche Gewicht erhielten.

4. Neuronale Prädiktionsgenauigkeit vs. Verhaltenale Ausrichtung

Die Studie fand eine Dissoziation zwischen behavioraler Ausrichtung und neuronaler Prädiktionskraft:

CNN-Transformer: Trotz des dritten Platzes in der Fixationsausrichtung lieferten die Aufmerksamkeitskarten dieses Modells die beste Vorhersage der synthetischen Gehirnaktivität (höchstes ganzhirniges $R^2$ ) in der TRIBE-Simulation.
LSTM-Modelle: Obwohl sie am besten mit dem menschlichen Blick (Gaze) korrelierten, waren sie nicht die besten Prädiktoren für neuronale Antworten.
Varianzpartitionierung: „Was“ (visueller/semantischer Inhalt via CLIP) erklärte den Großteil der neuronalen Varianz, konzentriert in Sprach- und Temporalregionen. „Wo“ (räumliche Aufmerksamkeit) erklärte die Varianz primär in der frühen visuellen Cortex und den dorsalen Aufmerksamkeitsnetzwerken. Die beiden Signale waren in höheren Regionen weitgehend geteilt, was darauf hindeutet, dass die Trennung zwischen „Was“ und „Wo“-Pfaden weniger strikt ist als traditionell angenommen.

Bedeutung und Behauptungen

Das Paper behauptet, dass die Decoder-Architektur der dominante Faktor ist, der bestimmt, wie gut die Aufmerksamkeit eines VLM mit der menschlichen räumlichen Selektion übereinstimmt, wobei LSTM-Decoder in der behavioralen Ausrichtung die Transformer übertreffen, aber an deraufgabenbezogenen Schärfe scheitern. Umgekehrt bieten Transformer-Decoder, obwohl sie eine geringere behaviorale Ausrichtung aufweisen, eine überlegene räumliche Akuität und Robustheit.

Die Autoren heben einen fundamentalen Trade-off hervor:

Top-down-Mechanismen (Decoder): LSTM-Decoder wirken als Flaschenhals, der eine breite, diffuse Abtastung erzwingt, die zwar die menschliche Fixationsverteilung nachahmt, aber an aufgabenspezifischer Schärfe mangelt. Transformer-Decoder verteilen die Aufmerksamkeit über mehrere Heads, was Spezialisierung und Aufgabenadaption ermöglicht, aber zu einer geringeren Gesamtausrichtung auf Fixationen führt.
Bottom-up-Mechanismen (Encoder): CNNs übertreffen ViTs konsistent in der Ausrichtung, was die Idee verstärkt, dass lokale Verarbeitungs-Biases vorteilhaft für das Nachahmen der menschlichen visuellen Selektion sind.

Entscheidend ist, dass die Studie zeigt, dass Fixationsausrichtung und neuronale Prädiktionsgenauigkeit keine austauschbaren Metriken sind. Ein Modell kann weniger mit menschlichen Augenbewegungen übereinstimmen und dennoch neuronale Prozesse besser vorhersagen, was darauf hindeutet, dass unterschiedliche architektonische Biases verschiedene Facetten der menschlichen Verarbeitung erfassen. Die Ergebnisse legen nahe, dass aktuelle VLMs das volle Spektrum der menschlichen Aufmerksamkeit nicht vollständig erfassen, da diese sowohl die diffuse Abtastung von LSTMs als auch die scharfe, aufgabenadaptive Konzentration von Transformern erfordert.