💻 computer science

TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues

Das Paper schlägt TextGaze vor, eine einheitliche crossmodale Architektur, die ein Large Vision-Language Model nutzt, um skalierbare textuelle Szenenhinweise bereitzustellen, was eine robuste und annotations-effiziente Schätzung der Blickziel-Estimation ermöglicht, die visuelle Salienz mit der tatsächlichen Blickabsicht über verschiedene Datensätze hinweg ausbalanciert.

Ursprüngliche Autoren: Junhui She, Fei Wang, Kun Li, Yiqi Nie, Yuxin Liu, Zhangling Duan, Xun Yang

Veröffentlicht 2026-07-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Junhui She, Fei Wang, Kun Li, Yiqi Nie, Yuxin Liu, Zhangling Duan, Xun Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie müssten erraten, wohin eine Person in einem überfüllten Foto blickt. Es ist, als versuche man herauszufinden, welcher Freund in einem Gruppen-Selfie gerade auf einen versteckten Keks starrt. Lange Zeit versuchten Informatiker, dies zu lösen, indem sie „Multi-Branch“-Maschinen bauten. Stellen Sie sich diese als ein Team von Detektiven vor, von denen jeder eine spezifische Aufgabe hat: Einer überprüft den Kopf der Person, ein anderer misst die Tiefe des Raumes, ein dritter analysiert ihre Pose und ein vierter betrachtet ihre Augen. Obwohl dies gründlich klingt, argumentiert das Paper, dass es ein wenig so ist, als würde man eine ganze Polizeistärke engagieren, nur um einen verlorenen Schlüssel zu finden. Es erfordert eine gewaltige Menge an zusätzlicher Trainingsdaten (Annotationen) für jeden einzelnen Detektiven, was das System langsam beim Lernen macht und schwer an neue Orte übertragbar macht.

Auf der anderen Seite versuchen einige neuere, einfachere Methoden, ein „Ein-Mann-Show“-Ansatz zu sein. Sie betrachten das Bild und raten basierend darauf, was glänzt oder interessant aussieht. Aber das Paper weist auf einen entscheidenden Fehler hin: Diese einfachen Methoden lassen sich oft von „visuellem Rauschen“ ablenken. Sie könnten denken, eine Person schaue auf einen leuchtend roten Hut, weil dies das farbenfrohste Objekt ist, selbst wenn die Person eigentlich auf eine langweilige graue Wand blickt. Das Paper nennt dies „semantische Defokussierung“ – der Computer sieht das Objekt, aber erfasst nicht die Intention.

Hier kommt TextGaze ins Spiel, der neue Held dieser Geschichte. Die Autoren schlagen einen klugen Mittelweg vor, der weder ein riesiges Team von Detektiven benötigt, noch leicht ablenkbar ist. Sie verwenden ein „Large Vision-Language Model“ (LVLM) – denken Sie an einen superintelligenten, belesenen Bibliothekar, der ein Bild betrachten und es in Worten beschreiben kann.

So funktioniert TextGaze:

Die Beschreibung des Bibliothekars: Anstatt nur auf Pixel zu starren, bittet das System das LVLM, eine kurze Geschichte über die Szene zu schreiben. Zum Beispiel könnte es sagen: „Der Mann im gelben Trikot blickt nach unten zu seiner rechten Seite.“
Die Fusion: Das System nimmt diese Worte und vermischt sie mit dem visuellen Bild. Es ist, als würde man dem Computer eine Karte (den Text) geben, während er das Gelände (das Bild) erkundet. Dies hilft dem Computer zu verstehen, warum jemand irgendwohin blickt, und nicht nur, wo das glänzende Objekt ist.
Das Sicherheitsnetz: Um sicherzustellen, dass der Computer die Geschichte nicht vergisst, während er seine Berechnungen durchführt, haben die Autoren einen speziellen „Supervisions“-Schritt hinzugefügt. Es ist wie ein Lehrer, der die Notizen des Schülers bei jedem Schritt der Lektion überprüft, um sicherzustellen, dass er nicht vom Thema abkommt.

Das Team testete diese Idee auf vier Datensätzen, die im Grunde riesige Sammlungen von Fotos und Videos sind, die zum Trainieren dieser KI-Gehirne verwendet werden. Die Ergebnisse waren sehr vielversprechend. Auf dem GazeFollow-Datensatz erreichte die neue Methode einen AUC-Wert von 0,956 (ein Wert, bei dem höher besser ist, wobei 1,0 perfekt ist) und eine durchschnittliche Fehlerdistanz (Avg L2) von nur 0,099 Pixeln unter Verwendung des größeren „ViT-L“-Backbones. Das bedeutet, es war sehr nah an den besten existierenden Methoden, jedoch ohne die zusätzlichen „Tiefen“- oder „Pose“-Daten zu benötigen, die andere Top-Modelle erfordern.

Was wirklich cool ist, ist, wie gut es mit neuen, ungesehenen Situationen umging. Als das Team TextGaze auf dem GOO-Real-Datensatz testete (der Menschen beim Einkaufen in alltäglichen Szenarien zeigt), ohne es mit zusätzlichem Training zu füttern, schnitt es dennoch an der Spitze der Charts ab, mit einem AUC-Wert von 0,918 und einem L2-Fehler von 0,159. Dies deutet darauf hin, dass der „Bibliothekar“-Ansatz dem Computer hilft, besser zu generalisieren, als es durch das bloße Auswendiglernen visueller Muster möglich wäre.

Die Autoren merken vorsichtig an, dass ihre Methode zwar gestrafft und effektiv ist, aber kein Zauberstab ist, der alles sofort löst. Sie schließen explizit die Idee aus, dass wir komplexe Multi-Branch-Systeme mit zusätzlichen Sensoren benötigen, um gute Ergebnisse zu erzielen. Sie argumentieren auch dagegen, sich ausschließlich auf niedrigschwellige visuelle Tricks zu verlassen. Stattdessen schlagen sie vor, dass das Hinzufügen einer Ebene des „textuellen Verständnisses“ der Schlüssel ist, um die Lücke zwischen dem Sehen eines Bildes und dem Verstehen der menschlichen Intention zu schließen.

Kurz gesagt zeigt TextGaze, dass es einem Computer helfen kann, wohin jemand blickt, viel besser zu verstehen, wenn man ihm ein wenig „Geschichtenerzähl-Fähigkeit“ gibt, als wenn er nur das Bild anstarrt. Es ist eine spielerische, effiziente und überraschend genaue Art, Maschinen beizubringen, den Raum zu lesen.

Technisches Resümee: TextGaze

Problemstellung

Die Schätzung des Blickziels (Gaze Target Estimation) zielt darauf ab, die Position des Blicks einer Person innerhalb einer Szene zu inferieren oder zu bestimmen, ob das Blickziel innerhalb des Bildrahmens liegt. Das Paper identifiziert zwei primäre Limitationen bestehender Ansätze:

Multi-Branch-Methoden: Diese Architekturen integrieren Hilfsreize (z. B. Tiefe, Pose, Kopffunktionen) über separate Zweige. Während diese die visuellen Repräsentationen bereichern, führen sie zu einem erheblichen Annotationsaufwand, einer langsameren Konvergenz aufgrund struktureller Komplexität und behindern den Domänen-Transfer. Darüber hinaus fungieren sie oft als geometrische Filter, die nicht in der Lage sind, über gültige Blickziele zu schlussfolgern, was zu einer „semantischen Unterbestimmtheit“ führt.
Gestraffte/Prompt-Tuning-Methoden: Neuere Ansätze versuchen, die Architekturen durch die Verwendung von Positions-Prompts mit Foundation-Modellen zu vereinfachen. Diese Methoden leiden jedoch häufig unter einem „semantischen Defokus“, bei dem das Modell sich auf niedrigschwellige visuelle Salienz (räumliche Nähe, visuelle Auffälligkeit) statt auf die wahre Blickintention verlässt, was zu einer Diskrepanz zwischen der vorhergesagten Aufmerksamkeit und den tatsächlichen Blickzielen führt.

Die zentrale Herausforderung besteht darin, die Notwendigkeit semantischer Führung mit architektonischer Einfachheit in Einklang zu bringen und über rein geometrische Regression hinauszugehen, hin zu einer Argumentation auf Ebene der Intention, ohne komplexe Multi-Branch-Strukturen wieder einzuführen.

Methodik: TextGaze

Die Autoren schlagen TextGaze vor, eine einheitliche cross-modale Architektur, die ein Large Vision-Language Model (LVLM) als skalierbare semantische Führung nutzt. Das Framework verschiebt die Blickschätzung von direkter geometrischer Regression hin zu einem Prozess der Intent-Erkennung über eine semantische Ebene.

1. Architekturübersicht

Das Modell besteht aus drei Kernkomponenten:

LVLM-basierter Modul für textuelle Szenenreize: Ein eingefrorenes LVLM (speziell Qwen2.5-VL-7B-Instruct in den Experimenten) wird angewiesen, strukturierte textuelle Beschreibungen des Erscheinungsbilds, des Verhaltens und der groben Blickorientierung des Subjekts zu generieren. Diese natürlichen Sprachausgaben werden durch einen eingefrorenen BERT-Textencoder in dichte Embeddings ( $S_t$ ) kodiert. Dieses Modul liefert hochgradige semantische Priors (Objekte, Handlungen), ohne eine explizite Lokalisierung des Blickziels durch das LVLM zu erfordern, was für Ziele außerhalb des Bildrahmens unzuverlässig sein kann.
Feature Token Sequence Processing Modul:
- Visueller Stream: Ein eingefrorener DINOv2-Encoder extrahiert feingliedrige Szenenmerkmale ( $F_v$ ). Um die Sensitivität gegenüber dem Ziel zu erhöhen, wird ein lernbares Head-Token-Embedding mittels maskierter Modulation basierend auf dem Kopf-Bounding-Box hinzugefügt.
- Fusion: Text- und visuelle Feature-Sequenzen werden konkateniert. Ein lernbares Token ( $z_{in/out}$ ) wird für die In-/Out-of-Frame-Klassifizierungsaufgabe vorangestellt.
Cross-Modal Fusion und Prediction Modul:
- Fusion Transformer: Ein dreischichtiger, gestapelter Transformer mit Post-Normalisierung integriert visuelle und textuelle Tokens. Er verwendet Multi-Head Self-Attention (MHSA), um eine uneingeschränkte Interaktion zwischen den Modalitäten zu ermöglichen.
- Hierarchische Text-Supervision: Um die aufgabenrelevante Textsemantik während der tiefen Fusion zu verhindern, führen die Autoren einen schichtweisen Text-Konsistenz-Supervisionsmechanismus ein. Dieser erzwingt die semantische Ausrichtung über alle Transformer-Schichten hinweg, indem die intermediären Text-Tokens zurück auf die ursprünglichen Text-Encoder-Features projiziert und der mittlere quadratische Fehler (MSE) minimiert wird.
- Prediction Heads: Ein leichtgewichtiger Decoder erzeugt eine Blick-Heatmap (überwacht durch pixelweisen BCE-Loss mit Gaußschen Targets) und eine skalare Wahrscheinlichkeit für den In-/Out-of-Frame-Status (überwacht durch binäre Kreuzentropie).

2. Trainingsziel

Die gesamte Verlustfunktion kombiniert den Heatmap-Loss ( $L_{heat}$ ), den In/Out-Klassifizierungs-Loss ( $L_{in/out}$ ) und den hierarchischen Text-Supervisions-Loss ( $L_{text}$ ):
$L_{all} = L_{heat} + \lambda_1 L_{in/out} + \lambda_2 L_{text}$

Wichtigste Beiträge

Textuelle Szenenreize: Das Paper führt die Integration von textuellen Szenenreizen in die Blickziel-Schätzung ein, um den semantischen Defokus zu mildern. Durch die Nutzung von LVLMs zur Generierung zusätzlicher semantischer Informationen (Erscheinungsbild, Aktion, Intention) gewinnt das Modell hochgradige Priors, ohne die Komplexität von Multi-Branch-Designs.
Verbesserte Benchmarks: Die Autoren stärken die GazeFollow- und VideoAttentionTarget-Benchmarks, indem sie Szenen-Ziel-Person-Aufmerksamkeitsfelder mit LVLM-orientierten Prompts integrieren, wodurch robuste kontextuelle Reize generiert werden, die die textgestützte Blick-Schätzung verbessern.
Unified Dual-Stream Framework: Ein neuartiges cross-modales Fusionsframework wurde entworfen, das textuelle Embeddings mit feingliedrigen visuellen Repräsentationen kombiniert. Dieser Ansatz ahmt die menschliche Top-Down-Aufmerksamkeit nach, verbessert das räumliche Denken sowie die Szenenadaptivität und behält gleichzeitig eine gestraffte Pipeline bei.

Experimentelle Ergebnisse

Die Methode wurde auf vier gängigen Datensätzen evaluiert: GazeFollow, VideoAttentionTarget, ChildPlay und GOO-Real.

State-of-the-Art Performance: Auf GazeFollow erreichte TextGaze (unter Verwendung von DINOv2 ViT-L) kompetitive Ergebnisse mit dem niedrigsten durchschnittlichen L2-Fehler (0,099) und entsprach dem besten minimalen L2 (0,043), während es gleichzeitig eine hohe AUC (0,956) beibehielt. Auf VideoAttentionTarget übertraf es bestehende Ansätze in den Metriken AUC, L2-Fehler und AP für die In-/Out-of-Frame-Vorhersage.
Cross-Dataset Generalisierung: Ohne Fine-Tuning oder Prompt-Modifikation demonstrierte TextGaze eine robuste Generalisierung:
- Auf GOO-Real (reale Einkaufsszenarien) erreichte es State-of-the-Art-Leistung sowohl in den AUC- als auch in den L2-Metriken.
- Auf ChildPlay (Blick von Kindern) übertraf es alle Baselines in der AP-Metrik für die In-/Out-of-Frame-Klassifizierung, was die Effektivität der durch LVLM abgeleiteten Reize für die Präsenzerkennung unterstreicht.
Ablationsstudien: Experimente bestätigten, dass die Transformer-basierte Fusionsstrategie additive und Cross-Attention-Fusionen übertrifft. Zudem ergab die simultane Aktivierung der hierarchischen Text-Supervision, der visuellen Residual-Verbindungen und spezifischer Positions-Embeddings optimale Ergebnisse, was die komplementäre Natur dieser Komponenten validiert.

Bedeutung und Ansprüche

Das Paper behauptet, dass TextGaze eine gestraffte Alternative zu traditionellen Multi-Branch-Designs bietet. Durch die Nutzung von LVLMs als zugängliche Hilfsführung gelingt es der Methode, den Trade-off zwischen den hohen Annotationskosten von Multi-Branch-Systemen und den semantischen Limitationen von gestrafften Visual-only-Modellen erfolgreich auszubalancieren.

Die Autoren betonen, dass das Folgen des Blicks (Gaze Following) inhärent ein Problem der Reasoning auf Ebene der Intention ist und nicht eine rein geometrische Regressionsaufgabe. TextGaze adressiert dies, indem es das Paradigma von „Pixel zu Koordinaten“ zu „Pixel zu semantischer Intention zu Blickziel“ verschiebt. Die Ergebnisse validieren, dass LVLMs effektiv Vision mit hochgradigen Intentionen verbinden können und somit eine skalierbare Lösung für die Blick-Schätzung in komplexen Szenen bieten, ohne redundante Zweige oder umfangreiche domänenspezifische Annotationen zu benötigen.