💻 computer science

VEGAS: Human-Aligned Video Caption Evaluation via Gaze

Das Papier führt VEGAS ein, eine trainingsfreie, crossmodale Metrik, die synchronisierte Blickdaten nutzt, um Videobeschreibungen zu bewerten und auszuwählen, die besser mit der Aufmerksamkeit einzelner Betrachter übereinstimmen, wodurch die Qualität der Bildunterschriften und nachgelagerte Retrieval-Aufgaben verbessert werden, ohne dass ein erneutes Training des Modells erforderlich ist.

Ursprüngliche Autoren: Shenghui Chen, Po-han Li, Ximeng Sun, Shijia Yang, Emad Barsoum, Zicheng Liu, Sandeep Chinchali, Ufuk Topcu

Veröffentlicht 2026-07-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shenghui Chen, Po-han Li, Ximeng Sun, Shijia Yang, Emad Barsoum, Zicheng Liu, Sandeep Chinchali, Ufuk Topcu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten ein Video von jemandem, der in einer Küche kocht. Ein standardmäßiger KI-Untertitelungs-Bot würde sagen: „Eine Person ist in einer Küche mit einem Herd, einem Kühlschrank und einer Arbeitsplatte.“ Das ist technisch korrekt, aber es ist, als würde man eine Karte der ganzen Stadt lesen, wenn man eigentlich nur an der einen Straße interessiert ist, in der das Geschehen stattfindet. Der Bot ignoriert, worauf die Person tatsächlich geschaut hat.

Hier kommt VEGAS (Video caption Evaluation via Gaze Score) ins Spiel. Betrachten Sie VEGAS als einen superintelligenten „Aufmerksamkeits-Schiedsrichter“, der das Video nicht nur liest, sondern auch beobachtet, wohin Ihre Augen gehen, während Sie es anschauen.

Das Problem: Die „Einheitsgröße“-Untertitelung

Die Arbeit weist darauf hin, dass aktuelle KI-Modelle auf einer Mischung aus den Meinungen aller Menschen trainiert werden. Sie versuchen, alles zu beschreiben, was in einer Szene sichtbar ist. Aber Menschen sind wählerisch. Wenn Sie ein Kochvideo ansehen, schauen Sie Ihnen vielleicht intensiv beim Schneiden einer roten Paprika zu, während Sie den Toaster im Hintergrund ignorieren. Eine generische KI-Untertitelung könnte die Paprika komplett übersehen oder sie in einer Liste von Hintergrundgeräuschen untergehen lassen. Dies macht es schwierig, dieses spezifische Video später zu finden, wenn man nach „Schneiden von roten Paprikas“ sucht.

Die Lösung: Der „Blickfilter“

Die Autoren schlagen einen cleveren Trick namens VEGAS vor. Anstatt die KI neu zu trainieren (was so wäre, als würde man den gesamten Motor eines Autos neu bauen), fungiert VEGAS wie ein Filter am Ende des Prozesses.

So funktioniert es mit einer unterhaltsamen Analogie:
Stellen Sie sich vor, die KI ist ein Koch, der fünf verschiedene Rezepte für dieselbe Mahlzeit aufschreibt.

Rezept A: „Ich habe eine Mahlzeit gekocht.“ (Zu vage)
Rezept B: „Ich habe Zwiebeln, Knoblauch und Paprika gehackt.“ (Spezifisch, aber vielleicht haben Sie nicht auf den Knoblauch geschaut)
Rezept C: „Ich habe im Topf gerührt.“ (Sie haben auf den Topf geschaut)

Nun stellen Sie sich vor, Sie tragen eine spezielle Brille, die genau verfolgt, wo Ihr Blick landet. VEGAS nimmt Ihre Eye-Tracking-Daten und fragt den Koch: „Hey, wenn ich dir nur die Teile des Videos zeigen würde, auf die der Zuschauer geschaut hat, würdest du dann immer noch in der Lage sein, dieses Rezept zu schreiben?“

Wenn das Rezept die rote Paprika erwähnt und Ihre Augen fest auf die rote Paprika gerichtet waren, sagt VEGAS: „Tolle Übereinstimmung! Niedriger Score!“ (In diesem Spiel ist ein niedrigerer Score besser).
Wenn das Rezept den Toaster erwähnt, aber Ihre Augen nie zum Toaster geschaut haben, sagt VEGAS: „Warte, woher wusstest du etwas über den Toaster? Das ist eine Zusatzinformation, die du nicht gebraucht hättest. Hoher Score!“ (Schlechte Übereinstimmung).

VEGAS wählt dann das „Rezept“ (den Untertitel) mit dem niedrigsten Score aus – also denjenigen, der perfekt zu Ihrem spezifischen Blick passt.

Was sie herausgefunden haben (Die Fakten)

Die Forscher testeten dies an zwei sehr unterschiedlichen Arten von Videos:

First-Person-Videos (wie jemand, der in seinem Haus Hausarbeit erledigt).
Instruktions-Folien (wie eine PowerPoint-Präsentation).

Der große Sieg:
Bei den First-Person-Videos funktionierte VEGAS hervorragend. Als sie den „Blickfilter“ verwendeten, um Untertitel auszuwählen, wurden die Beschreibungen um 13,53 % ähnlicher zu dem, was Menschen tatsächlich geschrieben haben.

Der Beweis: Sie führten einen statistischen Test (einen Wilcoxon-Vorzeichen-Rang-Test) durch und erhielten ein Ergebnis von Z = 10,04 mit einem p-Wert < 0,001. Das bedeutet, die Verbesserung war kein Zufall; es war ein realer, messbarer Unterschied.
Der Retrieval-Boost: Als sie diese besseren Untertitel verwendeten, um Videos zu suchen, fanden sie das richtige Video 1,14 % häufiger an der Spitze der Liste. Wenn man weiter unten in der Liste schaute (unter den Top 5 oder Top 10 Ergebnissen), stieg die Verbesserung auf 4,16 % bzw. 4,10 %.

Der „Es kommt darauf an“-Teil:
Bei den Instruktions-Folien waren die Ergebnisse etwas anders. Die Verbesserung war gering (+3,88 %) und die Arbeit stellt fest, dass sie nicht statistisch signifikant war (p = 0,0952).

Warum? Die Autoren vermuten, dass es bei Folien oft viele „richtige“ Arten gibt, den Text zusammenzufassen. Selbst wenn Ihre Augen auf ein bestimmtes Diagramm schauen, könnten verschiedene Menschen die Bedeutung dieses Diagramms auf unterschiedliche Weise interpretieren. Der Blick verrät Ihnen, wohin sie geschaut haben, aber nicht unbedingt, wie sie die komplexen Ideen interpretiert haben. Daher ist VEGAS großartig darin, konkrete Objekte (wie eine rote Kappe oder einen Hund) zu erkennen, aber weniger perfekt bei abstrakten Konzepten.

Was sie ausgeschlossen haben

Das Paper hat sehr sorgfältig geprüft, ob VEGAS nur „schummelt“, indem es kürzere oder einfachere Untertitel auswählt.

Hat es einfach nur kurze Untertitel gewählt? Nein. Sie prüften die Korrelation zwischen dem VEGAS-Score und der Anzahl der Wörter, und diese lag praktisch bei null (0,001).
Hat es einfach nur generische Untertitel gewählt? Nein. Die Korrelation mit der „Spezifität“ (Verwendung von Nomen, Verben usw.) lag ebenfalls nahe bei null (0,026).
Brauchte es ein neues KI-Modell? Nein. Sie verwendeten bereits existierende, leistungsstarke KI-Modelle (wie Gemini und GPT) und nutzten VEGAS lediglich, um das beste aus einer Liste von Kandidaten auszuwählen. Kein Nachtraining erforderlich.

Das Fazit

VEGAS legt nahe, dass man, wenn man einen Videountertitel möchte, der sich persönlich anfühlt und hilft, das Video später wiederzufinden, nicht nur die KI fragen sollte: „Was ist in diesem Video zu sehen?“ Man sollte stattdessen fragen: „Worauf hat diese spezifische Person geschaut?“

Die Arbeit zeigt, dass wir durch die Nutzung von Eye-Tracking-Daten als Filter eine generische KI-Beschreibung in eine personalisierte Beschreibung verwandeln können, die der menschlichen Aufmerksamkeit viel besser entspricht – insbesondere, wenn das Video reale Handlungen zeigt. Es ist kein Zauberstab, der alles löst (bei Folien ist es immer noch knifflig), aber es ist ein leistungsstarkes neues Werkzeug, das funktioniert, ohne dass wir die KI von Grund auf neu bauen müssen.

Technisches Resümee: VEGAS – Menschzentrierte, blickgesteuerte Evaluierung von Video-Bildunterschriften

1. Problemstellung

Vision-Language-Modelle (VLMs) sind exzellent darin, semantisch korrekte Video-Bildunterschriften zu generieren, stützen sich jedoch typischerweise auf Crowd-Sourcing-Annotationen, die vielfältige menschliche Interpretationen aggregieren. Infolgedessen produzieren diese Modelle oft „global korrekte“ Beschreibungen, die es versäumen, die spezifischen Aufmerksamkeitsmuster einzelner Betrachter zu erfassen. In Anwendungen wie der kapitelbasierten Indexierung von Videos kann eine generische Bildunterschrift, die unbemerktes Hintergrundmaterial betont, es schwierig machen, ein Video basierend auf dem spezifischen Objekt oder der Aktion abzurufen, auf die ein Nutzer tatsächlich geachtet hat.

Das zentrale Problem ist die Diskrepanz zwischen den generierten Bildunterschriften und der individuellen visuellen Aufmerksamkeit. Während der menschliche Blick (Gaze) als messbarer Stellvertreter für visuelle Aufmerksamkeit dient, wurde er in vorangegangenen Arbeiten weitgehend nur als Signal zur Überwachung während der Trainingszeit verwendet. Diese Arbeit untersucht, ob der Blick auch zur Testzeit genutzt werden kann, um personalisierte Bildunterschriften auszuwählen, die den Fokus eines spezifischen Betrachters widerspiegeln, ohne das zugrunde liegende Modell neu zu trainieren.

2. Methodik

2.1 VEGAS-Metrik (Video caption Evaluation via GAze Score)

Die Autoren schlagen VEGAS vor, eine trainingsfreie, multimodale, informationstheoretische Metrik, die quantifiziert, wie gut eine Kandidaten-Bildunterschrift mit dem Blick des Betrachters übereinstimmt.

Formulierung: Das Ziel ist es, die gegenseitige Information (Mutual Information) zwischen einer Bildunterschrift $t$ und einem Blick-Signal $G$ zu maximieren. Da die wahren Randverteilungen $P(t)$ und $P(G)$ unpraktikabel sind, approximiert VEGAS dies mithilfe der bedingten Likelihoods eines eingefrorenen, vortrainierten VLMs.
Kernintuition: Eine blickgesteuerte Bildunterschrift sollte allein aus den beachteten Regionen ( $G$ ) hochgradig vorhersagbar sein, wobei nicht beachtete Regionen ( $\bar{G}$ ) nur minimale zusätzliche Informationen liefern sollten.
Definition: VEGAS ist definiert als die punktweise bedingte gegenseitige Information zwischen den Bildunterschriften-Tokens $t$ und den nicht beachteten Regionen $\bar{G}$ , bedingt auf die beachteten Regionen $G$ :
$\text{VEGAS}(c, G) \triangleq I(t; \bar{G} | G) = \log \frac{P_\theta(t | V)}{P_\theta(t | G)}$
Wobei $V$ das vollständige Video und $G$ das durch den Blick betrachtete Video ist.
Interpretation: Ein niedrigerer VEGAS-Wert ist besser. Er zeigt an, dass die Bildunterschrift allein durch die beachteten Regionen gut erklärt wird. Ein hoher Wert impliziert, dass die Bildunterschrift stark auf visuellen Inhalt außerhalb des Fokus des Betrachters angewiesen ist.
Token-Ebene-Dekomposition: Die Metrik dekomponiert autoregressiv über Tokens, was die Identifizierung spezifischer semantischer Konzepte ermöglicht, die durch den Blick des Betrachters gestützt oder nicht gestützt werden.

2.2 Gaze-Conditioned Rejection Sampling

VEGAS wird verwendet, um Bildunterschriften aus einem Pool von Kandidaten auszuwählen, die von bestehenden VLMs ohne Modell-Retraining generiert wurden:

Generierung von Kandidaten: Mehrere VLMs generieren $N$ Kandidaten-Bildunterschriften für ein Video $V$ unter Verwendung verschiedener Decoding-Temperaturen.
Scoring: Für jede Kandidaten-Bildunterschrift $c_i$ wird der VEGAS-Score unter Verwendung des Blick-Signals $G$ des Betrachters berechnet.
Selektion: Die Bildunterschrift mit dem niedrigsten VEGAS-Score wird ausgewählt:
$c^* = \arg \min_{c_1, \dots, c_N} \text{VEGAS}(c_i, G)$
Dieser Prozess filtert effektiv Bildunterschriften heraus, die unbemerkte Inhalte beschreiben, und bevorzugt jene, die mit dem spezifischen Aufmerksamkeitsfokus des Betرشters übereinstimmen.

3. Datensatz-Kuratierung

Zur Evaluierung des Frameworks haben die Autoren einen multimodalen Datensatz kuratiert, der synchronisierten menschlichen Blick, visuellen Inhalt und frei formulierten, von Menschen geschriebenen Bildunterschriften über zwei Domänen hinweg kombiniert:

Aria Everyday Activities (AEA): 332 egozentrische Videoclips aus Project Aria Smart Glasses-Daten. Diese Clips erfassen dynamische, reale Aufgaben (z. B. Kochen, Computern), bei denen der Blick hilft, konkrete Objektambiguitäten aufzulösen.
SlideVQA: 300 Instruktions-Folien aus 30 Decks. Teilnehmer betrachteten die Folien über eine Webcam-basierte Eye-Tracking-Technologie und erstellten Bildunterschriften. Diese Domäne testet die Blick-Konditionierung in dichten visuellen Medien, in denen konzeptionelle Abstraktion erforderlich ist.

Der Datensatz umfasst 2.981 hochwertige menschliche Annotationen, die die Vielfalt der auf Aufmerksamkeit basierenden semantischen Variationen erfassen.

4. Kernergebnisse

4.1 Semantische Ausrichtung

AEA (egozentrisch): VEGAS-selektierte Bildunterschriften zeigten eine statistisch signifikante Verbesserung der semantischen Ausrichtung mit menschlichen Annotationen im Vergleich zu naiven VLM-Bildunterschriften. Die mittlere SBERT-Ähnlichkeit stieg um +0,0856 (+13,53 %) ( $p < 0,001$ ).
SlideVQA: Die Verbesserung war kleiner (+0,0256) und statistisch nicht signifikant ( $p = 0,0952$ ). Die Autoren führen dies auf die Natur von Folien zurück, bei denen mehrere valide konzeptionelle Zusammenfassungen für dasselbe Visuelle existieren, wodurch der Blick ein schwächerer Selektor für abstrakte Interpretationen im Vergleich zu konkreten Objekten ist.

4.2 Caption-to-Video Retrieval (Bildunterschrift-zu-Video-Abruf)

Auf dem AEA-Datensatz wurde VEGAS verwendet, um einen Index für das Caption-to-Video-Retrieval zu erstellen:

Performance: VEGAS-selektierte Indizes verbesserten die Retrieval-Metriken gegenüber zufälligen VLM-Bildunterschriften.
- Precision/Recall/mAP@1: +1,14 % Verbesserung.
- Recall@5: +4,16 % Verbesserung.
- mAP@10: +2,46 % Verbesserung.
Lücken-Schließung: VEGAS stellte etwa 15 % der Lücke zwischen zufälliger maschineller Auswahl und menschlicher-menschlicher Abfrage bei Rank 1 wieder her, konnte aber über 40 % der Lücke bei Recall@5 und Recall@10 schließen. Dies deutet darauf hin, dass VEGAS das korrekte Video effektiv in die Top-Kandidaten bewegt, auch wenn es nicht immer den obersten Rang erreicht.

4.3 Ablation und Diagnostik

Blick-Korruption (Gaze Corruption): Das Ersetzen des echten Blicks durch einen zufälligen Blick aus anderen Clips erhöhte den VEGAS-Score signifikant (was die Ausrichtung verschlechterte), was die Sensitivität der Metrik gegenüber korrekten Blick-Signalen bestätigt.
Längen-Bias: Eine Korrelationsanalyse zeigte, dass VEGAS nicht durch die Länge oder Generizität der Bildunterschrift getrieben wird; die Verbesserungen werden nicht durch die Auswahl kürzerer Bildunterschriften erklärt.
Token-Ebene-Analyse: Qualitative Beispiele zeigten, dass VEGAS korrekt Tokens bestraft, die unbemerkte Regionen beschreiben (z. B. „Garten“, wenn der Nutzer auf eine „Waschmaschine“ schaute), und Tokens bevorzugt, die mit den Fixationspunkten übereinstimmen.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass VEGAS die praktische Nützlichkeit der Einbeziehung der Zuschaueraufmerksamkeit während der Inferenz demonstriert. Die primären Beiträge sind:

Eine trainingsfreie Metrik: Es bietet eine Methode zur Evaluierung und Auswahl personalisierter Bildunterschriften, ohne große Vision-Language-Modelle feinabzustimmen oder neu zu trainieren.
Test-Time-Conditioning: Es verschiebt das Paradigma der Nutzung des Blicks von einem Signal zur Überwachung während der Trainingszeit zu einem Signal zur Konditionierung zur Testzeit für Personalisierung.
Domänenspezifität: Die Ergebnisse verdeutlichen, dass die blickgesteuerte Bildunterschriftenbildung am effektivsten ist, wenn die visuelle Aufmerksamkeit hilft, konkrete Referenten (z. B. egozentrische Aktivitäten) zu disambiguieren, aber weniger diagnostisch ist, wenn der Stimulus viele valide konzeptionelle Zusammenfassungen unterstützt (z. B. Instruktionsfolien).
Verbesserung des Retrievals: Durch die Ausrichtung der Bildunterschriften auf die individuelle Aufmerksamkeit verbessert VEGAS die semantische Indexierung von Videos und macht sie basierend auf dem, was ein spezifischer Nutzer tatsächlich angesehen hat, besser abrufbar.

Die Autoren bleiben bescheiden und merken an, dass VEGAS die Einschränkungen der zugrunde liegenden VLMs erbt (z. B. Halluzinationen) und dass der Blick zwar angibt, wohin ein Betrachter schaut, aber nicht unbedingt, wie er komplexe visuelle Beziehungen interpretiert. Zukünftige Arbeiten werden vorgeschlagen, um implizite Aufmerksamkeits-Proxies (wie Saliency-Modelle) zu untersuchen und VEGAS in Trainingsziele zu destillieren.