🤖 AI

ToG-Bench: Task-Oriented Spatio-Temporal Grounding in Egocentric Videos

Die Arbeit stellt ToG-Bench vor, den ersten Benchmark für aufgabenorientiertes räumlich-zeitliches Grounding in Egocentric-Videos, der durch die Forderung nach der Lokalisierung von Objekten basierend auf Aufgaben statt bloßer Beschreibungen sowie durch explizit-implizite und viele-zu-eins Zuordnungen neue Herausforderungen für multimodale Sprachmodelle in embodied-AI-Szenarien definiert.

Ursprüngliche Autoren: Qi'ao Xu, Tianwen Qian, Yuqian Fu, Kailing Li, Yang Jiao, Jiacheng Zhang, Xiaoling Wang, Liang He

Veröffentlicht 2026-04-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Qi'ao Xu, Tianwen Qian, Yuqian Fu, Kailing Li, Yang Jiao, Jiacheng Zhang, Xiaoling Wang, Liang He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du gibst einem Roboter eine Aufgabe: „Mach mir einen Kaffee."

Ein alter Computer würde vielleicht raten und nach einem Objekt namens „Kaffee" im Video suchen. Da es das aber nicht gibt, würde er scheitern. Ein moderner KI-Roboter muss aber viel schlauer sein: Er muss verstehen, dass er erst die Kaffeemaschine finden, dann den Wasserhahn aufdrehen und schließlich die Tasse holen muss. Und das alles aus der Perspektive des Roboters selbst (wie durch seine eigenen Augen gesehen), während er sich durch den Raum bewegt.

Genau hier setzt die neue Forschung „ToG-Bench" an. Hier ist die Erklärung des Papers in einfachen Worten:

1. Das Problem: Der „Beschreibende" vs. Der „Handelnde"

Bisher waren KI-Tests für Videos wie ein Fotowettbewerb. Die KI bekam einen Befehl wie: „Zeig mir das rote Kissen auf dem Bett." Das ist einfach: Die KI sucht nach Rot und Kissen.

Aber echte Roboter müssen Handeln. Sie brauchen Befehle wie: „Räume den Tisch auf."

Das ist schwierig, weil die KI nicht nur nach einem „Tisch" suchen muss, sondern verstehen muss: „Ah, ich muss den Teller, die Gabel und das Glas finden."
Sie muss auch zwischen den Zeilen lesen: Wenn ich sage „Mach mir Wasser", muss die KI wissen, dass sie zum Spülbecken gehen muss, auch wenn das Wort „Spülbecken" gar nicht im Befehl stand. Das ist wie wenn ein Koch sagt: „Ich brauche etwas zum Schneiden" und der Gehilfe sofort das Messer findet, ohne dass es genannt wurde.

2. Die Lösung: ToG-Bench (Der neue Prüfungsplan)

Die Forscher haben einen neuen Test namens ToG-Bench gebaut. Man kann sich das wie einen neuen Fahrprüfungs-Parcours für KI-Autos vorstellen, der viel schwieriger ist als die alten.

Die Aufgaben: Statt nur „Zeig mir das Auto" zu sagen, geben sie Aufgaben wie „Fahre zur Tankstelle".
Die drei neuen Herausforderungen:
1. Zielorientiert: Die KI muss wissen, warum sie etwas sucht (z. B. den Wasserkocher, um Tee zu machen), nicht nur, wie es aussieht.
2. Das Unsichtbare finden: Sie muss Dinge finden, die nicht genannt wurden (z. B. den Wasserhahn beim Befehl „Wasser zapfen").
3. Mehrere Dinge gleichzeitig: Eine Aufgabe kann mehrere Objekte betreffen (z. B. „Schreib etwas auf die Tafel" = Tafel + Marker + Radiergummi).

3. Wie wurde der Test gemacht?

Die Forscher haben keine neuen Videos gedreht, sondern existierende Aufnahmen aus einem Haus (ScanNet) genommen.

Der Trick: Sie haben eine super-intelligente KI (ein „Gehirn") gebeten, sich Aufgaben auszudenken, die ein Mensch in diesem Raum machen würde.
Die menschliche Korrektur: Da KIs manchmal halluzinieren (z. B. eine Kaffeetasse erfinden, die gar nicht da ist), haben echte Menschen alle Aufgaben und die markierten Objekte geprüft. Das ist wie ein Lehrer, der die Hausaufgaben der KI korrigiert, bevor sie in den Test geht.

4. Das Ergebnis: Die KI ist noch nicht reif

Die Forscher haben 7 der besten aktuellen KI-Modelle (wie GPT-5, Gemini, Qwen) auf diesen Parcours geschickt. Das Ergebnis war ernüchternd, aber aufschlussreich:

Die „Verstehens"-Klasse: Die KIs sind sehr gut darin, die Aufgabe zu verstehen. Wenn sie gefragt werden: „Was muss ich tun?", sagen sie oft richtig: „Ich muss zum Spülbecken gehen." (Das ist wie ein Schüler, der die Matheaufgabe versteht).
Die „Fingerfertigkeit"-Klasse: Sobald es darum geht, das Spülbecken genau im Video zu finden und zu verfolgen, während sich die Kamera bewegt, scheitern sie oft.
- Das Bild: Stell dir vor, du versuchst, einen Ball im Dunkeln zu fangen. Du weißt, wo er sein sollte (Verstehen), aber deine Hände treffen ihn nicht genau (Verfolgung).
- Bei komplexen Aufgaben (viele Objekte) oder langen Videos verlieren die KIs den Faden. Die „Blickrichtung" der KI driftet ab, oder sie verliert das Objekt aus den Augen, wenn es kurz verdeckt wird.

5. Fazit: Ein wichtiger Schritt für Roboter

Dieser neue Test (ToG-Bench) zeigt uns, wo die Schwächen der heutigen Roboter-KI liegen.

Die gute Nachricht: Wir haben endlich einen Maßstab, um zu testen, ob ein Roboter wirklich „handeln" kann und nicht nur „beschaut".
Die schlechte Nachricht: Unsere besten KIs sind noch wie sehr gebildete, aber ungeschickte Gehilfen. Sie wissen, was zu tun ist, aber ihre Hände (die Fähigkeit, Objekte im Video präzise zu lokalisieren) sind noch zu ungeschickt für echte, komplexe Aufgaben im echten Leben.

Zusammenfassend: ToG-Bench ist wie ein neuer, strengerer Führerschein für Roboter-KIs, der beweist, dass wir noch viel lernen müssen, bevor sie wirklich selbstständig in unseren Häusern arbeiten können.

1. Problemstellung

Die Fähigkeit, relevante Objekte aus einer Egoperspektive (First-Person-Perspektive) zu lokalisieren, ist eine Kernkompetenz für allgemeine embodied intelligence (embodierte Intelligenz). Bisherige Forschungsarbeiten zum Spatio-Temporal Video Grounding (STVG) konzentrieren sich jedoch überwiegend auf objektzentrierte, deskriptive Anweisungen (z. B. „das rote Kissen auf dem Bett").

Dieser Ansatz vernachlässigt die aufgabenorientierte Reasoning-Fähigkeit, die für reale Roboter oder Agenten entscheidend ist, um zielgerichtete Interaktionen durchzuführen. Es fehlt ein Benchmark, der folgende Lücken schließt:

Aufgabenorientierung: Objekte müssen nicht nur beschrieben, sondern basierend auf einer Absicht (z. B. „Wasser am Waschbecken einschalten") identifiziert werden.
Explizit-Implicit-Dualität: Zielobjekte können explizit genannt sein oder implizit durch Kontext und Common Sense abgeleitet werden müssen (z. B. „Wasser einschalten" impliziert einen Hahn, der nicht genannt wird).
One-to-Many Grounding: Eine einzelne Anweisung kann mehrere interagierende Objekte betreffen (z. B. „Tafel für Brainstorming vorbereiten" erfordert Tafel, Marker und Radiergummi).

2. Methodik

2.1 Definition der Aufgabe (T-STVG)

Die Autoren definieren eine neue Aufgabe: Task-oriented Spatio-Temporal Video Grounding (T-STVG).

Eingabe: Ein hochrangiges Ziel $G$ (in natürlicher Sprache) und ein Egocentric-Video $V$ .
Ausgabe: Eine Menge von $n$ aufgabenrelevanten Objekten $\{O_i\}$ mit dichten spatio-temporalen Trajektorien $T_i$ (Bounding Boxes über die Zeit).
Paradigmenwechsel: Statt rein visueller Ähnlichkeit (Farbe, Form) wird funktionale Relevanz für die Aufgabe gefordert.

2.2 Der ToG-Bench Datensatz

ToG-Bench ist der erste Benchmark dieser Art für Egocentric-Videos.

Datenquelle: 100 Videoclips aus dem ScanNet-Datensatz (indoor-Umgebungen).
Umfang: 2.704 aufgabenorientierte Anweisungen und 4.194 annotierte Objektinstanzen.
Annotation Pipeline (Semi-automatisiert):
1. Instruction Generation: Ein fortschrittliches MLLM (Gemini 2.5 Pro) generiert basierend auf den Videos und Szenenbeschreibungen Aufgabenanweisungen (sowohl explizit als auch implizit).
2. Grounding & Tracking: Basierend auf den generierten Beschreibungen werden Objekte mit Grounding-DINO (räumlich) und SAM2 (temporales Tracking) lokalisiert, um Bounding-Box-Tubes zu erzeugen.
3. Human Verification: Strenge manuelle Validierung, um Halluzinationen, Verdeckungen und Drifts zu entfernen.
Statistik: Der Datensatz ist ausgewogen zwischen expliziten (51,26 %) und impliziten (48,74 %) Aufgaben. Ca. 50 % der Aufgaben erfordern die Lokalisierung von zwei oder mehr Objekten.

2.3 Evaluierungs-Metriken

Da die Aufgabe eine „Erkennung gefolgt von Lokalisierung"-Logik erfordert, wurde ein entkoppelter Evaluierungsansatz gewählt:

Reasoning-Accuracy (T-Acc / O-Acc): Misst, ob das Modell die korrekte Objekt-Kategorie (auch bei impliziten Hinweisen) identifiziert.
Spatio-Temporal Precision: Misst die Genauigkeit der Bounding Boxes über die Zeit.
- Temporal: Recall (R1@ $\tau$ ) und mittlerer IoU (m_tIoU).
- Spatial: Average Precision (AP@ $\tau$ ) und mittlerer IoU (m_vIoU).
Task-Level vs. Object-Level: Task-Level-Metriken sind strenger; ein Task gilt nur als erfolgreich, wenn alle geforderten Objekte korrekt erkannt und lokalisiert wurden.

3. Ergebnisse

Die Studie evaluierte sieben State-of-the-Art MLLMs (inkl. GPT-5, Gemini 2.5 Pro, Qwen3-VL, InternVL) sowie Grounded-SAM2 als Baseline.

Allgemeine Leistung: Es besteht eine signifikante Lücke zwischen semantischem Verständnis und räumlich-zeitlicher Lokalisierung.
- Proprietäre Modelle (GPT-5, Gemini 2.5 Pro): Erreichen hohe Task-Accuracy (bis zu 89,42 % für GPT-5), zeigen aber deutliche Schwächen bei der präzisen räumlichen Lokalisierung (z. B. T-m_vIoU von nur 10–15 %).
- Open-Source-Modelle: Leiden unter einem massiven Performance-Einbruch, insbesondere bei räumlichen Metriken (oft < 2 %), was auf Schwierigkeiten bei der Kombination von „Was-Wann-Wo" unter Egocentric-Bedingungen hindeutet.
Explizit vs. Implizit: Ein konsistenter Performance-Abfall tritt bei impliziten Aufgaben auf. GPT-5 fällt von 98,20 % (explizit) auf 80,20 % (implizit) bei der Erkennung, und die Lokalisierungsgenauigkeit sinkt drastisch.
Multi-Object Grounding: Die Leistung nimmt mit der Anzahl der zu lokalisierenden Objekte ab. Bei Aufgaben mit 3+ Objekten bricht die Genauigkeit vieler Modelle ein (z. B. Qwen3-VL-8B fällt von 83 % auf 29 % Task-Accuracy).
Einfluss der Videolänge: Während die semantische Erkennung über lange Zeiträume stabil bleibt, verschlechtert sich die räumlich-zeitliche Präzision mit zunehmender Videodauer drastisch (Tracking-Drift und kumulierte Fehler).

4. Wichtige Beiträge

Einführung von T-STVG: Definition einer neuen Aufgabe, die STVG von rein deskriptiven hin zu aufgabengetriebenen, zielorientierten Anweisungen erweitert.
ToG-Bench: Bereitstellung des ersten Benchmarks für Egocentric-Videos, der explizite/implizite Objekte und One-to-Many-Beziehungen abdeckt.
Neue Evaluierungs-Metriken: Entwicklung von Task-Level-Metriken, die sowohl die Erkennungsgenauigkeit als auch die spatio-temporale Präzision für komplexe Interaktionen bewerten.
Systematische Analyse: Umfassende Benchmarking-Studie, die fundamentale Grenzen aktueller MLLMs aufzeigt, insbesondere bei der Kombination von Common-Sense-Reasoning und präziser räumlicher Verortung in dynamischen Umgebungen.

5. Bedeutung und Fazit

ToG-Bench hebt die Anforderungen an embodied AI auf ein neues Niveau. Die Ergebnisse zeigen, dass aktuelle Modelle zwar gut darin sind, was getan werden soll zu verstehen (semantisches Verständnis), aber scheitern daran, wo und wann genau die relevanten Objekte im Video zu finden sind, besonders wenn diese nicht explizit genannt werden oder mehrere Objekte interagieren müssen.

Der Benchmark deckt die Kluft zwischen Wahrnehmung (Perception) und Interaktion (Interaction) auf und dient als kritische Testumgebung für die Entwicklung robusterer Agenten, die in der realen Welt zielgerichtet handeln können. Die Daten und der Code werden veröffentlicht, um die weitere Forschung in diesem Bereich zu fördern.