ToG-Bench: Task-Oriented Spatio-Temporal Grounding in Egocentric Videos

Probleemstelling

Bestaande onderzoek naar Spatio-Temporal Video Grounding (STVG) – het lokaliseren van objecten in een video op basis van een taalopdracht – is grotendeels beperkt tot:

1. Object-gecentreerde instructies: Opdrachten beschrijven vaak zichtbare objecten (bijv. "het kussen op het bed") in plaats van doelgerichte interacties.
2. Exocentrische perspectieven: Veel benchmarks gebruiken camera's die losstaan van de agent, wat cruciale egocentrische dynamiek (zoals aandachtverschuivingen en hand-object interacties) negeert.
3. Gebrek aan redenering: Bestaande methoden missen het vermogen om objecten te infereren op basis van een hoger niveau taakdoel (bijv. "maak koffie" vereist het lokaliseren van een koffiezetapparaat, zelfs als dit niet expliciet wordt genoemd).

Dit creëert een kloof tussen huidige AI-modellen en de eisen van embodied agents (fysieke robots of agents) die moeten kunnen redeneren over hun omgeving om doelen te bereiken.

Methodologie: ToG-Bench

De auteurs stellen ToG-Bench voor, het eerste benchmark voor Task-Oriented Spatio-Temporal Video Grounding (T-STVG) in egocentrische video's.

Kernkenmerken van de Taak:

• Taak-georiënteerde Grounding: Objecten worden geïdentificeerd op basis van hun functionele rol in een taak (bijv. een kraan voor het draaien van water), niet alleen op visuele eigenschappen.
• Expliciet-Impliciet Dual Grounding:
  • Expliciet: Objecten die direct in de instructie worden genoemd.
  • Impliciet: Objecten die moeten worden afgeleid via context en gemeenschappelijke kennis (bijv. bij "wasmachine gebruiken" is de "machine" impliciet, maar de "knoppen" of "slang" kunnen ook nodig zijn zonder expliciete vermelding).
• Een-tot-Veel Grounding: Een enkele instructie kan verwijzen naar meerdere onderling verbonden objecten die gelijktijdig moeten worden gelokaliseerd (bijv. "bereid het whiteboard voor" vereist het whiteboard, de marker en de gum).

Dataset Constructie (Semi-automatische Pipeline):
De dataset is gebouwd op basis van 100 video-clips uit ScanNet (gemiddeld 87,88 seconden lang). Het annotatieproces volgt een "top-down" aanpak:

1. Instructiegeneratie: Een geavanceerd MLLM (Gemini 2.5 Pro) genereert taakgerichte instructies en objectbeschrijvingen (zowel expliciet als impliciet) op basis van de video en scenes.
2. Grounding en Tracking: Tools zoals Grounding-DINO (voor ruimtelijke grounding) en SAM2 (voor temporale tracking) worden gebruikt om objecten te lokaliseren en te volgen, resulterend in spatio-temporale bounding-boxen.
3. Menselijke Validatie: Rigoureuze handmatige verificatie filtert hallucinaties, onnauwkeurige grenzen en inconsistenties.
   • Resultaat: 2.704 taakgerichte instructies en 4.194 geannoteerde objectinstanties.

Evaluatiemetrics:
De auteurs introduceren nieuwe task-level metrics die twee aspecten combineren:

• Herkenning (Reasoning): Nauwkeurigheid bij het identificeren van het juiste object (Expliciet vs. Impliciet).
• Locatie (Grounding): Ruimtelijke (IoU) en temporale (overlap) precisie.
• Een taak wordt alleen als geslaagd beschouwd als alle vereiste objecten correct zijn herkend én gelokaliseerd ("all-or-nothing" principe).

Belangrijkste Resultaten

De auteurs hebben zeven state-of-the-art Multimodal Large Language Models (MLLMs) getest, waaronder GPT-5, Gemini 2.5 Pro, Qwen3-VL en InternVL.

1. Prestatiehiërarchie: Er is een duidelijke kloof tussen taakbegrip en fysieke lokalisatie. Modellen presteren goed in het begrijpen van de intentie (hoge Task Accuracy), maar falen vaak in het precies lokaliseren van objecten in ruimte en tijd.
   • Voorbeeld: GPT-5 bereikt 89,42% taaknauwkeurigheid, maar slechts 10,22% ruimtelijke precisie (T-m_vIoU).
2. Expliciet vs. Impliciet: Er is een aanzienlijke prestatiedaling bij impliciete taken. Modellen hebben moeite om objecten af te leiden die niet expliciet in de tekst staan.
   • GPT-5 daalt van 95,60% nauwkeurigheid bij expliciete taken naar 86,98% bij impliciete taken.
3. Meerdere Objecten: De prestaties verslechteren drastisch naarmate het aantal vereiste objecten toeneemt.
   • Bij taken met 3+ objecten daalt de taaknauwkeurigheid van GPT-5 van 96% (1 object) naar 75%. Open-source modellen (zoals Qwen3-VL-8B) zakken zelfs naar 29%.
4. Invloed van Videolengte: Hoewel de semantische redenering stabiel blijft bij lange video's, neemt de ruimtelijke en temporale precisie sterk af naarmate de video langer wordt, door cumulatieve trackingfouten.
5. Specialist vs. Generalist: Gespecialiseerde grounding-modellen (zoals Grounded-SAM2) hebben betere ruimtelijke precisie, maar missen het vermogen tot taakredenering. Alleen MLLMs kunnen de intentie begrijpen, maar hun ruimtelijke vaardigheden zijn ontoereikend voor complexe interacties.

Bijdragen

1. Nieuwe Taakdefinitie: Formalisering van T-STVG, die STVG uitbreidt van beschrijvende grounding naar doelgerichte, taakgedreven grounding.
2. ToG-Bench Benchmark: De eerste dataset voor egocentrische video's die expliciet-impliciete dualiteit en multi-object grounding ondersteunt, met een semi-automatische pipeline voor schaalbare annotatie.
3. Nieuwe Evaluatiemetrics: Een reeks task-level metrics die zowel objectherkenning als spatio-temporale precisie gezamenlijk beoordelen.
4. Empirisch Inzicht: Systematische evaluatie die aantoont dat huidige MLLMs beperkt zijn in het combineren van perceptie en interactie, vooral bij impliciete redenering en multi-object scenario's.

Betekenis en Impact

Dit werk markeert een verschuiving in het onderzoek naar embodied AI. Het toont aan dat het simpelweg "zien" van objecten niet genoeg is; agents moeten begrijpen waarom een object nodig is voor een specifieke taak. ToG-Bench biedt een cruciaal testplatform om de volgende generatie modellen te ontwikkelen die in staat zijn tot functioneel redeneren en dynamische interactie in real-world omgevingen. De bevindingen benadrukken dat er nog een aanzienlijke weg te gaan is voordat AI-agenten betrouwbaar complexe, menselijke instructies kunnen uitvoeren in onvoorspelbare fysieke omgevingen.