Tool-Augmented Spatiotemporal Reasoning for Streamlining Video Question Answering Task

Technische Samenvatting: Tool-geaugmenteerde Spatiotemporele Redenering voor het Stroomlijnen van Video Question Answering

Probleemstelling
Video Question Answering (VideoQA) dient als een kritieke benchmark voor het evalueren of fundamentele modellen kunnen waarnemen, begrijpen en redeneren over dynamische, realistische scenario's. Huidige Multimodale Large Language Models (MLLMs) worden echter geconfronteerd met aanzienlijke uitdagingen bij het gelijktijdig modelleren van ruimtelijke relaties binnen videoframes en het begrijpen van de causale dynamiek van temporele evolutie. De huidige benaderingen vallen over het algemeen uiteen in twee categorieën, die beide beperkingen kennen:

1. Videocentrische LLM's (Video-LLM's): Modellen zoals Qwen-VL vereisen vaak het verwerken van een groot aantal videoframes, wat leidt tot redundante en inefficiënte pipelines.
2. Tool-geaugmenteerde LLM's: Hoewel tools het redeneervermogen kunnen verbeteren, kampen bestaande implementaties met drie fundamentele problemen:
   • Eendimensionale Utiliteit: Ze focussen doorgaans op ofwel de ruimtelijke of de temporele dimensie, waardoor ze beide niet simultaan kunnen modelleren.
   • Onevenwichtige Tool-diversiteit: Het simpelweg vergroten van het aantal tools introduceert executieproblemen vanwege de inherente onzekerheid van LLM's.
   • Onvoldoende Planning: Het gebrek aan effectieve planningsmechanismen leidt tot ongeordende tool-invocatie, wat veroorzaakt dat modellen "Toolchain Shortcuts" gebruiken waarbij ze de diepe redenering omzeilen om direct antwoord te geven, wat de nauwkeurigheid en efficiëntie vermindert.

Methodologie
De auteurs stellen een uitgebreide oplossing voor bestaande uit een Video Toolkit en een Spatiotemporal Reasoning Framework (STAR).

• Constructie van de Video Toolkit:
  De toolkit is ontworpen met drie kernprincipes: het deconstrueren van taken in temporele en ruimtelijke dimensies, het integreren van computer vision-resultaten via natuurlijke taal, en het ondersteunen van zowel segment-niveau als frame-niveau verwerking. Het bestaat uit ongeveer 22 plug-and-play tools gecategoriseerd in:

  • Ruimtelijke Tools: Inclusief objectdetectie (YOLO, Grounding DINO), bounding box-utilisatie (tekstconversie, patch-zoomen, visuele markeringen) en semantische segmentatie.
  • Temporele Tools: Inclusief frame-selectie (gebaseerd op LLM-redenering of A*-zoekalgoritme), temporele grounding en video-trimming.
  • Algemene Tools: Inclusief OCR, samenvatting en video-taalmodellen.
    Deze tools zijn ingekapseld met gestandaardiseerde tool-kaarten om extensibiliteit te waarborgen.

• Spatiotemporal Reasoning Framework (STAR):
  STAR is een training-vrij, agentisch framework dat is ontworpen om Toolchain Shortcuts te voorkomen en progressieve lokalisatie van de 3D Region of Interest (3D RoI) te garanderen—de specifieke subset van de video die relevant is voor de vraag over tijd en ruimte heen.

  • Spatiotemporele Interleaving: In tegenstelling tot "ontkoppelde" benaderingen die eerst tijd en dan ruimte verwerken (of vice versa) zonder feedback, dwingt STAR een alternerende invocatiestrategie af. Als een temporele tool wordt gebruikt, moet de volgende ruimtelijk zijn, en vice versa. Algemene tools worden als laatste redmiddel gereserveerd.
  • Visible Frame Dictionary: Het framework onderhoudt een woordenboek ($V$) dat zichtbare frame-indices en de verzamelde informatie voor elk frame bijhoudt. Temporele tools updaten het woordenboek door frames of segmenten te selecteren; ruimtelijke tools verwerken deze frames en updaten de bijbehorende data.
  • Iteratief Proces: De LLM Planner observeert resultaten, redeneert over de volgende stap en selecteert de passende tool uit de beperkte set (temporeel of ruimtelijk) totdat voldoende informatie is verzameld om de vraag te beantwoorden.

Belangrijkste Bijdragen

1. Uitgebreide Video Toolkit: Een diverse set van 22 plug-and-play tools die ruimtelijke, temporele en algemene functionaliteiten dekken, ontworpen om de redeneercapaciteiten van MLLM's te verbeteren terwijl een balans wordt gevonden tussen tool-hoeveelheid en diversiteit.
2. STAR Framework: Een nieuw redeneerframework dat spatiotemporele interleaving gebruikt om tools afwisselend aan te roepen. Deze strategie verkleint de zoekruimte progressief tot de 3D RoI, wat het doelbewuste visuele denken nabootst en shortcut-gedrag voorkomt.
3. Prestaties en Efficiëntie: Het framework demonstreert dat het augmenteren van GPT-4o met lichtgewicht tools (gebruikmakend van modellen onder de 3B parameters) de bestaande baselines aanzienlijk overtreft in zowel nauwkeurigheid als computationele efficiëntie.

Experimentele Resultaten
De auteurs hebben STAR geëvalueerd op vier belangrijke VideoQA-benchmarks: VideoMME, LongVideoBench, NExT-QA en EgoSchema.

• VideoMME: STAR behaalde een verbetering van 8,2% ten opzichte van GPT-4o (gebruikmakend van 32 frames) en overtrof de best presterende 7B open-source Video-LLM (InternVL3-8B) met 3,7%. Het benaderde de prestaties van 72B-schaal modellen terwijl de runtime werd verkort van 6–8 minuten naar 15,8 seconden.
• LongVideoBench: STAR verbeterde GPT-4o met 4,6%, waarbij het een bijzondere kracht toonde in lange (180–600s) en extra lange (900–3600s) videosegmenten.
• NExT-QA: STAR behaalde de hoogste nauwkeurigheid (82,1%) met de minste frames (7,2), waarmee het zowel 7B Video-LLM's als andere frame-selectiemethoden overtrof. Op de validatieset presteerde de lichtgewicht variant (STAR-MINI) 6,3% beter dan DoraemonGPT.
• Ablatie-studies: Vergelijkingen met strategieën zoals "No Constraints", "Prompting" en "Spatiotemporal Disentanglement" bevestigden dat de spatiotemporele-interleaved benadering de beste balans biedt tussen nauwkeurigheid en frame-efficiëntie, waarbij langere en diversere toolchains worden benut.

Betekenis en Claims
Het artikel beweert dat de voorgestelde Video Toolkit en het STAR-framework een belangrijke stap vormen richting het bouwen van autonome en intelligente video-analyse assistenten. Door MLLM's uit te rusten met een gestructureerde, uitbreidbare toolkit en een redeneerframework dat progressieve lokalisatie van 3D Regions of Interest afdwingt, pakt dit werk de beperkingen aan van huidige modellen bij het afhandelen van complexe spatiotemporele redenering. De auteurs benadrukken dat hun aanpak een hoge prestatie levert met lichtgewicht, open-source tools, wat het schaalbaar en efficiënt maakt vergeleken met massieve modellen met veel parameters.

Door de auteurs opgemerkte beperkingen: De huidige implementatie vertrouwt op OpenAI GPT-modellen (GPT-4o/GPT-3.5) voor de planner, wat API-kosten met zich meebrengt. Toekomstig werk beoogt de planner te vervangen door lichtere modellen en de tool-utilisatie beter te integreren in het redeneerproces. Daarnaast richt het huidige systeem zich op visuele inhoud, waarbij integratie van ondertiteling en audio is overgelaten aan toekomstig onderzoek.