Technische Samenvatting: SCOUT voor Ultra-Lange Egocentrische Video-Redenering

Probleemstelling

Ultra-lang begrip van egocentrische video's vormt een unieke uitdaging: redeneren moet plaatsvinden over temporele horizonten die uren of dagen beslaan, waarbij relevant bewijs temporeel schaars en verspreid is over lange intervallen. Huidige Multimodale Large Language Models (MLLM's) worstelen hiermee vanwege beperkte contextvensters en verlieslatende visuele compressie, wat dwingt tot een afweging tussen temporele dekking en de getrouwheid van het bewijs.

Hoewel Chain-of-Tool-Thought (CoTT) frameworks proberen dit aan te pakken door redeneren te deconstrueren in iteratieve tool-aanroepen (retrieval, inspectie, verificatie), lijden bestaande agenten aan onomkeerbare vroege commitment. Ze hanteren doorgaans een rigide, monotone "coarse-to-fine" zoom-in strategie. Zodra een initiële temporele regio is geselecteerd, verfijnt de agent binnen die nabijheid, zonder mechanismen om te herstellen als de initiële hypothese onjuist is. In ultra-lange video's leidt het vroegtijdig missen van de juiste temporele regio tot permanente uitsluiting van relevant bewijs, wat leidt tot foutpropagatie. Bovendien is het trainen van dergelijke agenten moeilijk omdat standaard Reinforcement Learning (RL) methoden vertrouwen op ijle, op resultaat gebaseerde beloningen, waardoor ze falen in het bieden van granulaire credit assignment voor tussenliggende zoekbeslissingen of het afhandelen van de hoge onzekerheid die wordt geïntroduceerd door externe tool-observaties.

Methodologie

De auteurs stellen SCOUT (Self-Checking Chain-Of-Tool-thought) voor, een recovery-aware agentic framework, samen met UPS-GRPO, een nieuwe trainingsstrategie.

1. SCOUT: Recovery-Aware Reasoning Policy

SCOUT breidt standaard CoT uit met een expliciet zelfcontrolemechanisme dat de monotone verfijningsbeperking doorbreekt.

• Niet-monotone zoekruimte: In plaats van $S_{t+1} \subseteq S_t$ (strikte zoom-in) af te dwingen, definieert SCOUT een verenigde transitieset waarmee de agent ofwel de huidige regio kan verfijnen ($S' \subseteq S_t$) of naar een andere temporele regio kan overschakelen ($S' \sim S_t$).
• Zelfcontrolemechanisme: De agent evalueert de informatieve waarde en consistentie van tool-observaties. Als bewijs ambigu, zwak of inconsistent is met de query, schakelt het beleid dynamisch van strategie om alternatieve temporele hypothesen te verkennen, in plaats van blindelings een potentieel onjuist pad te verfijnen.
• Toolset: De agent maakt gebruik van drie video-georiënteerde tools:
  • RAG: Tekst-gebaseerde temporele retrieval.
  • VideoSeg: Analyse van gelokaliseerde videosegmenten.
  • FrameProbe: Fijnmazige visuele inspectie van specifieke frames.

2. UPS-GRPO: Uncertainty-Prioritized Policy Optimization

Om deze multi-turn agenten effectief te trainen, introduceren de auteurs UPS-GRPO, een variant van Group Relative Policy Optimization (GRPO) ontworpen voor tool-augmented redeneren.

• Onzekerheid-geprioriteerde selectie: Erkenning dat post-tool toestanden distributieverschuivingen en hoge onzekerheid induceren, heralloceert UPS-GRPO het exploratiebudget. In plaats van alle trajecten uniform uit te breiden, bemonstert het meerdere kandidaat-continuaties bij situaties met hoge onzekerheid en behoudt alleen de meest onzekere tak voor de volgende rollout. Dit concentreert computationele middelen op beslissingskritische punten waar de policy de minste zekerheid heeft.
• Turn-Based Advantage Semi-Decoupling: Om de ijle beloningen aan te pakken, introduceert de methode een turn-level advantage decompositie. Het berekent een turn-level beloning op basis van temporele uitlijning (bijv. IoU met ground-truth intervallen) en semantische consistentie. Dit turn-level signaal wordt gebruikt als een multiplicatieve modulatiefactor op de globale traject-level advantage, in plaats van een additieve beloning. Dit behoudt de globale optimalisatierichting (correctheid van het uiteindelijke antwoord) terwijl het fijnmazige, tool-gegronde signalen injecteert om de credit assignment voor tussenliggende stappen te verbeteren.

3. Data Constructie Pipeline

De auteurs construeren RA-CoTT (Recovery-Aware Chain-of-Tool-Thought), een dataset van ~8k trajecten, via een driestaps-pipeline:

1. Coarse-to-Fine Generatie: Hoogwaardige, correcte redeneertrajecten worden gegenereerd en geverifieerd.
2. Foutinjectie: Synthetische fouten (onjuiste zoeksegmenten) worden in trajecten geplaatst om realistische retrieval-fouten te simuleren.
3. Recovery Refinement: De redeneersporen worden expliciet herzien om zelfcorrectiegedrag op te nemen, waardoor het model leert om eerdere fouten te herkennen en te herstellen.

Belangrijkste Bijdragen

1. SCOUT Framework: Een recovery-aware redeneerbeleid dat expliciet zoekonzekerheid modelleert, waardoor dynamische wisseling tussen lokale verfijning en temporele her-exploratie mogelijk wordt, wat de modus van onomkeerbare vroege commitment in langdurige settings mitigeert.
2. UPS-GRPO: Een onzekerheid-geprioriteerde RL-strategie die de exploratie-efficiëntie verbetert door te focussen op post-tool toestanden met hoge onzekerheid en een turn-level semi-gekoppelde advantage formulering introduceert voor betere credit assignment in lang-horizon taken.
3. RA-CoTT Dataset & Trainingsparadigma: Een schaalbare datasynthese-pipeline die recovery-aware trajecten genereert en een gedemonstreerd twee-staps SFT+RL trainingsrecept biedt voor schaalbare lang-video agenten.

Experimentele Resultaten

De methode werd geëvalueerd op vier benchmarks: Video-MME (long), EgoLifeQA, Ego-R1 Bench, en HourVideo.

• Prestaties: SCOUT-7B bereikt state-of-the-art resultaten op ultra-lange egocentrische benchmarks (EgoLifeQA en Ego-R1 Bench), waarbij het eerdere agent-gebaseerde systemen (zoals Ego-R1, VideoAgent) aanzienlijk overtreft en concurrerend is met open-source modellen.
  • Op EgoLifeQA (44,3 uur video) bereikt SCOUT een nauwkeurigheid van 47,6%, waarmee het de vorige beste open-source agent (Ego-R1 met 38,5%) met 9,1 punten overtreft.
  • Op Ego-R1 Bench bereikt het 49,0%, een verbetering van 6,0 punten ten opzichte van Ego-R1.
  • Het blijft competitief op kortere horizon benchmarks zoals Video-MME (long) met 63,0% nauwkeurigheid.
• Ablatiestudies:
  • SFT vs. RL: SFT alleen biedt de noodzakelijke syntactische structuur voor toolgebruik, terwijl RL essentieel is voor generalisatie en het leren van recovery-strategieën. De volledige SFT+RL pipeline levert de beste resultaten op.
  • UPS-GRPO: Het verwijderen van de onzekerheid-geprioriteerde selectie leidt tot prestatievermindering op lang-horizon taken en minder efficiënte redeneerketens (meer turns).
  • Credit Assignment: Het vervangen van de multiplicatieve turn-level modulatie door additieve reward shaping verslechtert de prestaties, wat de belangrijkheid bevestigt van het behouden van de globale optimalisatierichting terwijl lokale credit wordt verfijnd.
  • Trainingsdynamiek: De inclusie van turn-level beloningen en UPS leidt tot stabielere gradiëntnormen en snellere convergentie van de redeneercomplexiteit (minder turns) over de trainingsstappen heen.

Betekenis

Het paper betoogt dat effectief ultra-lang video-redeneren fundamenteel afhangt van recovery-aware exploratie en tool-gegronde tussenliggende supervisie, en niet enkel van hiërarchisch toolgebruik. Door het zoekproces te transformeren van een monotone zoom-in naar een adaptief, zelf-controlerend proces van bewijsvoering, adresseert SCOUT de kritieke foutmodus van vroege commitment in lang-horizon settings. De voorgestelde UPS-GRPO en datapipeline bieden een robuuste oplossing voor het trainen van agenten die in staat zijn te navigeren door de schaarse bewijslast en hoge onzekerheid die inherent zijn aan ultra-lang egocentrisch video-begrip.