TRACE: Temporal Retrieval with Anchored and Convergent Evidence for Long-Horizon Video Understanding

Het bekijken van een lange video om een specifieke vraag te beantwoorden is een taak die voor een mens eenvoudig aanvoelt, maar voor kunstmatige intelligentie verrassend moeilijk blijft. Wanneer een persoon een film kijkt, ziet diegene niet alleen een stroom beelden; ze bouwen een mentale kaart van gebeurtenissen op, waarbij ze onthouden dat een personage in het eerste bedrijf een sleutel oppakte en dat deze sleutel werd gebruikt om een deur te openen in de slotscène. Huidige computersystemen hebben echter vaak moeite met dit soort begrip over een lange tijdspanne. Ze kijken misschien naar een paar snapshots van de video en raden het antwoord, of ze proberen een tekstuele samenvatting van het plot te lezen en missen daarbij de visuele details volledig. Het kernprobleem is dat veel vragen over lange video's afhankelijk zijn van bewijs dat verspreid is over verschillende momenten in de tijd. Als een systeem zelfs maar één van die verspreide momenten mist, kan het de waarheid niet weten, maar kan het toch een zelfverzekerd, correct lijkend antwoord produceren door simpelweg te gokken. Deze kloof tussen wat een systeem beweert te weten en wat het daadwerkelijk heeft gezien, is de centrale uitdaging die onderzoekers proberen op te lossen.

Een team van onderzoekers heeft een nieuwe aanpak geïntroduceerd genaamd TRACE, ontworpen om kunstmatige intelligentie te dwingen naar de juiste delen van een video te kijken voordat het antwoord geeft. In plaats van te vertrouwen op tekstuele samenvattingen of te gokken op basis van een paar willekeurige frames, werkt TRACE als een zorgvuldige waarnemer die zijn antwoord stukje bij beetje opbouwt. Het begint met het scannen van de video om kleine, specifieke clips, of "ankers", te vinden die relevant lijken voor de vraag. Vervolgens groepeert het deze clips en vraagt het het systeem om de vraag te beantwoorden op basis van alleen wat het tot nu toe heeft gezien. Het systeem stopt daar niet. Het blijft nieuwe clips aan zijn collectie toevoegen en stelt de vraag opnieuw. Het proces gaat door totdat het antwoord niet meer verandert, wat aangeeft dat het systeem genoeg visueel bewijs heeft verzameld om zeker te zijn. Cruciaal is dat het systeem zijn eigen werk controleert door de uiteindelijke set clips nog één keer af te spelen om te verzekeren dat het antwoord standhoudt. Deze methode zorgt ervoor dat het uiteindelijke antwoord geen gok is op basis van een gedeeltelijk beeld, maar een conclusie die geworteld is in een volledige set visuele feiten.

Om te testen of deze methode daadwerkelijk werkt, hebben de onderzoekers een nieuwe testomgeving gecreëerd genaamd VES-Bench. Dit is een collectie van 600 vragen afkomstig uit 348 publieke video's, die taken beslaan zoals het uitzoeken van de volgorde waarin gebeurtenissen plaatsvonden of het tellen hoe vaak een specifieke actie voorkwam. In tegen tegenstelling tot eerdere tests die alleen controleerden of het uiteindelijke antwoord goed of fout was, auditeert VES-Bench het proces zelf. Het houdt nauwgezet bij welke frames van de video het systeem heeft bekeken voordat het een beslissing nam. De test verifieert of het systeem daadwerkelijk elk enkel moment heeft gezien dat nodig is om de vraag correct te beantwoorden. Als een systeem het juiste antwoord geeft maar een cruciale scène heeft gemist, markeert de audit dit als een fout, omdat het antwoord niet werkelijk werd ondersteund door het bewijs. Deze strikte evaluatie onthult dat veel bestaande methoden vaak geluk hebben, waarbij ze correct antwoorden zonder alle noodzakelijke delen van de video te hebben gezien.

Toen de onderzoekers TRACE toepasten op deze rigoureuze test, toonden de resultaten een duidelijk voordeel. Gebruikmakend van dezelfde onderliggende technologie als andere geavanceerde systemen, beantwoordde TRACE 50,7 procent van de vragen correct, terwijl het er zeker van was dat het ten minste twee verschillende frames uit elke vereiste scène had gezien. Ter vergelijking: andere methoden die naar een vergelijkbaar aantal frames keken, faalden vaak in het dekken van alle noodzakelijke scènes, of moesten meer dan twee keer zoveel frames bekijken om hetzelfde niveau van zekerheid te bereiken. TRACE bereikte dit hoge niveau van nauwkeurigheid terwijl het minder dan 100 frames per vraag gebruikte, een fractie van de kosten die nodig zijn voor systemen die de video simpelweg op een uniforme snelheid scannen. De studie vond dat de sleutel tot succes niet alleen het kijken naar meer data was, maar weten wanneer men moet stoppen met kijken. Door te wachten tot het antwoord stabiliseerde en vervolgens het ruwe visuele bewijs dubbel te controleren, vermeed TRACE de valkuil om te gokken op basis van onvolledige informatie.

De onderzoekers ontdekten ook dat het simpelweg vergroten van het aantal frames waar een systeem naar kijkt, niet altijd leidt tot betere antwoorden. Wanneer zij standaard systemen testten die steeds meer frames bekeken, verbeterde de nauwkeurigheid slechts tot op een bepaald punt, waarna het toevoegen van meer frames niet meer hielp. Dit suggereert dat het probleem niet een gebrek aan data is, maar een gebrek aan een strategie om te weten welke data ertoe doet. TRACE loste dit op door een "traject" van bewijs te gebruiken, waarbij het systeem leert te herkennen wanneer het genoeg informatie heeft verzameld om zeker te zijn. De studie bevestigt dat voor lange video's het vermogen om specifieke visuele momenten te lokaliseren en te integreren belangrijker is dan simpelweg een enorme hoeveelheid video tegelijk verwerken. Door antwoorden te funderen in ruwe visuele clips en pas te stoppen wanneer het bewijs compleet is, demonstreert TRACE een betrouwbaardere manier voor machines om de wereld te begrijpen terwijl deze zich ontvouwt.