Stel je voor dat je een robot probeert te leren je beste vriend, je gids en je persoonlijke assistent tegelijk te zijn. Je wilt dat hij met je een film kijkt, elke plotwending van een uur geleden onthoudt, opmerkt wanneer een personage in real-time niest, en zelfs opspringt om op internet te zoeken naar de verjaardag van de acteur als je daarom vraagt. Dit is de wereld van multimodale AI-agenten—computerprogramma's die kunnen zien, horen en praten. Maar hier komt de crux: de meeste van deze robots zijn verschrikkelijk in het "lange spel". Ze zijn als goudvissen met een geheugen van drie seconden. Als je ze een video van twee uur laat zien, onthouden ze meestal alleen de laatste paar seconden. Ze zijn ook vaak passief; ze wachten tot jij iets vraagt voordat ze iets zeggen, in plaats van zelf iets belangrijks op te merken en spontaan aan de bel te trekken. Wetenschappers proberen al robots te bouwen die langdurige, continue stromen van video en audio kunnen verwerken zonder de voorkant te vergeten tegen de tijd dat ze het einde bereiken, maar het is ontzettend moeilijk gebleken om te testen of ze dit daadwerkelijk kunnen of dat ze het gewoon raden.

Dit artikel introduceert een nieuwe manier om deze robots te testen en een nieuw robotontwerp dat de test daadwerkelijk doorstaat. De onderzoekers hebben StreamArena gebouwd, een enorme speeltuin van 243 volledige video's (met een gemiddelde duur van ongeveer 88,8 minuten) vol met duizenden lastige vragen. In tegenstelling tot eerdere tests die korte fragmenten en meerkeuzevragen gebruikten (waardoor robots op basis van de antwoordopties konden gokken), dwingt StreamArena robots om de hele film te kijken, details van een uur geleden te onthouden en open vragen te beantwoorden zonder hints. Ze ontdekten dat de meeste huidige robots er faliekant naast zitten; als ze proberen zich het verleden te herinneren, verliezen ze de visuele details, en als ze de beelden willen behouden, vergeten ze de geschiedenis. Om dit op te lossen, bouwden de auteurs StreamMind, een robot met een speciaal tweeledig brein. Eén deel handelt de directe conversatie af en houdt de video in real-time in de gaten, terwijl een apart, druk deel op de achtergrond werkt om een permanente, doorzoekbare bibliotheek van alles wat er is gebeurd op te bouwen. Dit nieuwe ontwerp stelt de robot in staat om verre gebeurtenissen te onthouden, hulpmiddelen zoals zoekmachines te gebruiken en zelfs jou te waarschuwen wanneer er iets interessants gebeurt, allemaal zonder in de war te raken of traag te worden.

Het Probleem: Het Goudvisgeheugen van AI

Stel je voor dat je een hele lange, spannende film kijkt met een vriend die het geheugen van een goudvis heeft. Elke keer als er een nieuwe scène begint, vergeet je vriend het hele plot tot dat moment. Als je vraagt: "Wie was de schurk in de eerste scène?", kan hij het niet vertellen omdat hij alleen de laatste vijf seconden van de film onthoudt. Dit is precies wat er gebeurt met de meeste huidige AI-videomodellen. Ze zijn geweldig in het beantwoorden van vragen over wat er nu gebeurt, maar ze worstelen met het onthouden van wat er een uur geleden is gebeurd.

Nog erger is dat de meeste van deze AI-modellen passief zijn. Ze zitten daar stil te wachten tot jij een vraag stelt voordat ze iets zeggen. In de echte wereld wil je echter dat je AI vanzelf iets belangrijks opmerkt—zoals: "Hé, dat personage liet net zijn sleutels vallen!" of "Het liedje is veranderd en de stemming wordt verdrietig." Huidige AI-modellen missen deze momenten meestal omdat ze simpelweg wachten tot jij als eerste spreekt.

De onderzoekers merkten op dat eerdere tests voor deze AI-modellen te makkelijk waren. Ze gebruikten korte videoclips en meerkeukevragen. Het is alsoal je het geheugen van een student test door een enkele foto te laten zien en te vragen: "Is dit een kat of een hond?" Een student kan gewoon "kat" gokken en het goed hebben zonder echt iets van de foto te weten. De onderzoekers realiseerden zich dat om het vermogen van een AI om een lange video te begrijpen echt te testen, ze een moeilijkere test nodig hadden: volledige films, open vragen (waarbij de AI zelf het antwoord moet bedenken) en taken die vereisen dat men dingen onthoudt die ver terug in de video gebeurden.

De Oplossing: StreamArena en StreamMind

Om deze problemen op te lossen, creëerde het team StreamArena. Zie dit als de "Olympische Spelen" voor video-begrijpende AI. In plaats van korte fragmenten verzamelden ze 243 volledige video's met een gemiddelde duur van 88,8 minuten per stuk. Ze stelden niet alleen simpele vragen; ze creëerden 3.646 complexe taken die vier specifieke vaardigheden testen:

1. Real-time Perceptie: Kan de AI beschrijven wat er nu gebeurt? (bijv. "In welke kamer bevindt de actrice zich?")
2. Historische Retrospectie: Kan de AI zich iets herinneren dat een uur geleden is gebeurd? (bijv. "Hoeveel unieke scènes zijn er in de afgelopen 5 minuten verschenen?")
3. Proactieve Interactie: Kan de AI uit zichzelf iets zeggen zonder dat erom gevraagd wordt? (bijv. "Vertel me wanneer het nummer 'Les Mouchoirs Blancs' begint te spelen.")
4. Tool Gebruik: Kan de AI externe hulpmiddelen gebruiken, zoals een zoekmachine, om informatie te vinden die niet in de video zit? (bijv. "Wat zijn de nationaliteiten van de ouders van de acteur?")

Toen ze bestaande AI-modellen testten op StreamArena, waren de resultaten teleurstellend. Modellen die probeerden alles te onthouden door video in tekst om te zetten, verloren de visuele details. Modellen die alleen de laatste paar seconden onthielden, konden geen vragen over het verleden beantwoorden. Het leek erop dat een robot niet tegelijkertijd een goede gesprekspartner én een goede historicus kon zijn.

Daarom bouwde het team StreamMind, een nieuwe AI-architectuur die ontworpen is om deze spanning aan te pakken. Stel je StreamMind voor als een druk kantoor met twee verschillende teams die samenwerken:

• De Balie (Frontend): Dit team praat met je. Ze zijn snel, reactief en handelen je directe vragen af. Ze hebben ook een speciaal team van "Waarnemers" (Monitor Workers) die de videostroom in de gaten houden voor specifieke gebeurtenissen die jij wilt volgen. Als je zegt: "Vertel me wanneer de hond blaft," zit een Waarnemer daar de video te bekijken, klaar om "Blaf!" te roepen op het moment dat het gebeurt, zonder eerst toestemming te hoeven vragen.
• De Bibliotheek (Backend): Terwijl de Balie met je praat, werkt het Bibliotheek-team op de achtergrond. Ze kijken constant naar de video, organiseren het en bouwen een enorme, doorzoekbare geheugenbank op. Ze schrijven niet alleen een samenvatting op; ze slaan cruciale frames (foto's) op, groeperen gebeurtenissen in verhalen en leggen verbanden tussen mensen en objecten. Wanneer de Balie een vraag moet beantwoorden over iets dat een uur geleden is gebeurd, proberen ze het niet zelf te onthouden. In plaats daarvan vragen ze aan de Bibliotheek: "Hebben we informatie over de hond van 45 minuten geleden?" De Bibliotheek haalt direct de exacte scène en de details op.

Deze scheiding is het geheime ingrediënt. Door het "denken" en "herinneren" te scheiden van het "praten", kan StreamMind snel en responsief blijven, terwijl het toch een perfect geheugen heeft van de hele video.

De Resultaten: Een Nieuwe Kampioen

Toen de onderzoekers StreamMind door de StreamArena-tests haalden, presteerde het beter dan elk ander systeem. Het deed niet alleen een beetje beter; het was een enorme sprong voorwaarts.

• Het verbeterde de real-time perceptie met 58,4% vergeleken met de beste eerdere streamingmodellen.
• Het verbeterde het historisch geheugen met 53,7%, wat bewees dat het daadwerkelijk dingen van een uur geleden kon onthouden.
• Het verbeterde het gebruik van tools met een verbazingwekkende 228,1%, wat aantoonde dat het vermogen om met zoekmachines te coördineren veel superieur was.
• Het verbeterde de proactieve interactie met 54,7%, wat betekende dat het veel beter was in het opmerken en aankondigen van gebeurtenissen op eigen initiatief.

Misschien wel het meest indrukwekkende is dat StreamMind dit alles deed terwijl het sneller was. Omdat het zijn geheugenbibliotheek al had opgebouwd terwijl de video speelde, hoefde het niet de hele film opnieuw te bekijken om een vraag te beantwoorden. Dit verminderde de tijd die nodig was om een vraag te beantwoorden met 66,2% vergeleken met andere modellen die de video telkens opnieuw moesten verwerken.

Waarom dit ertoe doet

Dit artikel suggereert dat de toekomst van AI-assistenten niet alleen gaat over het slimmer maken van AI of het geven van grotere hersenen. Het gaat over het veranderen van de manier waarop ze werken. In plaats van te proberen één gigantisch brein alles tegelijk te laten doen, moeten we systemen bouwen met gespecialiseerde onderdelen die samenwerken. StreamMind laat zien dat door het "nu" te scheiden van het "toen", en door de AI een permanent, doorzoekbaar geheugen te geven, we eindelijk assistenten kunnen creëren die een hele film met je kunnen kijken, elk detail kunnen onthouden en je kunnen helpen de antwoorden te vinden zonder ooit hun plek te verliezen.

De onderzoekers merken er voorzichtig bij op dat hoewel StreamMind een grote stap voorwaarts is, er nog werk aan de winkel is. Het systeem worstelt nog steeds een beetje wanneer de tijdsafstand tussen een vraag en het antwoord extreem lang wordt (meer dan 30 minuten), en zij vermoeden dat toekomstige verbeteringen zich moeten richten op hoe te bepalen welke details belangrijk genoeg zijn om in het geheugen op te slaan. Maar voor nu hebben StreamArena en StreamMind een nieuwe standaard gezet, waarmee ze bewijzen dat AI met de juiste architectuur eindelijk kan meekomen met de lange, continue stroom van het echte leven.