VR-Thinker: Boosting Video Reward Models through Thinking-with-Image Reasoning

Stel je voor dat je een filmrecensent bent die duizenden video's moet beoordelen. Je moet zeggen welke video beter is: de ene met de beste beelden, of de andere met het beste verhaal?

Normale kunstmatige intelligentie (AI) die dit doet, heeft een groot probleem: ze heeft een korte aandachtspanne. Ze kan niet naar een heel filmpje kijken. Ze moet dus snel schakelen en slechts een paar beelden (frames) uit de video selecteren om een oordeel te vellen. Het is alsof je een boek probeert te beoordelen door alleen de eerste en laatste zin te lezen. Je mist de details, de subtiele bewegingen en de echte sfeer.

Daarnaast heeft deze AI een "geheugenprobleem". Zodra ze begint te redeneren, vergeet ze vaak wat ze net heeft gezien. Ze probeert een conclusie te trekken op basis van tekst alleen, zonder opnieuw naar de beelden te kijken. Dit leidt tot hallucinaties (ze ziet dingen die er niet zijn) of fouten.

VR-Thinker is de oplossing voor dit probleem. Het is een slimme AI die een nieuwe manier van denken heeft ontwikkeld: "Denken met Beelden".

Hier is hoe het werkt, vertaald naar alledaagse metaforen:

1. De "Zoom-in" Camera (In plaats van een statief)

Stel je voor dat de AI een camera heeft die niet vastzit aan een statief, maar op een drone zit.

• De oude manier: De AI krijgt een foto van een landschap en moet zeggen of het mooi is. Ze kan niet bewegen. Als er een klein detail (bijvoorbeeld een vogel) net buiten beeld is, ziet ze het niet.
• De VR-Thinker manier: De AI kijkt eerst naar de foto. Als ze denkt: "Wacht, ik zie hier iets dubbelzinnigs, is die vogel wel echt?", dan bestuurt ze zelf haar drone. Ze zegt: "Ik wil nu even inzoomen op dat stukje bos om de vogel te checken." Ze haalt die specifieke beelden op, bekijkt ze, en past haar oordeel aan. Ze is niet passief; ze is actief op zoek naar het bewijs.

2. Het "Post-it" Geheugen (Het venster)

Omdat de AI niet oneindig veel beelden tegelijk in haar hoofd kan houden (haar computergeheugen is beperkt), gebruikt ze een slim trucje: een venster.

• Stel je voor dat je een dossier hebt met duizenden pagina's. Je kunt ze niet allemaal op je bureau leggen.
• VR-Thinker houdt alleen de laatste paar pagina's (de meest recente beelden die ze heeft gecheckt) op haar bureau liggen. De oude pagina's worden netjes weggegooid, maar ze heeft er al een samenvatting van geschreven op een Post-it-stukje (een 'Snapshot').
• Zo blijft haar bureau (het geheugen) schoon, maar heeft ze altijd de belangrijkste informatie bij de hand om haar redenering voort te zetten. Ze vergeet niet wat ze net heeft gezien, maar ze wordt ook niet overstelpt door te veel informatie.

3. De Training: Van Leerling tot Meester

De makers van VR-Thinker hebben de AI niet zomaar losgelaten. Ze hebben haar in drie stappen getraind, net zoals je een leerling opvoedt:

• Stap 1: De "Koude Start" (Leren de regels)
  De AI krijgt een boek met voorbeeldopdrachten van een super slimme leraar (GPT-4o). Ze leert hoe ze moet denken, hoe ze haar "drone" moet besturen, en hoe ze haar antwoorden moet structureren. Ze leert: "Als je twijfelt, vraag dan om meer beelden."
• Stap 2: De "Selectie" (Alleen de besten)
  De AI krijgt duizenden oefeningen. Ze mag alleen doorgaan met de oefeningen waarbij ze perfect heeft geredeneerd én het juiste antwoord heeft. Als ze een fout maakt of slordig is, wordt die oefening weggegooid. Dit zorgt ervoor dat ze alleen de allerbeste denkpatronen leert.
• Stap 3: De "Spelregels" (Belonen voor goed werk)
  Nu krijgt de AI een spelletje. Ze krijgt punten als ze:
  1. De juiste structuur aanhoudt.
  2. Het juiste antwoord geeft.
  3. Belangrijk: Als ze door het bekijken van extra beelden haar antwoord verbetert, krijgt ze een bonus. Dit moedigt haar aan om niet snel tevreden te zijn, maar echt diep te graven.

Waarom is dit zo geweldig?

Vroeger moesten AI-modellen kiezen: ofwel kijken naar heel veel beelden (en dan vastlopen in hun geheugen), ofwel kijken naar heel weinig beelden (en dan fouten maken).

VR-Thinker heeft de beste van beide werelden:

• Het kan video's bekijken die veel langer zijn dan voorheen mogelijk was.
• Het maakt minder fouten omdat het actief controleert of het juiste bewijs heeft.
• Het is betrouwbaarder, omdat het niet "raadt" maar "onderzoekt".

Kortom: VR-Thinker is niet zomaar een kijker; het is een onderzoekend detective die zijn eigen vergrootglas pakt, zijn geheugen slim beheert en pas een oordeel velt als hij zeker is van de feiten. Hierdoor wordt het beoordelen van video's (bijvoorbeeld voor het maken van betere films of games) veel nauwkeuriger en menselijker.