Stel je een computer voor die probeert de wereld te begrijpen via een camera die aan iemands hoofd is bevestigd. Dit is niet hetzelfde als het kijken naar een film vanuit een vaste stoel in een theater. In dit eerste-persoonsperspectief raast de wereld voorbij, verschijnen objecten en verdwijnen ze in de oogwenk, en kan het belangrijkste aanwijzing een minuscuul, vluchtig detail rechts in de lens van de camera zijn. Voor kunstmatige intelligentie is dit een moeilijke puzzel. Moderne computersystemen, bekend als large vision-language models, zijn ongelooflijk slim in het lezen van tekst en het bekijken van plaatjes, maar ze worstelen vaak wanneer het beeld chaotisch en persoonlijk is. Ze hebben de neiging om te gokken wat er gebeurt op basis van wat ze eerder hebben gelezen, in plaats van goed te kijken naar wat er daadwerkelijk aanwezig is. Ze kunnen een keuken zien en aannemen dat iemand aan het koken is, zelfs als de video laat zien dat diegene simpelweg een kopje wast, omdat hun interne database hen vertelt dat keukens bedoeld zijn voor koken. Deze afhankelijkheid van geheugen in plaats van observatie leidt tot fouten in kritieke situaties, zoals wanneer een robot een mens moet helpen of wanneer een draagbaar apparaat iemand met een beperking moet ondersteunen.

Een team onderzoekers uit China heeft een nieuwe manier ontwikkeld om deze computersystemen te leren om te stoppen met gokken en te beginnen met kijken. Ze noemen hun methode Visual Evidence-Guided Learning. De kern van het idee is simpel maar krachtig: dwing de computer om naar het specifieke deel van de video te wijzen dat bewijst dat het antwoord correct is. In hun experimenten ontdekten ze dat wanneer ze de modellen trainden om deze kleine, beslissende visuele aanwijzingen te vinden en erop te vertrouwen, de computers veel beter werden in het begrijpen van wat er in de video gebeurde. Ze stopten met het verzinnen van verhalen op basis van algemene kennis en begonnen precies te beschrijven wat ze zagen. Deze verschuiving van gokken naar zien is een belangrijke stap vooruit voor het betrouwbaar maken van kunstmatige intelligentie in de echte, rommelige wereld van menselijke beweging.

De onderzoekers begonnen met het onderzoeken van de vraag waarom deze slimme systemen zo vaak falen in eerste-persoonsvideo's. Ze merkten twee hoofdzaken op. Ten eerste, wanneer de visuele aanwijzingen zwak of moeilijk te spotten waren, viel de computer terug op zijn taaltraining en gebruikte het gezond verstand om de gaten op te vullen. Bijvoorbeeld, als een persoon een penseel in een klein bekertje doopte, zou de computer het bekertje kunnen negeren en zeggen dat de persoon aan het schilderen was, simpelweg omdat dat is wat penselen gewoon doen. Ten tweede werd de computer vaak afgeleid door het grote geheel. Als een video een hele kunststudio toonde, richtte het systeem zich wellicht op de atmosfeer van de kamer in plaats van op de specifieke handeling van een hand die een gereedschap vasthoudt. De onderzoekers realiseerden zich dat huidige trainingsmethoden de computer niet straffen voor het negeren van kleine details of voor het te veel vertrouwen op zijn eigen interne kennis. De computer werd niet geleerd om visueel bewijs te waarderen dat hij zag.

Om dit op te lossen, bouwde het team een trainingspipeline die fungeert als een strenge coach. Ze vroegen mensen niet om elke video handmatig te labelen, wat te traag en te duur zou zijn. In plaats daarvan creëerden ze een automatisch systeem dat de video scant en de meest waarschijnlijke visuele aanwijzingen selecteert. Het systeem kijkt naar de videoframes en de gestelde vraag, en identificeert vervolgens de specifieke patch van de afbeelding die het meest relevant lijkt. Het kiest ook een tweede patch die vergelijkbaar is maar minder duidelijk, om als test te dienen voor de focus van de computer. Dit creëert een paar signalen: één die de waarheid vertegenwoordigt en één die een verwarrende afleiding vormt. De computer wordt vervolgens getraind om zijn redenering af te stemmen op het duidelijke signaal en het verwarrende signaal te negeren.

Een cruciaal onderdeel van dit proces is een filterstap die plaatsvindt voordat de computer zelfs maar aan zijn definitieve training begint. De onderzoekers realiseerden zich dat niet alle video's goed zijn voor het onderwijs. Sommige video's zijn te wazig, of de belangrijke actie is te klein om duidelijk te zien door het automatische systeem. Als de computer probeert te leren van deze slechte voorbeelden, zal hij alleen maar leren om verward te raken. Daarom bouwde het team een mechanisme om de kwaliteit van de visuele aanwijzingen te controleren. Als de computer geen duidelijk, beslissend object in de video kan vinden, wordt dat voorbeeld weggegooid. Ze controleren ook of een voorbeeld daadwerkelijk nuttig is voor het leren. Als de computer het antwoord al gemakkelijk kan geven, of als de video te complex is om een duidelijke les te bieden, wordt dat voorbeeld ook verworpen. Dit laat een kleinere, hoogwaardige set video's over waar de visuele aanwijzingen scherp zijn en de les duidelijk is.

Zodra de computer is getraind op deze gefilterde, hoogwaardige data, ondergaat hij een laatste fase van reinforcement learning. Dit is waar de computer leert om betere keuzes te maken door beloningen te ontvangen voor goed gedrag. In dit nieuwe systeem is de beloning niet alleen het hebben van het juiste antwoord, maar het hebben van het juiste antwoord door naar het juiste ding te kijken. Als de computer het specifieke object of de actie correct identificeert die het antwoord bewijst, krijgt hij een beloning. Als hij probeert te gokken op basis van de algemene scène of te veel ongerelateerde objecten opsomt om zijn kansen te vergroten, wordt hij gestraft. Het systeem ontmoedigt de computer ook actief om zich te richten op de eerder gecreëerde "verwarrende" patch. Dit dwingt de computer om zijn aandacht te vernauwen tot het ene ding dat er echt toe doet, in plaats van zijn focus over de hele scène te verspreiden.

De resultaten van deze aanpak waren opmerkelijk. De onderzoekers testten hun methode op verschillende benchmarks die ontworpen zijn om te meten hoe goed computers eerste-persoonsvideo's begrijpen. Ze vergeleken hun nieuwe systeem met andere geavanceerde methoden die recentelijk waren ontwikkeld. In elke test presteerde hun systeem beter. Het was nauwkeuriger bij het beantwoorden van vragen over wat er in de video gebeurde, of de taak nu het identificeren van een object was, het plannen van een reeks handelingen, of het begrijpen van een complexe scène. De verbetering was consistent over verschillende soorten computermodellen, wat suggereert dat de methode goed werkt ongeacht de specifieke architectuur van de 'hersenen'. De onderzoekers vonden dat het systeem bijzonder goed was in het afhandelen van situaties waar het belangrijke detail klein was of snel bewoog, wat precies is waar andere systemen meestal falen.

Het team nam ook de tijd om te verifiëren of hun automatische systeem daadwerkelijk de juiste aanwijzingen koos. Ze controleerden handmatig een steekproef van de video's om te zien of de gekozen visuele patch van de computer overeenkwam met wat een mens als het belangrijkste deel zou beschouwen. Ze ontdekten dat in het overgrote deel van de gevallen de keuze van de computer correct was. Dit gaf hen het vertrouwen dat het automatische proces betrouwbaar genoeg was om als leraar te worden gebruikt. Ze testten ook hoe gevoelig het systeem was voor verschillende instellingen, zoals hoe strikt de filtering moest zijn. Ze ontdekten dat er een 'sweet spot' was: als de filtering te los was, leerde de computer van slechte voorbeelden; als deze te strikt was, had de computer niet genoeg data om van te leren. Door het juiste evenwicht te vinden, zorgden ze ervoor dat het systeem zowel efficiënt als effectief was.

Een van de meest interessante bevindingen was hoe het systeem de manier waarop de computer "dacht" veranderde. Wanneer de onderzoekers naar het redeneerproces van de oude modellen keken, zagen ze dat de computer vaak conclusies trok op basis van de algemene omgeving. In tegen plaats toonde het nieuwe systeem een duidelijk patroon van zoeken naar specifiek bewijs voordat er een beslissing werd genomen. Bijvoorbeeld, wanneer er werd gevraagd naar een persoon die een gereedschap vasthoudt, zou het oude model kunnen zeggen "de persoon werkt in een werkplaats" op basis van de achtergrond. Het nieuwe model zou echter zeggen "de persoon houdt een schroevendraaier vast", omdat het getraind was om zich te concentragen op de hand en het gereedschap. Deze verschuiving van globale context naar lokale bewijsvoering is wat het systeem betrouwbaarder maakt. Het is niet langer alleen aan het gokken op basis van wat er gewoonlijk gebeurt; het rapporteert wat er daadwerkelijk gebeurt.

De onderzoekers erkennen dat hun methode niet perfect is. Het werkt het best wanneer de belangrijke aanwijzing een enkel, gelokaliseerd object of een handeling is die duidelijk zichtbaar is in een klein deel van de video. Als het antwoord afhangt van een lange reeks gebeurtenissen verspreid over de tijd, of als het belangrijke object achter iets anders verborgen is, kan het systeem nog steeds moeite hebben. Ze merkten ook op dat als de vraag te abstract is, het automatische systeem moeite kan hebben met het vinden van een visuele aanwijzing die erbij past. Echter, voor het overgrote deel van de taken waarbij een specifieke visuele details de sleutel tot het antwoord is, biedt hun aanpak een robuuste oplossing.

Dit werk vormt een belangrijke stap naar het meer in de werkelijkheid verankeren van kunstmatige intelligentie. Door computers te leren om meer waarde te hechten aan wat ze zien dan aan wat ze denken te weten, hebben de onderzoekers een systeem gecreëerd dat minder waarschijnlijk gevaarlijke of absurde fouten maakt. In een wereld waarin robots en slimme apparaten steeds gebruikelijker worden, is het essentieel om een systeem te hebben dat betrouwbaar een eerste-persoonsperspectief kan bekijken en precies begrijpt wat er gebeurt. De methode vereist geen dure menselijke leraren of enorme hoeveelheden nieuwe data. In plaats daarvan gebruikt het een slim filteringproces en een nieuwe manier om de computer te belonen om hem naar de waarheid te leiden. Naarmate de technologie zich blijft ontwikkelen, zou deze focus op visueel bewijs de standaard kunnen worden voor hoe we machines leren de wereld te zien, om ervoor te zorgen dat ze zien wat ertoe doet.