Stel je een computer voor die naar een afbeelding kan kijken en een vraag daarover kan beantwoorden, of een wiskundig probleem in woorden kan lezen en het kan oplossen. Deze systemen, bekend als vision-language modellen, worden steeds krachtiger, maar ze maken nog steeds fouten. Soms krijgen ze het antwoord fout omdat ze niet nauwkeurig genoeg nadenken; andere keren beweren ze met veel zelfvertrouwen dingen die simpelweg niet waar zijn, een probleem dat hallucinatie wordt genoemd. Om deze modellen te leren beter na te denken, gebruiken onderzoekers een methft genaamd reinforcement learning (versterkend leren). In dit proces wordt het model gevraagd om vele verschillende pogingen te genereren om een enkel probleem op te lossen. Als sommige pogingen correct zijn en andere fout, leert het model de succesvolle weg te verkiezen. Echter, voor dit leren om te werken, moeten de verschillende pogingen daadwerkelijk verschillend van elkaar zijn. Als het model steeds hetzelfde denkproces herhaalt, leert het niets nieuws.

De uitdaging is geweest hoe men het model kan dwingen om verschillende manieren van denken te verkennen. Traditioneel hebben onderzoekers geprobeerd de boel op te schudden door de temperatuur van het besluitvormingsproces van de computer te veranderen of door de invoerafbeelding licht te vervormen, zoals het toevoegen van ruis aan een foto. Een nieuwe studie door onderzoekers van Amazon Web Services suggereert dat deze externe veranderingen misschien niet de meest effectieve manier zijn om de diversiteit in het denken van het model te vergroten. In plaats daarvan stellen zij voor dat de variatie moet plaatsvinden binnen de eigen interne representatie van het model, precies op het moment dat het begint met het verwerken van de vraag. Door een piepkleine, gecontroleerde hoeveelheid willekeurige ruis in de verborgen mentale staat van het model te injecteren voordat het begint met het genereren van een antwoord, ontdekten zij dat ze een robuustere en accuratere denker konden creëren.

De onderzoekers ontwikkelden een techniek die ze Noise-Contrastive Group Relative Policy Optimization noemen. Om te begrijpen hoe dit werkt, stel je een groep studenten voor die allemaal dezelfde meetkundige opgave proberen op te lossen. In een standaard trainingssessie lost elke student deze misschien iets anders op door toeval, maar ze beginnen allemaal met exact hetzelfde begrip van de opgave. In deze nieuwe aanpak krijgt de helft van de studenten een iets ander startpunt. De onderzoekers nemen de interne staat van het model — de manier waarop het de opgave in zijn "geest" heeft gecodeerd — en voegen een kleine, willekeurige schok toe aan de helft van de groep. Deze schok is geen verandering aan de afbeelding zelf, noch is het een verandering aan de woorden op de pagina. Het is een subtiele verschuiving in het interne perspectief van het model, alsof je een student vraagt om naar de opgave te kijken vanuit een iets andere hoek voordat hij begint te schrijven.

Het model genereert vervolgens antwoorden vanuit deze twee groepen: één groep die begint vanuit het normale, zuivere begrip, en de andere groep die begint vanuit dit licht verschoven, ruizige begrip. Het cruciale inzicht zit in hoe het model leert van de resultaten. Als de groep met het ruizige startpunt er toch in slaagt het juiste antwoord te vinden, ondanks de verwarring die aan het begin werd geïntroduceerd, wordt het model beloond. Als de ruis ervoor zorgt dat het model van het pad afwijkt en faalt, wordt dat pad bestraft. Na verloop van tijd leert het model oplossingen te vinden die zo solide zijn dat ze zelfs werken wanneer het startpunt iets onstabiel is. Het leert niet alleen het antwoord; het leert robuust te zijn tegen kleine verstoringen in zijn eigen denkproces.

De resultaten van dit experiment waren opmerkelijk. De onderzoekers testten hun methode op een groot vision-language model dat getraind is op meetkundige problemen. Wanneer ze deze nieuwe methode vergeleken met de standaardaanpak en met de oudere techniek van het vervormen van de invoerafbeelding, produceerde de nieuwe methode aanzienlijk betere resultaten op moeilijke, onbekende wiskundige problemen. Het model werd beter in het oplossen van problemen die het nog nooit eerder had gezien, een capaciteit die bekend staat als out-of-domain redeneren. Misschien nog verrassender was dat het ook beter werd in het vermijden van hallucinaties. Terwijl de oudere methode van het vervormen van afbeeldingen hielp het model visuele details duidelijker te zien, maakte het het model soms juist slechter in het vasthouden aan de feiten. De nieuwe methode verbeterde daarentegen zowel het redeneervermogen als de eerlijkheid van het model tegelijkertijd.

De studie onderzocht ook wat precies deze techniek werkzaam maakt. De onderzoekers testten of het voordeel kwam door de specifieke richting van de ruis of simpelweg door het feit dat de ruis willekeurig was. Ze ontdekten dat de richting er niet toe deed. Of de ruis het denken van het model nu in de ene of de andere richting duwde, de cruciale factor was simpelweg dat elke poging begon vanuit een uniek, onafhankelijk standpunt. Ze ontdekten ook dat de omvang van de ruis werkt als een draaiknop. Een kleine hoeveelheid ruis verbeterde het redeneervermogen van het model zonder de algemene vaardigheden te schaden, maar te veel ruis begon de algehele prestaties te verslechteren. Dit suggereert dat er een 'sweet spot' is waarbij het model een betere specialist in redeneren wordt zonder zijn algemene kennis te verliezen.

Een van de belangrijkste bevindingen was dat deze methode werkt door de interne staat van het model te veranderen, en niet door de afbeelding of de tekst aan te passen. Dit betekent dat de techniek potentieel kan worden toegepast op elk type model dat informatie verwerkt, niet alleen op diegene die naar plaatjes kijken. De onderzoekers toonden aan dat de methode efficiënt is; het vereist slechts een kleine wijziging in de software die het model aanstuurt, en het vertraagt het proces van het genereren van antwoorden niet. Door zich te concentreren op het moment dat het model begint te denken, in plaats op de data die het ontvangt, vonden ze een manier om het redeneervermogen van het model betrouwbaarder en minder foutgevoelig te maken.

De studie onderzocht ook of deze aanpak werkt voor modellen van verschillende groottes. Wanneer ze dezelfde techniek probeerden op een kleinere versie van het model, verdween het voordeel. Het kleinere model werd niet beter in redeneren, noch werd het slechter; het veranderde simpelweg niet. Dit suggereert dat de techniek een bepaald niveau van complexiteit in het model vereist om effectief te zijn. Het is geen tovertruc die op elke computer werkt, maar een specifiek instrument dat grotere, meer capabele systemen helpt hun denken te verfijnen. De onderzoekers merken er voorzichtig bij op dat, hoewel de resultaten veelbelovend zijn, ze dit tot nu toe alleen op één familie van modellen hebben getest, en dat er meer werk nodig is om te zien of het ook voor anderen werkt.

Uiteindelijk biedt dit onderzoek een nieuwe manier om na te denken over hoe we kunstmatige intelligentie trainen. In plaats van te proberen de invoerdata gevarieerder of het besluitvormingsproces chaotischer te maken, ontdekten de onderzoekers dat een precieze, interne perturbatie (verstoring) kon leiden tot een stabielere en intelligentere uitkomst. Door het model te leren te slagen zelfs wanneer het startpunt iets afwijkt, hebben ze een systeem gecreëerd dat minder snel wordt misleid door zijn eigen onzekerheden. Deze aanpak maakt het model niet alleen slimmer in wiskunde; het maakt het model betrouwbaarder, in staat om het onderscheid te maken tussen een solide antwoord en een zelfverzekerde gok. Nu deze systemen steeds meer geïntegreerd raken in ons dagelijks leven, is het vinden van manieren om ze robuuster en minder foutgevoelig te maken essentieel, en deze studie biedt een duidelijk pad vooruit om dat doel te bereiken.