OPDSearch+: On-Policy Distillation with RL Refinement for Search-Augmented Reasoning

In de snel evoluerende wereld van kunstmatige intelligentie proberen onderzoekers constant computerprogramma's te leren meer te denken als mensen, vooral wanneer het gaat om het vinden van antwoorden in een enorme oceaan van informatie. Jarenlang was de standaardaanpak het trainen van massieve, dure modellen die feiten memoriseren, maar deze systemen worstelen vaak wanneer ze nieuwe informatie moeten opzoeken of verbanden moeten leggen tussen verschillende onderwerpen. Een veelbelovender pad houdt "zoek-geaugmenteerde redenering" in, waarbij een model leert om vragen te stellen, de gevonden antwoorden te lezen en vervolgens een definitief antwoord te synthetiseren. Het aanleren hiervan aan kleinere, efficiëntere modellen is echter een hardnekkig probleem gebleken. De gebruikelijke methode vereist een "docent"-model dat al een expert is in zoeken, maar het trainen van een dergelijke docent voor elke specifieke taak is ongelooflijk kostbaar en traag. Bovendien faalt het simpelweg kopiëren van de antwoorden van een docent vaak, omdat het student-model vast komt te zitten in een lus van zijn eigen fouten, niet in staat om te leren van het dynamische, realtime karakter van een live zoekmachine.

Een team van onderzoekers heeft een nieuwe methode genomeerd OPDSearch+ die deze problemen oplost door te veranderen hoe de student leert. In plaats van te vertrouwen op een docent die specifiek voor een bepaalde taak is getraind, gebruiken zij een krachtig, bestaand model dat "bevroren" wordt gehouden, wat betekent dat het tijdens het proces niet verandert. Deze docent fungeert als een gids, niet door het uiteindelijke antwoord te geven, maar door de student te observeren terwijl deze interactie heeft met een live zoekmachine. Terwijl de student vragen stelt en resultaten leest, geeft de docent onmiddellijke, stapsgewijze feedback op elk woord dat de student genereert. Deze feedback helpt de student niet alleen te begrijpen wat het juiste antwoord is, maar ook hoe een complexe vraag kan worden afgebroken, hoe een zoekopdracht geformuleerd moet worden en hoe de gevonden informatie in een logisch argument kan worden geweven.

Het proces vindt plaats in twee duidelijke stadia. Eerst leert het student-model van de begeleiding van de docent terwijl het actief op zoek is naar informatie. Deze fase is cruciaal omdat het de student de gewoonten van een goede onderzoeker aanleert — hoe een probleem te ontleden en bewijs te integreren — zonder dat de student ooit de zoekgeschiedenis van de docent zelf hoeft te zien. De onderzoekers ontdekten dat deze initiële training het gedrag van de student vormgeeft, wat een veel sterkere basis creëert dan vanaf nul beginnen. In het tweede stadium wordt de student verfijnd met een techniek die het beloont voor het correct beantwoorden van de uiteindelijke vraag. Omdat de student in de eerste fase met een dergelijke sterke basis is begonnen, is het in staat om veel sneller te leren en een prestatieniveau te bereiken dat het nooit op eigen kracht zou kunnen behalen.

De resultaten van deze aanpak zijn opmerkelijk. Bij tests op zeven verschillende benchmarks voor vraagbeantwoording, stelde de nieuwe methode een relatief klein model, met slechts drie miljard parameters, in staat om alle voorgaande modellen van dezelfde grootte te overtreffen. Op complexe taken die het verbinden van meerdere stukken informatie vereisen, was de verbetering bijzonder spectaculair, waarbij het model een dertienpuntige stijging in nauwkeurigheid behaalde op de ene belangrijke test en een achtpuntige stijging op een andere. De onderzoekers hebben aangetoond dat deze methode niet slechts een kleine aanpassing is, maar een fundamentele verschuiving in hoe kleine modellen kunnen leren redeneren met zoektools. Door een bevroren, kant-en-klare docent te gebruiken om de student door realtime interacties te leiden, hebben ze een systeem gecreëerd dat zowel zeer efficiënt als opmerkelijk effectief is, waarmee bewezen wordt dat een klein model kan leren diep na te denken en wijs te zoeken zonder de noodzaak van dure, taakspecifieke training.