Stel je voor dat je een zeer slimme, maar licht chaotische robot probeert te leren hoe hij een behulpzame assistent kan zijn. In de wereld van kunstmatige intelligentie wordt dit proces "alignment" genoemd. Lange tijd hebben wetenschappers zich gericht op hoe de robot te onderwijzen, waarbij ze verschillende wiskundige formules uitprobeerden om hem te laten leren van een enorme berg vooraf geschreven voorbeelden. Maar er is een probleem: soms is de stapel voorbeelden slordig, vol tegenstrijdigheden of gewoon verwarrend. Het is alsof je probeert te leren koken door een receptenboek te lezen waarvan de helft van de pagina's is uitgescheurd en de andere helft tegenstrijdige instructies bevat.

Dit artikel stelt een andere vraag: wat als het probleem niet de onderwijsmethode is, maar de ingrediënten? In plaats van de robot te dwingen te leren van een gigantische, rommelige bibliotheek, wat als we hem alleen laten leren van een kleine, perfecte set voorbeelden waarvan we absoluut zeker weten dat ze goed zijn? De onderzoekers wilden zien of een kleine, hoogwaardige "snack" aan data beter kon zijn dan een gigantisch, rommelig "banket". Ze bouwden een systeem dat werkt als een zeer strenge voedselcriticus, die duizenden antwoorden van de robot proeft en er alleen een houdt waarvan iedereen vindt dat ze heerlijk zijn. Het resultaat? Een methode die suggereert dat we misschien geen miljoenen voorbeelden nodig hebben om een robot slim te maken; we hebben misschien slechts een paar honderd nodig die werkelijk, onmiskenbaar uitstekend zijn.

Het verhaal van het papier: DMAPO

Het papier introduceert een nieuwe methode genaamd DMAPO (Data-centric Multi-evaluator Agreement for Preference Optimization). Denk aan DMAPO als een zeer veeleisende redacteur die niet alleen een verhaal leest, maar het verhaal ook zelf genereert, en vervolgens drie verschillende deskundige critici inhuurt om het te beoordelen, en tot slot alleen de verhalen publiceert waarvan iedereen het erover eens is dat ze óf een meesterwerk óf een totale ramp zijn.

Zo werkt de magie, stap voor stap:

1. De robot schrijft eerst
In plaats van te kijken naar een bestaande lijst met "goede" en "slechte" antwoorden, lieten de onderzoekers de robot (specifiek een model genaamd Mistral-7B) zijn eigen antwoorden schrijven op duizenden vragen. Het is alsof je een student een oefentoets laat maken voordat de leraar hem zelfs maar heeft nagekeken. De robot genereert 54.236 verschillende antwoorden op 13.559 verschillende prompts.

2. Het panel van rechters
Nu komt het strenge deel. De onderzoekers vragen niet alleen één AI om deze antwoorden te beoordelen. Ze gebruiken drie gespecialiseerde "evaluatoren" (AI-modellen die als rechters optreden) om elk antwoord te scoren op drie specifieke zaken:

• Behulpzaamheid: Is het daadwerkelijk nuttig?
• Feitelijkheid: Vertelt het de waarheid?
• Beknoptheid: Is het te langdradig?

Elke rechter geeft een score van 1 tot 10. Maar wacht, er is een vierde rechter, een "procescriticus", die kijkt naar logische fouten of vreemde redeneerfouten en punten aftrekt als het antwoord slordig is.

3. De "Consensus Gate"
Dit is het belangrijkste filter. Het systeem houdt alleen een antwoord aan als alle drie de hoofdrechters het erover eens zijn dat het óf geweldig is (een score van 7 of hoger) óf verschrikkelijk (een score van 4 of lager). Als de rechters verward zijn of onderling van mening verschillen, wordt het antwoord bij het vuilnis gezet. Het is als een talentenjacht waarbij een deelnemer alleen wordt gered als elke juryleden op de "ja"-knop drukt, of als elke jurylid de "nee"-knop indrukt. Als de jury verdeeld is, gaat de deelnemer naar huis.

4. Het resultaat: Minder data, betere alignment
Het resultaat van deze strikte filtering is schokkend. Van de 54.236 gegenereerde antwoorden hield het systeem er slechts 1.871 over. Dat is een acceptatiepercentage van slechts 3,45%. Het gooide 96,55% van de data weg!

Maar hier komt de wending: de robot die getraind werd op deze kleine, hoogwaardige set van 1.871 voorbeelden, presteerde feitelijk beter dan robots die getraind werden op veel grotere datasets met andere methoden.

• Op een test genaamd MT-Bench scoorde de nieuwe robot een 7,50, waarmee hij de vorige beste methoden versloeg.
• In vergelijking met een referentiemodel won hij 95,5% van de tijd wanneer de lengte gecontroleerd werd.
• Hij scoorde ook 57,3% op een test genaamd IFEval, die controleert of de robot strikte regels kan volgen.

Wat het papier uitsluit
De auteurs zijn voorzichtig in hun bewering dat deze methode niet het is.

• Het is geen toverstaf die de robot op alles slimmer maakt. In feite, toen ze dit op wiskundeproblemen testten, daalde de score zelfs licht (van 6,45 naar 5,70). De strikte "beknoptheidsfilter" heeft mogelijk de lange, gedetailleerde stappen die nodig zijn voor wiskunde gestraft.
• Het is geen manier om nieuwe kennis toe te voegen. De robot leert alleen om beter te worden in de dingen die hij al kon doen; hij leert alleen om ze betrouwbaarder uit te voeren.
• Het is geen garantie voor menselijk niveau van waarheid. Het systeem vertrouwt op AI-rechters, en als die AI-rechters vooroordelen hebben (zoals te streng zijn op beknoptheid of culturele blinde vlekken hebben), zal de robot die vooroordelen ook aanleren.

Hoe zeker zijn ze?
De auteurs presenteren dit als een sterke suggestie gebaseerd op experimenten, niet als een definitieve natuurwet.

• De resultaten werden gemeten op een specifiek robotmodel (Mistral-7B) en toonden duidelijke verbeteringen.
• Echter, toen ze dezelfde methode probeerden op een ander robotmodel (Llama-3.1-8B), waren de resultaten "gemengd". De nieuwe robot deed het goed op sommige tests, maar versloeg de originele versie niet op de belangrijkste benchmark. Dit suggereert dat de methode goed werkt voor bepaalde soorten robots, maar misschien geen universele oplossing is voor alle robots.
• De auteurs geven expliciet aan dat hoewel de methode werkt, het met een prijs gepaard gaat: je moet veel computerkracht besteden voordat de training begint om de data te generen en te filteren. Het is een afweging: minder trainingstijd, maar meer "curatie"-tijd.

De kernboodschap
DMAPO suggereert dat in de race om AI slimmer te maken, kwaliteit belangrijker kan zijn dan kwantiteit. Door te fungeren als een zeer strikte redacteur die alleen antwoorden accepteert waarvan iedereen het erover eens is dat ze perfect zijn (of perfecte mislukkingen zijn), ontdekten de onderzoekers een manier om een robot te trainen met een kleine, hoogwaardige dataset die beter presteerde dan die getraind met enorme, rommelige stapels data. Het is een herinnering dat soms de beste manier om te leren is om de ruis te negeren en je alleen te concentreren op het signaal.