🤖 AI

Reward-Free Evolving Agents via Pairwise Validator

Dit artikel stelt een kosteneffectief zelfevoluerend agent-framework voor dat dure scalaire beloningssignalen vervangt door een bevroren LLM-gebaseerde paarwijze validator om de verbetering van de agent te sturen, waarmee competitieve prestaties worden bereikt over meerdere engines en substraten zonder dat gelabelde data of aanvullende training vereist is.

Oorspronkelijke auteurs: Minghao Liu, Yu Wang, Jiayun Wang, Wei Wei

Gepubliceerd 2026-07-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Minghao Liu, Yu Wang, Jiayun Wang, Wei Wei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers niet alleen opdrachten opvolgen, maar ook daadwerkelijk leren om hun eigen instructies te schrijven. Dit is het domein van AI Agents, slimme programma's die complexe puzzels oplossen door ze op te delen in stappen, hulpmiddelen te gebruiken en over problemen na te denken. Normaal gesproken moeten mensen, om deze agents beter te maken, optreden als strikte coaches. Elke keer dat de agent een nieuwe manier van denken probeert, moet de coach het beoordelen met een specifieke score, zoals een leraar die een toets cijfer geeft. Maar hier komt de adder onder het gras: het maken van die perfecte toetsen en nakijkmodellen is ongelooflijk moeilijk, duur en vereist diepgaande menselijke expertise. Het is alsof je een robot probeert te leren koken door een handleiding van 100 pagina's te schrijven over hoe je precies een ui snijdt, om er vervolgens achter te komen dat je voor elke groente een nieuwe handleiding nodig hebt.

Maak kennis met het concept van Self-Evolving Agents. In plaats van te wachten tot een menselijke coach elke poging beoordeelt, proberen deze agents zichzelf te verbeteren in een lus: ze maken een kleine aanpassing, testen het, en als het er beter uitziet, houden ze het erbij. De grote vraag die wetenschappers zich hebben gesteld is: Kunnen we de dure menselijke beoordeling volledig overslaan? Wat als de agent simpelweg naar zijn "oude zelf" en zijn "nieuwe zelf" kan kijken en kan beslissen welke beter is, zonder een perfect cijfer nodig te hebben? Dit artikel duikt in die exacte vraag en stelt een slimme afkorting voor die het zware, dure beoordelingssysteem vervangt door een eenvoudige, snelle vergelijking.

Het Probleem: De Dure "Scorekaart"

Denk bij het bouwen van een superintelligente AI-agent aan het trainen van een hond om trucjes te doen. Op de oude manier moet er elke keer dat de hond een nieuwe beweging probeert, een menselijke trainer tussenbeide komen, nauwlettend kijken en een precieze score geven: "Dat was een 7,5 van de 10." Om een betrouwbare score te krijgen, heeft de trainer een enorme bibliotheek aan perfecte voorbeelden nodig om mee te vergelijken. Voor AI wordt deze "scorekaart" een scalar reward genoemd. Het is een enkel getal dat de agent vertelt hoe goed hij het heeft gedaan.

Het probleem is dat het maken van deze scorekaart een nachtmerrie is. Het vereist het inhuren van experts, het labelen van duizenden voorbeelden en het kost een fortuin. Soms is de taak zo vreemd of complex dat mensen het zelfs niet met elkaar eens kunnen worden over hoe een "goede" score eruitz ziet. Het is als het proberen te beoordelen van een schilderij van een droom: er is geen juist antwoord, dus het geven van een cijfer is onmogelijk.

De Oplossing: Het "Wie is Beter?" Spel

De auteurs van dit artikel, Minghao Liu en zijn team, stelden een simpele vraag: Wat als we stoppen met vragen "Hoe goed is dit?" en beginnen met vragen "Welke is beter?"

In plaats van een mens (of een complexe computer) te laten proberen een moeilijk getal toe te kennen aan een enkele poging, introduceerden ze een Pairwise Validator. Stel je twee deelnemers voor in een boksring: de "Parent" (de huidige versie van de agent) en de "Child" (de nieuwe, aangepaste versie). Een bevroren, vooraf getraind Large Language Model (LLM) fungeert als scheidsrechter. Het hoeft niet de exacte score te weten; het kijkt er gewoon naar en zegt: "Ik denk dat de Child beter is," of "De Parent wint."

Dit is veel makkelijker voor de AI-scheidsrechter. Het is also wordt gevraagd aan een vriend: "Heb je liever chocolade of vanille?" in plaats van te vragen om beide smaken op een schaal van 1 tot 100 te beoordelen met perfecte precisie. Het artikel laat zien dat dit "Wie is Beter?" spel veel stabieler is en geen extra training vereist voor de scheidsrechter.

De Twee Nieuwe Playbooks

Het team testte dit idee op twee verschillende manieren en creëerde zo twee nieuwe "playbooks" voor de agents:

Adaptive Focus: Dit is de "Slimme Coach"-aanpak. De agent gebruikt nog steeds een kleine set door mensen beoordeelde voorbeelden om te kiezen welke versie de "parent" wordt voor de volgende ronde. Echter, op het moment dat beslist wordt of een nieuwe verandering wordt geaccepteerd, slaat hij de dure scorecard over en gebruikt hij simpelweg de "Wie is Beter?" scheidsrechter. Het is een hybride die geld bespaart op de dagelijkse beslissingen, maar de menselijke veiligheidsnet behoudt voor de lange termijn.
Soft Elo: Dit is de "Pure Tournament"-aanpak. Hierbij gooit de agent de menselijke scorecard volledig weg. De agent gebruikt de "Wie is Beter?"-oordelen van de scheidsrechter om een ratingsysteem te draaien (vergelijkbaar met hoe schakers gerangschikt worden). Als de Child wint van de Parent, krijgt de Child een ratingboost. Na verloop van tijd evolueert de agent puur op basis van deze directe confrontaties, zonder ooit een mens nodig te hebben om een getal toe te kennen.

De Resultaten: Werkt het?

Het team heeft deze methoden getest bij een verscheidenheid aan uitdagingen, van het beantwoorden van lastige trivia-vragen en het oplossen van wiskundige problemen tot het schrijven van code die gegevens organiseert. Ze vergeleken deze nieuwe "Pairwise"-methoden met de oude "Full-Reward"-methoden (de dure, door mensen beoordeelde manier).

De bevindingen waren verrassend sterk. In de meeste tests presteerden de agents die de "Wie is Beter?"-scheidsrechter gebruikten net zo goed als, of zelfs beter dan, de agents die de dure menselijke scorekaarten gebruikten.

Voor Trivia en Instructies: Bij taken zoals het beantwoorden van vragen uit een reeks documenten, hielp de "Soft Elo"-methode de agent zelfs beter te generaliseren, wat betekent dat hij niet alleen de oefenvragen uit het hoofd leerde, maar de werkelijke logica begreep.
Voor Wiskunde: Zelfs bij moeilijke wiskundige problemen slaagden de nieuwe methoden erin evenveel problemen op te lossen als de oude methoden, wat bewijst dat je geen perfecte score nodig hebt om een goede oplossing te vinden.
Voor Code: Bij het evolueren van computerprogramma's werkte de pairwise gate net zo goed als de full-reward baseline, waardoor de code succesvol efficiënter werd gemaakt.

De Kanttekening en de Toekomst

Het artikel merkt voorzichtig op dat dit geen toverstaf is voor elke situatie. De methode werkt het best wanneer er nog ruimte is voor de agent om te verbeteren. Als de agent al op het toppunt van zijn kunnen is, of als de scheidsrechter (de LLM) in de war is door de taak, kan het systeem vastlopen. Ook, als de "test" te klein is (zoals een wiskundetoets met slechts 15 vragen), kunnen de resultaten wat ruizig ogen, net zoals het een paar keer opwerpen van een muntje niet vertelt of de munt eerlijk is.

De kernontdekking is echter een game-changer: Je hebt geen perfecte, dure scorecard nodig om een slimme AI te laten evolueren. Door simpelweg een bevroren AI-scheidsrechter te vragen om twee versies te vergelijken en de winnaar aan te wijzen, kunnen we zelfverbeterende agents bouwen die net zo bekwaam zijn als de agents die we met menselijke experts bouwen, maar dan zonder de enorme kosten en inspanning van het labelen van data. Het is een verschuiving van "elk examen beoordelen" naar "gewoon de beste essay kiezen", en het blijkt dat dat genoeg is om een machine te leren hoe hij moet denken.

Technische Samenvatting: Beloningsvrije Evoluerende Agenten via Pairwise Validator

Probleemstelling

De constructie van zelf-evoluerende agentische loops—systemen die iteratief de prompt, code of workflow van een agent verfijnen zonder het onderliggende model te hertrainen—wordt geconfronteerd met een significante flessenhals: het ontwerp van het kwaliteitsignaal (beloning) per iteratie. Momenteel vertrouwen deze loops op een scalaire beloning om kandidaten voor modificaties te accepteren of af te wijzen. Het ontwerpen van een betrouwbare scalaire beloning is vaak evenredig duur, wat domeinexpertise en grote sets schone, gelabelde voorbeelden vereist die evenveel kunnen kosten als de primaire taak van de agent zelf. In veel scenario's is het definiëren van een dergelijke beloning moeilijk of zelfs onmogelijk, wat een praktische asymmetrie creëert waarbij het verzamelen van enkele voorbeelden van "goede" versus "slechte" outputs eenvoudig is, maar het verzamelen van voldoende data om een robuuste beloningsfunctie te trainen niet.

Methodologie

De auteurs stellen voor om de scalaire beloning bij de acceptatie/afwijzingspoort van een zelf-evoluerende loop te vervangen door een pairwise validator. Deze validator is een bevroren Large Language Model (LLM) dat, gegeven een ouder-kandidaat en een kind-kandidaat, een binair oordeel geeft over welke beter is. Deze aanpak maakt gebruik van de bevinding dat pairwise oordelen over het algemeen stabieler en gemakkelijker zijn voor LLM's dan absolute scorevorming, omdat het de noodzaak voor strikte schaalcalibratie vermijdt.

Het artikel introduceert twee specifieke configuraties van deze methode, geïntegreerd in bestaande engines (GEPA, ADRS, ShinkaEvolve):

Adaptive Focus (Train-Reward-Free):
- Mechanisme: Vervangt de scalaire beloning bij de acceptatie/afwijzingspoort door de pairwise validator.
- Ouderselectie: Behoudt het bestaande ouderselectiemechanisme van de engine, dat steunt op validatieset-beloningen.
- Context: De context ( $E$ ) van de validator kan worden aangepast. De "Adaptive Focus"-variant gebruikt specifiek een meta-LLM om periodiek het evaluatiehandboek te verversen (bijv. de focus verschuiven tussen nauwkeurigheid, degelijkheid of holistische kwaliteit) op basis van recente poortactiviteit.
Soft Elo (Volledig Reward-Free):
- Mechanisme: Vervangt de scalaire beloning bij de poort door de pairwise validator.
- Ouderselectie: Verwijdert volledig de afhankelijkheid van validatieset-beloningen. In plaats daarvan implementeert het een Elo-ratingsysteem dat wordt gedreven door de pairwise oordelen van de validator.
- Proces: Kandidaten in de pool krijgen een rating toegewezen. In elke iteratie wordt een ouder geselecteerd via softmax over de ratings. Het kind wordt gematcht tegen de ouder en willekeurige leden uit het archief. De validator beoordeelt deze paren en Elo-ratings worden bijgewerkt op basis van de uitkomsten.
- Confidence Weighting: De stapgrootte van de update-stap wordt gemoduleerd door de per-token betrouwbaarheid ( $c_t$ ) van de agent uit de vorige iteratie, wat het systeem een "Soft" Elo maakt. Wanneer per-token waarschijnlijkheden niet beschikbaar zijn, wordt een "Plain Elo"-variant met een vaste stapgrootte gebruikt.

Belangrijkste Bijdragen

Reward-Free Validatievarianten: Het artikel definieert twee methoden om de noodzaak van per-stap taakbeloningen te elimineren. Beide zijn training-vrij (de validator is een bevroren LLM). Adaptive Focus verwijdert de train-beloning maar behoudt validatiebeloningen voor selectie; Soft Elo verwijdert beide en vertrouwt volledig op pairwise oordelen voor zowel de poort als de ouderselectie.
Empirische Superieuriteit: De auteurs demonstreren dat hun reward-free methoden de prestaties van full-reward baselines evenaren of overtreffen over meerdere agenten (Qwen3, Gemma-4, gpt-oss) en taken (retrieval, instructieopvolging, wiskunde, code-evolutie).
Generalisatie en Robuustheid: De prestatiewinsten blijven bestaan wanneer de validator wordt vervangen door een ander modelgezin (bijv. het gebruik van Claude Haiku of Gemma-4 als validator terwijl de agent Qwen3 blijft), wat suggereert dat de voordelen geen artefacten zijn van zelf-evaluatie.
Verminderde Validatie-naar-Test Gap: In settings waar validatiesets klein zijn (low-data regime), vertoont de pairwise gate een kleinere kloof tussen validatieprestaties en testprestaties vergeleken met scalaire beloningsbaselines, wat duidt op een betere generalisatie.

Resultaten

De evaluatie beslaat tien taken binnen drie families (retrieval/instructieopvolging, wiskunde, code) met behulp van drie engines.

Prompt Evolutie (GEPA): Over vijf agent-configuraties en vier NLP-taken heen, evenaarden of overtroffen de voorgestelde methoden (Adaptive Focus en Soft Elo) de full-reward GEPA baseline in de meerderheid van de gevallen. Opvallende verbeteringen waren Soft Elo op HoVer (+10.0) en Adaptive Focus op IFBench (+11.6).
Wiskundige Taken: Op AIME en LiveBench-Math bereikten de methoden gelijkwaardigheid of significante winst (bijv. +20.0 op AIME voor Qwen3-8B thinking), ondanks de kleine omvang van de testsets, wat diende als een robuustheidscontrole.
Code Evolutie (ADRS, ShinkaEvolve): Op code-taken won de "Direct + full reward" variant (pairwise gate + full reward selectie) 5 van de 10 cellen, terwijl "Direct + easy reward" 6 van de 10 won. De pairwise gate behield gelijkwaardigheid of superieuriteit waar ruimte was voor verbetering, hoewel het de baseline niet overtrof in verzadigde regimes (bijv. signaalverwerking).
Cross-Validator Swap: Wanneer de validator werd vervangen door een andere modelfamilie (Haiku of Gemma-4), bleven de reward-free methoden de baseline evenaren of overtreffen, wat de geldigheid van de methode bevestigt buiten de zelf-gepaarde opstellingen.

Betekenis en Claims

Het artikel claimt dat de pairwise validator dient als een drop-in replacement voor per-stap beloningsontwerp. Het bereikt competitieve taaknauwkeurigheid zonder de etiketteringskosten die geassocieerd worden met het trainen van een scalaire beloningsmodel.

De auteurs benadrukken dat de substitutie het beste werkt wanneer:

De baseline ruimte heeft om te verbeteren (niet-verzadigde regimes).
De validator betrouwbaar onderscheid kan maken tussen ouder- en kind-kandidaten.

Zij erkennen bescheiden de beperkingen waar de methode mogelijk faalt:

Verzadiging: Wanneer de baseline al nabij het prestatieplafond van de agent ligt.
Small-N Test Sets: Waarbij enkele voorbeelden de scores onevenredig beïnvloeden.
Capability Gaps: Wanneer de agent fundamenteel niet in staat is de taak op te lossen.
Validator Mismatch: Wanneer de validator zelf moeite heeft met het specifieke type taak, wat leidt tot ruisende oordelen.

Uiteindelijk positioneert het artikel de pairwise gate niet als een universele vervanging voor alle beloningsscenario's, maar als een zeer effectief, kostenefficiënt alternatief voor de specifieke flessenhals van het ontwerpen van per-stap beloningen in zelf-evoluerende agentische loops.