💬 NLP

SERPO: Self-Evolving Rubric Policy Optimization for Open-Ended Test-Time Reinforcement Learning

SERPO introduceert een zelfevoluerend framework voor open-eindige test-time reinforcement learning dat antwoordstemming vervangt door een gesloten systeem dat responsarchieven, query-specifieke rubrieken en beleidsparameters co-optimaliseert om betrouwbare beloningssignalen te genereren en aanzienlijke prestatiewinsten te behalen over in-domain en out-of-distribution benchmarks.

Oorspronkelijke auteurs: Jianze Wang, Kunwang Zheng, Ying Liu, Yu Cao, Qilong Zhang, Jinlong Chen, Hua Yang, Qianglong Chen

Gepubliceerd 2026-07-30

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jianze Wang, Kunwang Zheng, Ying Liu, Yu Cao, Qilong Zhang, Jinlong Chen, Hua Yang, Qianglong Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een perfect verhaal te schrijven, maar je hebt een vreemde regel: je mag het "juiste" einde nooit aan de robot laten zien, en je kunt geen menselijke leraar inhuren om zijn werk te beoordelen. Dit is de uitdaging van Test-Time Reinforcement Learning (TTRL). Meestal leren computers door een duidelijk "juist" antwoord te krijgen waar ze op kunnen mikken, zoals een wiskundig probleem met één enkele oplossing. Maar in de chaotische wereld van open einde schrijven — zoals het geven van medisch advies of het uitleggen van complexe wetenschap — is er niet één enkel "juist" antwoord. Twee perfecte verhalen kunnen er totaal verschillend uitzien.

Om dit op te lossen, hebben wetenschappers een truc geprobeerd genaamd stemmen. Ze vragen de robot om tien verschillende versies van een verhaal te schrijven, en kiezen vervolgens de versie waar de meeste andere versies het mee eens zijn. Het is als het vragen aan een menigte mensen om het antwoord op een raadsel te raden; als de meeste mensen "appel" zeggen, gaat de robot ervan uit dat "appel" het juiste antwoord is. Maar deze methode loopt vast wanneer de antwoorden creatief of genuanceerd zijn. Als tien mensen tien verschillende maar even goede versies van medisch advies geven, kan de robot in de war raken, of erger nog, hij kan een "populair" antwoord kiezen dat eigenlijk een cruciale veiligheidswaarschuwing mist omdat iedereen vergat die te vermelden. De paper die we nu gaan verkennen, suggereert dat we, in plaats van alleen stemmen te tellen, een slimmere manier nodig hebben om kwaliteit te beoordelen.

Het Probleem: Wanneer "Meest Populair" Niet "Beste" Is

Stel je voor dat je een jurylid bent bij een talentenjacht waar de deelnemers allemaal proberen het beste advies te geven voor een ziek persoon. In de oude manier van doen (de "stemmethode"), zou de jury naar alle adviezen kijken, zien welk advies de meeste deelnemers gaven, en zeggen: "Oké, dat is de winnaar!"

Maar hier is de crux: wat als het meest populaire advies was: "Drink water en rust uit"? Dat is goed advies, maar wat als de patiënt een ernstige aandoening heeft waarbij hij onmiddellijk een arts nodig heeft? Als elke deelnemer vergat om de arts te noemen, zou het "stemmen"-systeem nog steeds "Drink water" als winnaar kiezen omdat het het meest voorkomende antwoord was. De robot leert populair te zijn, niet veilig of accuraat. Het is als een student die de meest voorkomende antwoorden op een toets uit het hoofd leert, maar de onderliggende logica niet begrijpt, wat in het echte leven tot gevaarlijke fouten leidt.

De Oplossing: SERPO, de Zelfevoluerende Rubriek

Maak kennis met SERPO (Self-Evolving Rubric Policy Optimization). Zie SERPO niet als een rechter die stemmen telt, maar als een dynamisch regelboek dat zichzelf schrijft terwijl het spel wordt gespeeld.

In plaats van te vragen: "Waarover zijn de meeste mensen het eens?", vraagt SERPO: "Welke specifieke regels maken het ene antwoord beter dan het andere?" Dit doet het door een gesloten lus te creëren van drie elementen die elkaar voortdurend verbeteren:

Het Bewijsarchief (Het Goede, Het Normale en Het Slechte):
Elke keer dat de robot probeert een vraag te beantwoorden, slaat SERPO drie specifieven voorbeelden op: één die Goed bleek te zijn, één die Normaal was, en één die Slecht was. Het slaat niet alleen het "beste" voorbeeld op; het slaat het hele spectrum op. Het is als een coach die een videoreeks bijhoudt van de beste goal van een speler, een middelmatige pass en een verschrikkelijke fout, allemaal naast elkaar.
De Rubriek (Het Regelboek):
SERPO kijkt naar de verschillen tussen de Goede, Normale en Slechte voorbeelden en vraagt: "Wat maakte de Goede precies beter?" Misschien noemde de Goede een specifieke waarschuwing die de Slechte miste. SERPO schrijft een nieuwe regel (een "criterium") om dat verschil te vangen. Het is als een docent die beseft dat studenten steeds vergeten hun bronnen te vermelden, en daarom een nieuwe regel toevoegt aan het beoordelingsformulier: "Moet ten minste één bron bevatten."
Cruciaal is dat dit regelboek niet statisch is. Naarmate de robot beter wordt, kunnen de oude regels te makkelijk worden. SERPO gooit de zwakke regels weg en verzint nieuwe, moeilijkere regels om de robot uit te dagen.
De Policy (Het Brein van de Robot):
De robot gebruikt deze nieuwe regels om zijn toekomstige pogingen te beoordelen. Als hij de nieuwe "bronvermelding"-regel volgt, krijgt hij een hoge score. Als hij het vergeet, krijgt hij een lage score. Vervolgens werkt hij zijn brein bij om het de volgende keer beter te doen.

Hoe het Werkt: De "Goed-Normaal-Slecht" Dans

De magie gebeurt in een lus.

Stap 1: De robot genereert een reeks antwoorden.
Stap 2: SERPO sorteert ze in een "Goede", "Normale" en "Slechte" stapel.
Stap 3: Het systeem kijkt naar de "Goede" stapel en de "Slechte" stapel en vraagt: "Wat is het exacte verschil?"
Stap 4: Het creëert een specifieke regel om dat verschil te herkennen. Bijvoorbeeld, als het "Goede" medische advies het controleren van de bloeddruk vermeldde en het "Slechte" niet, dan wordt de nieuwe regel: "Moet het controleren van de bloeddruk bij zwangerschapshoofdpijn vermelden."
Stap 5: De robot wordt beloond voor het volgen van deze nieuwe regel.
Stap 6: De robot probeert het opnieuw, en de cyclus herhaalt zich.

Dit is anders dan stemmen omdat het er niet om geeft of iedereen het met elkaar eens is. Het geeft erom of het antwoord veilig en volledig is. Zelfs als slechts één robot van de tien bedacht dat de controle van de bloeddruk nodig was, ziet SERPO dat verschil, schrijft een regel voor dat aspect, en leert de hele groep om dit te doen.

De Resultaten: Slimmer, Veiliger en Aanpasbaarder

De onderzoekers testten dit idee op twee verschillende soorten vragen: medisch advies (HealthBench) en wetenschappelijke onderzoeksvragen (ResearchQA). Ze gebruikten twee verschillende groottes van robotbreinen (4 miljard en 9 miljard parameters).

De resultaten waren zeer indrukwekkend. Wanneer de robot leerde met behulp van SERPO:

Verbeterde hij zijn score op medische vragen met wel 20,63 punten vergeleken met de startrobot.
Verbeterde hij op wetenschappelijke vragen met wel 20,31 punten.
Gemiddeld over alle zes de tests die ze uitvoerden, steeg de score met 8,06 punten.

Maar het coolste deel was niet alleen de score, maar de transfer. Toen ze de robot trainden op medische vragen en hem vervolgens vragen stelden over wetenschap (waar hij nog nooit over had gehoord), presteerde hij nog steeds beter dan de robots die met de oude "stemmethode" waren getraind. Dit suggereert dat SERPO de robot leerde hoe hij over kwaliteit moet denken, in plaats van alleen populaire antwoorden te memoriseren.

De paper liet ook zien dat deze methode werkt zonder dat er menselijke docenten of externe "super-rechters" nodig zijn tijdens het leerproces. De robot leert zichzelf door zijn eigen "Goede" en "Slechte" pogingen te vergelijken.

Waarom Dit Er Toe Doet

Deze aanpak verandert de regels voor hoe AI complexe, open einde taken aanpakt. In plaats van te hopen dat het "meest populaire" antwoord het juiste is, bouwt SERPO een systeem dat voortdurend zijn eigen definitie van "goed" verfijnt. Het is als een student die niet alleen het antwoordensleutel uit het hoofd leert, maar leert om zijn eigen beoordelingsmodel te schrijven, om er zeker van te zijn dat hij de waarom achter elk punt begrijpt.

De auteurs suggereren dat deze methode AI-systemen kan helpen om veiliger en betrouwbaarder te worden in gebieden zoals de gezondheidszorg, waar het missen van één enkel detail ernstige gevolgen kan hebben. Door zijn eigen regels te laten evolueren, kan de AI zich aanpassen aan nieuwe situaties en subtiele fouten opmerken die een simpel stemmechanisme zou missen. Het is een stap naar AI die niet alleen de massa volgt, maar ook echt begrijpt wat een goed antwoord maakt.

Technische Samenvatting: SERPO – Self-Evolving Rubric Policy Optimization

1. Probleemstelling

Het artikel behandelt Test-Time Reinforcement Learning (TTRL) voor open-ended generatie onder een strikte fixed-set, label-vrije transductieve setting. In dit scenario moet een ingezet taalmodel zichzelf evolueren op een specifieke set test-prompts zonder toegang tot referentieantwoorden, menselijke feedback, externe beloningsmodellen of sterkere beoordelaars (judges).

Bestaande TTRL-methoden vertrouwen op antwoordstemmen (bijv. meerderheidsstemmen of zelfconsistentie) om pseudo-labels te genereren. Hoewel dit effectief is voor taken met extraheerbare of canonieke antwoorden (bijv. meerkeuzevragen of symbolische redenering), faalt deze aanpak voor open-ended generatie. In domeinen zoals medisch advies of wetenschappelijk onderzoek kunnen geldige reacties aanzienlijk verschillen in bewoording, detail of structuur, terwijl ze dezelfde kernprincipes van veiligheid of feitelijkheid overbrengen. Omgekeerd kan meerderheidsstemmen gedeelde weglatingen versterken of geldige alternatieven afwijzen die simpelweg niet overeenkomen met de meest frequente formulering. De kernuitdaging is het construeren van een betrouwbaar, informatief beloningssignaal uit de eigen outputs van het model zonder externe supervisie, specifiek voor taken waar geen enkel "correct" antwoord bestaat.

2. Methodologie: SERPO

SERPO (Self-Evolving Rubric Policy Optimization) introduceert een closed-loop framework dat drie componenten co-evolueert: query-specifieke respons-archieven, query-specifieke rubrieken en de gedeelde actor-policy. In tegenstelling tot methoden die gebruikmaken van vaste rubrieken of externe beoordelaars, afleidt SERPO beloningen volledig uit de eigen evoluerende outputs van het model.

Kerncomponenten

Good–Normal–Bad (G-N-B) Respons Evolutie:
- Voor elke prompt onderhoudt SERPO rollende archieven van responsen gecategoriseerd als Good (Goed), Normal (Normaal) en Bad (Slecht).
- In plaats van alleen de absoluut beste en slechtste te selecteren, kiest het systeem een maximaal gescheiden geordende triade $(G, N, B)$ op basis van een scheidingsscore die de afstand tussen de drie categorieën maximaliseert. Dit zorgt ervoor dat de archieven onderscheidende, geordende bewijzen bevatten van kwaliteitsverschillen.
Rubriek Evolutie:
- Een bevroren kopie van het initiële model fungeert als rubriek-generator. Het analyseert de contrasten binnen de G-N-B archieven om atomaire, query-specifieke criteria voor te stellen (bijv. "controleert bloeddruk" versus "vermeldt rust").
- Utility-gebaseerde Selectie: Criteria worden gescoord op basis van hun vermogen om tussen de G-N-B archieven te discrimineren (variantie in scores en overeenstemming met de $G > N > B$ volgorde).
- Dynamisch Onderhoud: Criteria met een lage utility worden geëlimineerd en nieuwe discriminerende criteria worden toegevoegd. Dit proces zorgt ervoor dat de rubriek evolueert om de specifieke nuances van de huidige prestaties van de policy te vangen.
Probabilistische Beloningsinterface:
- Een bevroren probabilistische beoordelaar evalueert responsen tegen de actieve rubriek. In plaats van harde binaire vonnissen, geeft het verdict-token-waarschijnlijkheden uit (waarschijnlijkheid van "Pass" versus "Fail").
- Deze waarschijnlijkheden worden omgezet in georiënteerde criteriumscores (waarbij hoger altijd beter is, ongeacht of het criterium positief of negatief is).
- Kalibratie: Scores worden genormaliseerd op basis van de gemiddelde prestatie van de Good en Bad archieven om ervoor te zorgen dat het beloningssignaal gevoelig blijft naarmate de policy verbetert.
Policy Optimalisatie:
- De actor wordt bijgewerkt met behulp van Group-Relative Policy Optimization (GRPO). De scalaire beloningen afgeleid van de evoluerende rubriek worden gebruikt om advantages te berekenen, waarbij de policy wordt geoptimaliseerd om de voldoening van de query-specifieke criteria te maximaliseren.
- Nieuwe actor-rollouts verversen vervolgens de G-N-B archieven en triggeren verdere rubriek-evolutie, waardoor de loop wordt gesloten.

3. Belangrijkste Bijdragen

Formulering van Label-vrije Open-Ended TTRL: Het artikel definieert een setting waarin TTRL opereert zonder referentieantwoorden of externe beoordelaars, en adresseert hiermee de beperkingen van antwoordstem-methoden in open-ended domeinen.
SERPO Framework: Een nieuw closed-loop systeem dat respons-archieven, query-specifieke rubrieken en policy-parameters co-evolueert. Het is de eerste die post-reasoning Boolean verdict-waarschijnlijkheden combineert met evoluerende, query-specifieke rubrieken voor policy-optimalisatie.
Probabilistische Beloningsinterface: Een mechanisme dat de voldoening-waarschijnlijkheid van criteria omzet in group-relative beloningen, waarbij graduele zekerheid behouden blijft en harde binaire vonnissen die leiden tot reward-ties worden vermeden.
Empirische Validatie: Uitgebreide experimenten tonen aan dat SERPO significante winst boekt in in-domain prestaties en effectief overdraagt naar out-of-distribution (OOD) benchmarks zonder externe supervisie.

4. Experimentele Resultaten

De auteurs evalueerden SERPO op twee modelconfiguraties (Qwen3-4B en Qwen3.5-9B) over zes benchmarks: twee in-domain (HealthBench, ResearchQA) en vier OOD (MedQA, LLMEval-Med, GPQA-Diamond, RaR-Science).

In-Domain Prestaties: SERPO presteert significant beter dan de base modellen en andere baselines (inclusief stemmen-gebaseerde TTRL en statische rubriek-methoden).
- Op HealthBench verbeterde SERPO het Qwen3.5-9B base model met 20,63 punten.
- Op ResearchQA verbeterde het het base model met 20,31 punten.
- Het macro-gemiddelde van de zes benchmarks steeg met maximaal 8,06 punten ten opzichte van het base model.
OOD Transfer: Policies die geëvolueerd zijn op HealthBench vertoonden effectieve transfer naar medische OOD benchmarks (MedQA, LLMEval-Med), en ResearchQA-geëvolueerde policies vertoonden transfer naar wetenschappelijke OOD benchmarks. SERPO presteerde beter dan de baselines in alle OOD-settings, wat aantoont dat zelf-geëvolueerde criteria beter generaliseren dan frequentie-gebaseerde consensus.
Ablatie-studies:
- Het verwijderen van rubriek-evolutie of het bevriezen van de G-N-B archieven resulteerde in significante prestatiedalingen (~12–13%), wat de noodzaak van zowel evoluerende definities als actuele bewijslast bevestigt.
- Het gebruik van probabilistische beoordelaars (soft scores) was cruciaal; harde vonnissen verminderden de prestaties met 6% door reward-ties.
- Actor updates waren de grootste drijfveer voor verbetering; het bevriezen van de actor terwijl alleen de rubriek evolueerde, leverde minimale winst op.
Long-Horizon Evolutie: Het uitbreiden van de training naar 45 epochs toonde voortdurende verbetering, wat suggereert dat de methode niet snel verzadigt. Sequentiële evolutie over benchmarks (HealthBench $\to$ ResearchQA) toonde aan dat SERPO nieuwe domeinen kan leren terwijl het prestaties op vorige domeinen behoudt en verbetert.

5. Betekenis en Claims

Het artikel claimt dat SERPO een belangrijke stap is richting autonome, label-vrije zelfverbetering voor taalmodellen in complexe, open-ended domeinen.

Voorbij Stemmen: Het toont aan dat antwoordstemmen onvoldoende zijn voor open-ended taken en dat criterium-niveau verificatie een noodzakelijk alternatief is.
Zelfvoorzienendheid: SERPO bereikt sterke prestaties zonder externe beloningsmodellen, menselijke feedback of geprivilegieerde referentieantwoorden, door uitsluitend te vertrouven op het interne vermogen van het model om kwaliteit te onderscheiden via evoluerende rubrieken.
Generalisatie: Het vermogen om geleerde criteria over te dragen naar onbekende benchmarks suggereert dat de methode generaliseerbare principes van kwaliteit leert (bijv. veiligheid, volledigheid) in plaats van te overfitten op specifieke prompt-patronen.
Toekomstige Richting: De auteurs positioneren SERPO als een fundament voor continuele, label-vrije verbetering, waarbij zij toekomstig werk voorstellen op het gebied van cyclische benchmark-stromen en mechanismen om saturatie en vergeten te beheren.

Het artikel concludeert dat door de loop tussen respons-bewijs, discriminerende criteria en policy-optimalisatie te sluiten, SERPO modellen in staat stelt effectief zelf te evolueren, zelfs in de afwezigheid van externe supervisie.