💬 NLP

Learning to Self-Evolve

Dit paper introduceert Learning to Self-Evolve (LSE), een versterkingsleerframework dat grote taalmodellen traint om hun eigen context tijdens het testen iteratief te verbeteren, waardoor een 4B-parametermodel zelfs superieure prestaties laat zien vergeleken met geavanceerdere modellen en bestaande optimalisatiemethoden.

Oorspronkelijke auteurs: Xiaoyin Chen, Canwen Xu, Yite Wang, Boyi Liu, Zhewei Yao, Yuxiong He

Gepubliceerd 2026-03-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xiaoyin Chen, Canwen Xu, Yite Wang, Boyi Liu, Zhewei Yao, Yuxiong He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok bent in een restaurant. Normaal gesproken leer je je hele leven lang koken door naar boeken te kijken en instructies te volgen. Zodra je echter op de vloer staat (tijdens het "testen"), maak je dezelfde gerechten, ongeacht of je net een klant hebt gehad die vond dat de soep te zout was. Je vergeet die feedback direct zodra de klant weg is.

De meeste kunstmatige intelligenties (zoals grote taalmodellen of LLM's) werken nu precies zo. Ze zijn slim, maar ze leren niet van hun fouten terwijl ze aan het werk zijn.

Dit paper introduceert LSE (Learning to Self-Evolve), een slimme manier om AI's te leren hoe ze zichzelf kunnen verbeteren, net als een mens die uit ervaring leert.

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. Het Probleem: De "Vergeetachtige" Chef

Stel je voor dat een AI een vraag moet beantwoorden. Hij probeert het, krijgt feedback (bijvoorbeeld: "Dat antwoord was fout"), en probeert het opnieuw.

Huidige situatie: De AI gebruikt zijn vaste kennis. Als hij een fout maakt, denkt hij: "Oeps, dat was een fout." Maar zodra hij de volgende vraag krijgt, is die feedback weg. Hij begint weer bij nul.
Het doel: We willen dat de AI zijn eigen "recept" (de instructies die hij volgt) aanpast op basis van wat hij net heeft geleerd.

2. De Oplossing: LSE (Leren om jezelf te evolueren)

De auteurs zeggen: "Laten we de AI niet alleen laten raden hoe hij zichzelf moet verbeteren. Laten we hem leren hoe hij dat moet doen."

Ze gebruiken een methode die Versterkingsleren (Reinforcement Learning) heet. Denk hierbij aan het trainen van een hond:

Als de hond een trucje goed doet, krijgt hij een snoepje (beloning).
Bij LSE krijgt de AI een "snoepje" (een beloning) als hij zijn eigen instructies zo aanpast dat hij de volgende vraag beter beantwoordt dan de vorige.

De slimme truc:
In plaats van te kijken of het eindantwoord perfect is, kijken ze alleen naar de verbetering.

Situatie A: De AI had al een goed recept (80% goed). Hij past het aan en het wordt slechter (70%). -> Geen snoepje.
Situatie B: De AI had een slecht recept (30% goed). Hij past het aan en het wordt beter (60%). -> Grote snoepje!

Dit zorgt ervoor dat de AI leert om verbeteringen te maken, in plaats van alleen maar te proberen om al bestaande goede dingen niet te verpesten.

3. De Boom van Mogelijkheden (Tree-Guided Search)

Stel je voor dat je een pad door een bos zoekt.

De oude manier (Lineaire keten): Je loopt één pad. Als je een doodlopend pad vindt (een slechte aanpassing), loop je terug en probeert je het opnieuw, maar je bent al veel tijd kwijt.
De LSE-methode (Boom): Stel je voor dat je een boom plant. Bij elke keuze (elke aanpassing van het recept) groeit er een nieuwe tak.
- Soms loop je een tak op die niet werkt. Geen probleem! Je kijkt naar de andere takken die je eerder hebt geplant.
- De AI gebruikt een slimme strategie (UCB) om te beslissen: "Laten we eerst die tak proberen die er het veelbelovendst uitziet, maar soms ook een nieuwe, onbekende tak om te zien of die niet beter is."

Dit zorgt ervoor dat de AI niet vastloopt in een slechte oplossing, maar blijft zoeken naar de beste versie van zijn instructies.

4. Wat is het resultaat?

De onderzoekers hebben dit getest met een vrij klein model (4 miljard parameters, wat in AI-land als "klein" geldt).

Het resultaat: Dit kleine, getrainde model was slimmer dan gigantische, dure modellen (zoals de nieuwste versies van GPT of Claude) die niet specifiek waren getraind om zichzelf te verbeteren.
De les: Het is niet alleen belangrijk om een slimme AI te hebben; het is belangrijker om een AI te hebben die leert hoe hij zichzelf moet verbeteren. Een kleine, getrainde "leraar" is beter dan een grote, ongetrainde "genie".

Samenvattend in één zin:

LSE is als het geven van een trainingscursus aan een AI, zodat hij niet alleen zijn taken uitvoert, maar ook leert hoe hij zijn eigen handleiding moet herschrijven om steeds slimmer te worden, net zoals een mens die uit zijn fouten leert.

Probleemstelling

Huidige Large Language Models (LLM's) vertonen een fundamentele beperking in hun adaptief vermogen tijdens de inzet (testtijd). Hoewel modellen tijdens het trainingsproces leren van feedback, wordt dit leren stopgezet zodra het trainen voltooid is. Bij implementatie past een LLM een statische beleidspolicy toe, ongeacht hoeveel problemen het in een bepaald domein heeft opgelost, en verwijdert het alle opgebouwde ervaring zodra de context wordt gereset.

Bestaande benaderingen voor "test-time self-evolution" (zelf-evolutie tijdens het testen) vertrouwen volledig op de inherente redeneerkracht van het model om feedback te analyseren en prompts te verbeteren. Deze methoden trainen het model echter niet expliciet voor deze taak. Het paper stelt dat zelf-evolutie een specifiek redeneerprobleem is dat verschilt van andere domeinen en dat het baat heeft bij expliciete optimalisatie, vergelijkbaar met hoe Reinforcement Learning (RL) credit toekent en exploratie versus exploitatie balanceert.

Methodologie: Learning to Self-Evolve (LSE)

Het paper introduceert Learning to Self-Evolve (LSE), een RL-framework dat een LLM expliciet traint om een effectief "zelf-evolutiebeleid" te zijn. De methode bestaat uit drie kerncomponenten:

1. Formalisering van Inter-episode Zelf-evolutie

Het probleem wordt gedefinieerd als een proces waarbij een beleid $\pi$ wordt bijgewerkt na een reeks interacties (episodes). In plaats van modelparameters te wijzigen (wat leidt tot "catastrophic forgetting"), focust LSE op prompt-based updates: een LLM (het zelf-evolutiebeleid $f_\psi$ ) schrijft de context (instructies) van het actie-beleid ( $\pi_\theta$ ) opnieuw op basis van prestatiefeedback van een batch problemen.

2. Boom-gestuurde Evolutie (Tree-Guided Evolution)

Om te voorkomen dat het systeem vastloopt in een suboptimale evolutiepad (zoals bij een lineaire keten), gebruikt LSE een evolutieboom met een Upper Confidence Bound (UCB) selectie.

In plaats van altijd de meest recente context te verlengen, selecteert het systeem de knooppunten in de boom die de beste balans bieden tussen exploratie en exploitatie.
Dit stelt het systeem in staat om terug te keren naar eerdere, veelbelovende contexten en daar nieuwe takken te vertakken, in plaats van onherroepelijk vast te zitten aan een slechte edit.

3. RL-training met een Verbeteringsgebaseerde Beloning

Dit is de kerninnovatie van LSE. In plaats van het model te belonen voor de absolute prestatie na een edit (wat bias introduceert ten gunste van al sterke contexten), wordt de beloning gedefinieerd als de verbetering ten opzichte van de startpositie.

Beloningsfunctie: $r_{LSE} = \bar{R}(c_1) - \bar{R}(c_0)$ $r_{L S E} = \overset{ˉ}{R} (c_{1}) - \overset{ˉ}{R} (c_{0})$
- Waarbij $\bar{R}(c_1)$ de prestatie is na de edit en $\bar{R}(c_0)$ de prestatie van de oorspronkelijke context.
Voordelen:
- Het moedigt het model aan om contexten te verbeteren, ongeacht het startniveau.
- Het elimineert de noodzaak voor een complexe waarde-functie (baseline) in de policy-gradient, omdat de pre-edit prestatie ( $\bar{R}(c_0)$ ) direct als baseline kan dienen.
- Het reduceert het multi-stap probleem tot een enkel-stap RL-objectief, wat de training efficiënter maakt.

Belangrijkste Bijdragen

Formalisatie en Operationalisatie: Het paper formaliseert test-time inter-episode zelf-evolutie en implementeert dit via prompt-based updates ondersteund door boom-gestuurde zoekalgoritmen.
Het LSE-framework: Een nieuw RL-framework dat een beleid expliciet traint om zichzelf te verbeteren, gebruikmakend van een verbeteringsgebaseerde beloningssignaal.
Prestaties met Kleine Modellen: Het demonstreert dat een klein model (4B parameters) getraind met LSE grotere, ongetrainde state-of-the-art modellen en gespecialiseerde prompt-optimalisatiemethoden kan overtreffen.
Transfervermogen: Het getrainde zelf-evolutiebeleid kan worden overgedragen om andere modellen te sturen zonder extra training.

Resultaten

De methode werd geëvalueerd op twee domeinen: Text-to-SQL (BIRD dataset) en Algemene Vraagbeantwoording (MMLU-Redux).

Vergelijking met State-of-the-Art:
- Een 4B-parameter model (Qwen3-4B-Instruct) getraind met LSE presteerde beter dan zelf-evolutie-beleiden aangedreven door frontier-modellen zoals GPT-5 en Claude Sonnet 4.5.
- Op BIRD (Text-to-SQL) behaalde LSE een gemiddelde nauwkeurigheid van 67,3%, wat hoger is dan GPT-5 (65,2%) en Claude Sonnet 4.5 (64,5%).
- Op MMLU-Redux (QA) behaalde LSE 73,3%, wat gelijkstaat aan GPT-5 (72,5%) en beter is dan Claude Sonnet 4.5.
Vergelijking met Prompt-Optimalisatie:
- LSE overtrof ook gespecialiseerde prompt-optimalisatiemethoden zoals GEPA en TextGrad aanzienlijk (bijvoorbeeld +4,5% op BIRD ten opzichte van GEPA).
Ablatie Studies:
- De verbeteringsgebaseerde beloning ( $r_{LSE}$ ) bleek significant effectiever dan de standaard GRPO-benadering (die op absolute prestatie focust).
- Boom-gestuurde zoekopdracht (UCB) presteerde beter dan een lineaire keten, omdat het systeem foutieve edits kon "terugdraaien" naar betere voorouders in de boom.
Transfer naar Gespecialiseerde Modellen:
- Het LSE-beleid, getraind op Qwen3-4B, kon ook worden toegepast op een gespecialiseerd RL-getraind model (Arctic-Text2SQL-R1-7B) zonder extra training, wat resulteerde in een verbetering van 6,7%.

Betekenis en Conclusie

Het paper toont aan dat zelf-evolutie een leerbaar vaardigheid is die direct geoptimaliseerd kan worden via fine-tuning, in plaats van te vertrouwen op emergente redeneerkracht.

De belangrijkste inzichten zijn:

Expliciete training werkt: Door een model expliciet te trainen om feedback te vertalen naar contextverbeteringen, kunnen kleine modellen prestaties behalen die vergelijkbaar zijn met of beter zijn dan veel grotere, ongetrainde modellen.
Efficiëntie: De combinatie van een enkel-stap RL-objectief en boom-gestuurde zoekopdracht biedt een efficiënte manier om adaptief vermogen te creëren zonder de complexiteit van multi-stap trajectoptimalisatie.
Toekomstperspectief: Dit suggereert een nieuwe richting in AI-ontwikkeling waarbij modellen niet alleen statisch worden getraind, maar dynamische vaardigheden leren om zich aan te passen aan nieuwe omgevingen en taken tijdens de inzet.

Het werk benadrukt dat het behandelen van zelf-evolutie als een specifieke, trainbare vaardigheid een krachtige route is om de adaptiviteit en robuustheid van LLM's te verbeteren.