Technische Samenvatting: SE-BENCH: Benchmarken van Zelfevolutie met Kennisinternalisatie

Probleemdefinitie

Het artikel adresseert een kritieke lacune in de evaluatie van zelfevoluerende agenten: het vermogen om nieuwe kennis en vaardigheden te internaliseren voor levenslang leren. Waar huidige benchmarks tijdelijke aanpassingen evalueren (bijvoorbeeld verfijning op het moment van inferentie of iteratieve zelfmodificatie), falen ze in het rigoureus meten van de fundamentele capaciteit van kennisinternalisatie—het proces waarbij een agent actief leert van ervaring om zijn parameters permanent bij te werken.

Bestaande evaluaties lijden onder twee fundamentele verwarrende factoren:

1. Verstrengeling van Voorafgaande Kennis: Het is moeilijk te onderscheiden of een agent een taak met "nieuwe" kennis heeft opgelost door deze tijdens het experiment te leren, of door deze op te halen uit vooraf trainingsdata.
2. Verstrengeling van Redeneercomplexiteit: Falen bij complexe taken is dubbelzinnig; het kan voortkomen uit een onvermogen om de benodigde kennis te internaliseren, of simpelweg uit de logische moeilijkheidsgraad van het vereiste redeneren.

Om dit op te lossen, pleiten de auteurs voor een "Naald in een Hooiberg"-test voor zelfevolutie: een omgeving waar taken algoritmisch triviaal zijn als de kennis is geïnternaliseerd, maar onmogelijk zonder deze.

Methodologie: Constructie van SE-BENCH

De auteurs introduceren SE-BENCH, een diagnostische omgeving ontworpen om de NumPy-bibliotheek te verduisteren tot een pseudo-nieuw pakket genaamd ZWC. Het constructieproces omvat drie fasen:

1. Verduistering:

   • Hernoemen: 268 veelvoorkomende NumPy-functies worden gemapt naar gerandomiseerde, semantisch lege identificatoren (bijvoorbeeld numpy.mean $\rightarrow$ zwc.kocito).
   • Implementatie van Wrapper: Een aangepaste ZWCArray-klasse wrappert alle invoer en uitvoer om te voorkomen dat modellen de verduistering omzeilen door standaardmethoden aan onderliggende NumPy-arrays aan te roepen.
   • Herschrijven van Documentatie: De API-documentatie wordt herschreven door een LLM om het nieuwe ZWC-pakket te beschrijven, waarbij de logica isomorf blijft met standaard NumPy maar de syntaxis vreemd is.

2. Vraaggeneratie:

   • Taken met Eén Functie: Problemen die precies één specifieke ZWC-functie vereisen om op te lossen, waarbij 100% dekking van de bibliotheek wordt gegarandeerd.
   • Taken met Meerdere Functies: Complexe problemen die de compositie van ten minste drie functies uit een gesamplede set vereisen om generalisatie te testen die verder gaat dan eenvoudig memoriseren.

3. Filtering:

   • Taken worden gevalideerd via een strikt consensusprotocol met drie state-of-the-art modellen (Qwen3-Coder, Gemini-2.5-Pro, GPT-OSS-120B). Een taak wordt alleen behouden als alle drie deze modellen deze kunnen oplossen met standaard NumPy.
   • Menselijke verificatie wordt uitgevoerd op een willekeurige subset om duidelijkheid te waarborgen.

Evaluatieprotocol:

• Trainingsfase: Agenten krijgen de probleembeschrijving en de relevante ZWC-API-documentatie.
• Testfase: Agenten krijgen alleen de probleembeschrijving. Ze moeten volledig vertrouwen op kennis die tijdens de training is geïnternaliseerd.
• Succesmaatstaf: Een oplossing is alleen correct als deze alle testcases doorstaat, ZWC-API's gebruikt (geverifieerd via AST-analyse), en geen enkele import van de originele NumPy-bibliotheek bevat.

Belangrijkste Bijdragen en Inzichten

Het artikel presenteert drie primaire inzichten afgeleid van het evalueren van diverse zelfevolutiestrategieën (gebaseerd op geheugen, SFT, RL en Self-Play) op SE-BENCH:

1. De Open-Boek Paradox

De aanwezigheid van referentiedocumentatie tijdens parameterupdates remt langetermijnretentie.

• Vondst: Standaard Supervised Fine-Tuning (Open-SFT), waarbij documentatie aanwezig is tijdens zowel trajectcollectie als training, resulteert in 0% prestatie op de testset (zonder documentatie).
• Mechanisme: Het verwijderen van documentatie tijdens de trainingsfase (Closed-SFT) dwingt het model om externe logica in zijn gewichten te comprimeren in plaats van te vertrouwen op context. Closed-SFT presteert aanzienlijk beter dan Open-SFT, wat bewijst dat ware internalisatie "informatie-uitputting" vereist tijdens optimalisatie.

2. De RL-Kloof

Standaard Reinforcement Learning (RL) faalt in het internaliseren van nieuwe kennis, zelfs onder de Closed-Book-instelling.

• Vondst: Closed-RL behaalt 0% prestatie.
• Mechanisme: Het falen wordt toegeschreven aan twee specifieke mechanismen in standaard RL (specifiek PPO/GRPO):
  • PPO-Clipping: Voorkomt de grote verschuivingen in waarschijnlijkheidsmassa die nodig zijn om nieuwe vocabulaire-mappings te leren (bijvoorbeeld np.mean $\rightarrow$ zwc.kocito).
  • Negatieve Gradienten: Het gebruik van genormaliseerde voordelen introduceert negatieve versterking voor onder het gemiddelde blijvende antwoorden, wat voorlopige associaties erodeert voordat ze zich kunnen verankeren tijdens de fragiele vroege fasen van memorisatie.
• Hybride Succes: Een hybride aanpak (Closed-SFT gevolgd door RL) bereikt state-of-the-art prestaties. Hier vestigt SFT het fundamentele geheugen, en fungeert RL als een gedragsoptimizer die "luie" gissingen wegneemt en uitvoeringsdiscipline verbetert zonder fundamentele geheugenfouten te corrigeren.

3. Haalbaarheid van Self-Play

Zelfevolutie via zelfgegenereerde data is haalbaar, maar het optimalisatiemechanisme is cruciaal.

• Vondst: Pure RL self-play (Absolute-Zero) faalt volledig (0%). Het toepassen van Closed-SFT op zelfgegenereerde taken en antwoorden (Closed-SFTself) levert echter aanzienlijke prestaties op (22,5% bij taken met één functie).
• Implicatie: Modellen zijn in staat om geldige curricula te genereren om zichzelf te onderwijzen; het falen van standaard self-play is te wijten aan de ongeschiktheid van RL voor kennisinternalisatie, niet aan het self-play-paradigma zelf.

Resultaten

• Basisprestaties: Methoden gebaseerd op geheugen (Expel) behaalden niet-triviale resultaten (tot 47,1%) door identificatoren te mappen naar bekende concepten, maar slaagden er niet in perfecte retentie te bereiken.
• Parameteroptimalisatie: Alleen Closed-SFT en de Hybride Closed-SFT-RL-methoden slaagden. Alle andere methoden voor parameterupdates (Open-SFT, Open-RL, Closed-RL, Absolute-Zero) faalden volledig.
• Generalisatie: De bevindingen (Open-Boek Paradox en RL-Kloof) werden gevalideerd over verschillende model families (Qwen3 en Llama3) en schalen (1,7B tot 30B parameters).
• Foutanalyse: RL verminderde significant "Attribuut Hallucinaties" (gokken op niet-bestaande methoden) door terugvallen op robuuste primitieven aan te moedigen, maar corrigeerde geen "Functie Hallucinaties" (verkeerde API-namen) of "Signatuur-Discrepanties", wat de rol van RL bevestigt als gedragsoptimizer in plaats van kennisinternalisator.

Betekenis

Het artikel positioneert SE-BENCH als een rigoureus diagnostisch platform voor de gemeenschap van zelfevoluerende agenten. De betekenis hiervan ligt in:

1. Isolatie van Internalisatie: Het biedt een schone, gecontroleerde omgeving om kennisinternalisatie te scheiden van redeneercomplexiteit en lekkage van voorafgaande kennis.
2. Diagnostisch Hulpmiddel: Het dient als een "unit test" voor toekomstige zelfevoluerende agenten, wat suggereert dat agenten SE-BENCH moeten doorstaan om vertrouwd te worden met complexe, open-ended evolutie.
3. Mechanistisch Inzicht: Het daagt de aanname uit dat RL een universele oplossing is voor zelfverbetering, en demonstreert dat SFT superieur is voor feitelijke internalisatie, terwijl RL beter geschikt is voor het optimaliseren van het gebruik van reeds geïnternaliseerde kennis.
4. Toekomstig Onderzoek: Het legt een fundament voor het bestuderen van de fundamentele mechanismen van kennisinternalisatie, wat mogelijk de ontwerprichting voor meer gerichte hybride algoritmen voor AGI-ontwikkeling zal sturen.