Technische Samenvatting: RSIBench-Data

Probleemstelling

Recursieve zelfverbetering (RSI) vereist dat AI-systemen iteratief bewijs van modeltekortkomingen omzetten in effectieve verbeteringen. Een cruciaal onderdeel van dit proces is data-centrisch post-training onderzoek, wat het diagnosticeren van capaciteitskloven, het ontwerpen van trainingsdatastrategieën en het leren van checkpoint-feedback omvat. Recente benchmarks evalueren weliswaar geautomatiseerde post-training systemen, maar deze verstrengelen vaak onderzoeksbeslissingen met optimalisatie, serving, evaluatie en systeemimplementatie. Deze vermenging maakt het moeilijk om de specifieke onderzoeksvaardigheid van Large Language Model (LLM) agents te isoleren. Bestaande paradigma's richten zich ofwel op statische dataselectie uit vaste corpora, of evalueren end-to-end systemen waarbij infrastructuurwijzigingen de beoordeling van het onderzoeksbeleid van de agent vertroebelen.

De kernvraag die wordt behandeld is: Kunnen LLM-agents betrouwbaar data-centrisch post-training onderzoek automatiseren? Specifiek: kan een agent hypothesen formuleren over modeltekortkomingen, deze vertalen naar uitvoerbare trainingsdata, en zijn synthesestrategie herzien op basis van gecontroleerde feedback, terwijl de omliggende training en evaluatie-stack ongewijzigd blijft?

Methodologie: RSIBench-Data

Om dit gat te dichten, introduceren de auteurs RSIBench-Data, een gecontroleerde benchmark die is ontworpen om het data-centrische onderzoekscomponent van RSI te isoleren.

1. Vaste Infrastructuur en Grenzen

In tegenstelling tot eerdere benchmarks, waar agents de volledige post-training stack mogen aanpassen, houdt RSIBench-Data de "omliggende stack" vast om ervoor te zorgen dat variaties in prestaties uitsluitend toe te schrijven zijn aan de onderzoeksbeslissingen van de agent.

• Basemodel: Een vast basemodel ($M_0$) wordt gebruikt voor alle experimenten.
• Trainingsinterface: Agents interageren via een begrensde configuratie-interface. Ze dienen trainingsdata ($D_t$) in en een whitelisted configuratie ($c_t$), maar kunnen de optimizer, het serving-pad of de onderliggende LoRA SFT-backend (geïmplementeerd via gedeelde Tinker-services) niet wijzigen.
• Evaluatie: Officiële evaluatie vindt plaats via Harbor-georkestreerde E2B sandboxes met vaste verifiers en scoringsregels. Agents ontvangen alleen toegestane selectie-feedback (scores, trajecten, diagnostiek) voor iteratie, niet de uiteindelijke officiële resultaten.

2. De Onderzoekscyclus

De benchmark evalueert een iteratief proces waarbij een onderzoeksagent ($\pi$) opereert onder een vast middelenbudget ($\mathcal{C}$):

1. Hypothese & Strategie: De agent observeert benchmark-bewijs ($S$) en historie ($H_{<t}$) om een trainingsdata-strategie voor te stellen.
2. Synthese & Training: De agent synthetiseert data en dient deze in voor training, wat resulteert in een checkpoint ($M_t$).
3. Feedback: De vaste evaluatieservice geeft selectie-feedback ($h_t$) terug.
4. Revisie: De agent gebruikt $h_t$ om de strategie voor de volgende ronde te verfijnen of om een definitief checkpoint te selecteren.

De primaire metriek is de officiële prestatie van het geselecteerde checkpoint ($M_{t^*}$) op een onafhankelijke testset, met secundaire analyse van het traject van pogingen en de efficiëntie van middelen.

3. Experimentele Opzet

• Agents: Vier frontier LLM-onderzoeksagents werden geëvalueerd: Claude Code (Opus-4.8, Sonnet-5) en Codex (gpt-5.6-sol, gpt-5.6-terra).
• Benchmarks: Zes verschillende benchmarks werden gebruikt om verschillende training-ervaring-regimes te testen:
  • Software Engineering: SWE-bench Verified, Multilingual, en Pro.
  • Terminalgebruik: Terminal-Bench 2.0.
  • Redeneren: GPQA Diamond en AIME 2026.
• Restricties: Elke run had een vast budget (bijv. 16 uur wandkloktijd, $500 Tinker-kosten) en strikte beperkingen op datagebruik (bijv. geen gebruik van evaluatie-specifieke labels voor training).

Belangrijkste Bijdragen

1. Een Nieuw Evaluatiemodel: Het artikel definieert "data-centrisch onderzoek voor recursieve zelfverbetering" als een afzonderlijke, automatiseerbare onderzoeksloop waarbij een agent hypothesevorming, strategievalidatie en checkpointselectie beheert onder een vast budget.
2. Een Gecontroleerde Benchmark: RSIBench-Data biedt de eerste benchmark die de onderzoeksvaardigheid van de agent isoleert door de training-, serving- en evaluatie-infrastructuur vast te leggen. Dit maakt auditeerbare experimenten mogelijk waarbij infrastructuurwijzigingen gescheiden zijn van onderzoeksvoortgang.
3. Empirisch Bewijs van Capaciteiten en Kwetsbaarheid: De studie levert het eerste grootschalige bewijs van hoe frontier-agents presteren in deze specifieke rol, waarbij een "ontdekking–betrouwbaarheidskloof" wordt blootgelegd.

Resultaten en Analyse

1. Ontdekking versus Betrouwbaarheid

• Initiële Succes: Agents toonden kernonderzoeksvaardigheden, waarbij ze de eerste geldige poging in 58,33% van de gevallen verbeterden door strategieën te verfijnen op basis van feedback.
• Inconsistentie: Echter, agents slaagden er niet in om consistent te verbeteren. Onder de zoekopdrachten die voortzaten nadat de beste geobserveerde score was bereikt, eindigde 78,26% met een laatste poging die lager scoorde dan de piek, terwijl de rest slechts de oorspronkelijke piek herstelde. Dit geeft aan dat agents vaak er niet in slagen extra feedback om te zetten in betere strategieën, wat leidt tot niet-monotone prestaties.

2. Taakafhankelijkheid en Gebrek aan Dominantie

• Geen enkele agent domineerde alle benchmarks. Zo leidde Codex gpt-5.6-sol in niet-SWE benchmarks, maar de drie SWE-stijl taken werden gewonnen door drie verschillende agents.
• Prestatiekloven waren significant (tot 20 procentpunten op AIME 2026), wat de interactie tussen de agent-policy en de benchmarkstructuur weerspiegelt in plaats van inherente modelsuperioriteit.

3. Efficiëntie en Kosten

• Hoge officiële scores waren niet uniform duur. Sommige agents behaalden sterke resultaten met lage kosten (bijv. Codex gpt-5.6-sol op GPQA Diamond: 65% score, $10,37 kosten), terwijl anderen aanzienlijk meer uitgaven voor bescheiden winst.
• Regressie na de Piek: Veel runs gingen door met zoeken nadat een sterke kandidaat was gevonden, wat extra kosten met zich meebracht zonder de prestatiefrontlinie te verversen. Effectief stoppen en checkpointselectie werden geïdentificeerd als cruciaal voor efficiëntie.

4. Mechanisme-analyse

Trajectanalyse van succesvolle runs identificeerde vier patronen geassocieerd met sterkere prestaties:

1. Nauwkeurige Hypothesen: Het correct diagnosticeren van de doelcapaciteitskloof.
2. Validatie-gegronde Supervisie: Het gebruik van validatiesignalen om datasynthese te sturen.
3. Gedrags-gealigneerde Data: Ervoor zorgen dat de trainingsdata overeenkomt met het geëvalueerde gedrag.
4. Checkpoint Preservatie: Het voorkomen van het verlies van sterke checkpoints tijdens iteratieve revisies.

Een vroeg experiment met een evensoortige RSI-setup (Kimi-K2.6) toonde strategie-evolutie, maar slaagde er niet in om een modelverbetering te produceren ten opzichte van de niet-aangepaste referentie, wat suggereert dat huidige RSI-capaciteiten onvoldoende zijn om reeds capabele instructie-getunede modellen op complexe agentische benchmarks te verbeteren.

Betekenis en Claims

Het artikel claimt dat RSIBench-Data een meetbare en auditeerbare testomgeving biedt voor het bestuderen van de data-centrische onderzoeksvaardigheden die vereist zijn voor recursieve zelfverbetering.

De auteurs concluderen dat hoewel huidige LLM-agents nuttige data-centrische onderzoeksontdekkingen kunnen doen (het verbeteren van initiële pogingen in meer dan de helft van de gevallen), ze nog niet in staat zijn om feedback consistent om te zetten in verbeteringen. De geobserveerde "ontdekking–betrouwbaarheidskloof" benadrukt dat agents moeite hebben om progressie te behouden door iteratieve feedbackloops, waarbij ze vaak terugvallen na het vinden van een piek. De benchmark is ontworpen om meer betrouwbare data-centrische onderzoeksagents te helpen ontwikkelen door hun onderzoeks-processen transparant en isoleerbaar te maken van infrastructuurvariabelen.