Technische Samenvatting: Evolutionaire Taakontdekking (EVOTD)

Probleemstelling

De redeneercapaciteiten van Large Language Models (LLM's) hebben aanzienlijke vooruitgang geboekt door post-training paradigma's zoals Reinforcement Learning from Verifiable Rewards (RLVR). De effectiviteit van deze methoden is echter fundamenteel beperkt door de diversiteit en complexiteit van de beschikbare trainingsdata. Hoewel datasynthese een oplossing biedt voor het tekort aan door mensen samengestelde redeneertaken, lijden veelvoorkomende methoden die vertrouwen op ongestructureerde mutatie (bijvoorbeeld het vragen aan een LLM om "dit moeilijker te maken") aan homogeniteitsinstorting. Deze benaderingen genereren vaak bijna-identieke samples of slagen er niet in om systematisch de redeneerfrontier uit te breiden, omdat ze tekstuele diversiteit verwarren met algoritmische diversiteit. Bovendien adresseren bestaande op vaardigheden gebaseerde taxonomieën vaak de logica van een probleem (de vaardigheid), maar verwaarlozen ze de structurele beperkingen (de complexiteit), wat resulteert in "platte" curricula die geen robuuste generalisatie over schalen induceren.

Methodologie: Evolutionaire Taakontdekking (EVOTD)

Om deze beperkingen aan te pakken, stellen de auteurs EVOTD voor, een kader dat datasynthese behandelt als een gerichte zoektocht over een gestructureerd, tweedimensionaal manifold. De kerninnovatie is het ontkoppelen van een redeneertaak in twee orthogonale dimensies:

1. Algoritmische Vaardigheden ($S$): De semantische logische ruggengraat van een taak (bijvoorbeeld binaire zoekopdracht, dynamisch programmeren, grafen traverseren).
2. Complexiteitsattributen ($C$): De parametrische structurele beperkingen die de omvang van het probleeminstance bepalen (bijvoorbeeld invoergrootte, boomdiepte, waardenbereik).

De Evolutionaire Motor

EVOTD hanteert een proposer-solver paradigma waarbij een "proposer" LLM taken synthetiseert en een "solver" LLM erdoorheen leert via RLVR. Het syntheseproces maakt gebruik van twee gestructureerde evolutionaire operatoren om de taakruimte te doorlopen:

• Attribuutmutatie (Verticale Evolutie): Deze operator schaaalt complexiteitsattributen terwijl de logische ruggengraat strikt behouden blijft. In plaats van willekeurige tekstperturbatie, voert de proposer een metacognitieve audit uit om toepasbare attributen te selecteren (bijvoorbeeld het verhogen van tree_depth alleen voor op bomen gebaseerde taken) en intensificeert deze. Dit drijft het model aan om schaal-invariante oplossingen te leren in plaats van broze heuristieken.
• Vaardigheidskruising (Horizontale Evolutie): Deze operator verkent nieuwe vaardigheidscomposities door verschillende algoritmische patronen te combineren (bijvoorbeeld het samenvoegen van dijkstra met priority_queue of bitmask_dp met bfs). De proposer wordt geleid om synergetische combinaties te vinden waarbij vaardigheden diep met elkaar verbonden zijn in plaats van sequentieel aaneengeschakeld, wat combinatorische degeneratie voorkomt.

Dynamisch Curriculumfilteren

Een kritiek onderdeel van EVOTD is het Zone of Proximal Development (ZPD) filter. Om ervoor te zorgen dat taken didactisch effectief zijn, verifieert het kader drie voorwaarden voordat een taak de trainingsset binnenkomt:

1. Uitvoerbaarheid: De code moet zonder syntaxisfouten draaien en binnen de limieten worden afgerond.
2. Vaardigheidsuitlijning: De gegenereerde taak moet strikt adhere aan de beoogde algoritmische vaardigheden.
3. Leerbaarheid: De taak moet noch triviaal noch onmogelijk zijn voor het huidige solver-beleid ($\pi_\theta$). Specifiek moet de doorloopsnelheid van de solver binnen een niet-triviale range vallen ($0 < \text{doorloopsnelheid} < 1$). Naarmate de solver verbetert, verschuift het filter dynamisch de verdeling naar moeilijkere instances, waardoor een zelf-adaptief curriculum ontstaat.

Belangrijkste Bijdragen

Het artikel formaliseert en demonstreert de volgende bijdragen:

• Tweedimensionale Abstractie: De formalisering van redeneertaak-synthese als een gerichte traversatie over een manifold van Algoritmische Vaardigheden en Complexiteitsattributen, wat voorbijgaat aan naïef prompting naar precieze controle over logica en beperkingen.
• Gestructureerde Evolutionaire Operatoren: De introductie van Attribuutmutatie voor complexiteitsschaling en Vaardigheidskruising voor compositiesontdekking, wat systematische exploratie van de grenzen van de taakruimte mogelijk maakt.
• Dynamisch ZPD Curriculum: Een filtermechanisme dat ervoor zorgt dat trainingsdata binnen het leerbare gebied van het model blijft, wat continue verbetering van het redeneren faciliteert zonder mode-instorting.
• Empirische Validatie: Uitgebreide evaluaties over vijf benchmarks (codegeneratie en wiskundig redeneren) die aantonen dat gestructureerde evolutionaire curricula heuristische synthese en zelf-verbeterende baselines overtreffen.

Experimentele Resultaten

De auteurs hebben EVOTD geëvalueerd over diverse modelarchitecturen (Qwen3, LLaMA), pretrainingregimes (Base, Instruct) en parameterschalen (3B–8B).

• Redeneerwinsten: Op het Qwen3-4B redeneermodel behaalde EVOTD aanzienlijke winsten op competitieve benchmarks, waaronder +8,2% op AIME 24 en +7,2% op AIME 25.
• Generalisatie: De methode overtrof consistent baselines (inclusief Evol-Instruct, SPIRAL en Agent0) over alle geëvalueerde backbones. Opmerkelijk is dat het de beste Pass@1-prestaties behaalde op elke geteste architectuur.
• Robuustheid tegen Homogeniteitsinstorting: In tegenstelling tot standaard synthetische methoden die vaak Pass@1 inflateren terwijl Pass@k verslechtert (wat mode-instorting aangeeft), toonde EVOTD consistente winsten in zowel Pass@1 als Pass@8, wat suggereert dat het diverse redeneertrajecten proliferatieert.
• Schaling van Moeilijkheid: De prestatiemarge tussen EVOTD en baselines verbreedde met de probleemmoeilijkheid, waarbij de grootste relatieve winsten (tot 90%) werden waargenomen op de "Hard" subsets van benchmarks zoals LiveCodeBench. Dit bevestigt de effectiviteit van complexiteitsmodulatie in het onderwijzen van schaal-invariante logica.
• General Domain Transfer: Verbeteringen werden scherp overgebracht naar redeneerbenchmarks voor het algemeen domein (MMLU-Pro, SuperGPQA), waarbij de meest significante winsten geconcentreerd waren in STEM-gerelateerde disciplines waar rigoureus redeneren de bindende beperking is.

Betekenis en Claims

Het artikel beweert dat EVOTD een nieuw paradigma voor verbetering van redeneren vestigt door over te schakelen van onbeperkte heuristische generatie naar gestructureerde evolutionaire zoektocht. De auteurs betogen dat:

1. Structuur Bovenwint van Willekeur: Het systematisch ontkoppelen van logica van complexiteit toestaat de generatie van hoogwaardige, diverse curricula die heuristisch prompting niet kan bereiken.
2. Schalbaarheid zonder Verbodene Kosten: EVOTD biedt een pragmatische weg voor verbetering van redeneren die het mogelijk maakt dat basismodellen efficiënt schalen zonder de verbodene rekenkundige overhead van complexe self-play of tool-geïntegreerde kaders.
3. Interpreteerbaarheid: Door taken te evolueren over een transparant vaardigheids-complexiteit manifold, construeert het kader een curriculum dat zowel frontier-zoekend als interpreteerbaar is, wat de "black box" aard van veel zelf-verbeterende LLM-systemen aanpakt.

De auteurs concluderen dat structurele evolutie een veel betrouwbaarder trainingsignaal biedt voor complex redeneren dan de ongestructureerde generatie die gebruikelijk is bij standaard prompting, en zo effectief de redeneerfrontier van LLM's duwt.