AdaptEvolve: Improving Efficiency of Evolutionary AI Agents through Adaptive Model Selection

1. Probleemstelling

Evolutionaire agent-systemen (bijv. AlphaEvolve, OpenEvolve) verbeteren redeneercapaciteiten door iteratief kandidaatoplossingen te genereren, muteren en selecteren met behulp van Large Language Models (LLM's). Deze systemen staan echter voor een kritieke afweging:

• Berekeningskosten: Het herhaaldelijk aanroepen van grote, hoogcapacitaire modellen (bijv. 32B+ parameters) voor elke verfijningsstap is onbetaalbaar duur.
• Redeneercapaciteit: Kleinere, efficiëntere modellen (bijv. 4B parameters) falen vaak bij complexe redeneertaken of "edge cases" die ontstaan naarmate de evolutionaire zoektocht vordert.

Bestaande oplossingen, zoals modelcascades of statische routing, vertrouwen doorgaans op vaste heuristieken of externe classifiers. Deze benaderingen houden geen rekening met intrinsieke modelonzekerheid en het niet-stationaire karakter van evolutionaire zoektochten, waarbij de moeilijkheidsgraad van problemen dynamisch verschuift naarmate de populatie evolueert naar complexere oplossingen. Bijgevolg escaleren statische routers vaak onnodig naar grote modellen of falen ze om te escaleren wanneer dat nodig is, wat leidt tot een suboptimale kosten-efficiëntie.

2. Methodologie: AdaptEvolve Framework

AdaptEvolve introduceert een framework voor Adaptieve LLM-selectie binnen een evolutionaire sequentiële verfijningslus. In plaats van externe controllers te gebruiken, maakt het gebruik van intrinsieke generatievertrouwen om routingbeslissingen in real-time te nemen.

Kerncomponenten

1. Dual-Model Architectuur:

   • $M_S$ (Klein Model): Een kostenefficiënt model (bijv. Qwen3-4B) gebruikt voor routine-verfijningsstappen.
   • $M_L$ (Groot Model): Een model met hoge capaciteit (bijv. Qwen3-32B) gereserveerd voor complexe redeneerhobbels met hoge entropie.

2. Intrinsieke Vertrouwensmetrieken:
   Het systeem berekent een vertrouwensvector $C(x_i)$ op basis van token-entropie uit de generatie van het kleine model. Het maakt gebruik van vier scalair metrieken (aangepast van Fu et al., 2025):

   • Gemiddeld Vertrouwen (MC): Globaal gemiddelde onzekerheid.
   • Laagste Groepsvertrouwen (LGC): De maximale onzekerheid in een schuivend venster, waarmee de "zwakste schakel" in de redeneerketen wordt geïdentificeerd.
   • Tail-vertrouwen (TC): Onzekerheid van de laatste tokens, waarmee de stabiliteit van de conclusie wordt beoordeeld.
   • Bottom-K% Vertrouwen (BWC): Gemiddelde van de hoogste onzekerheidspercentielen, waarmee systematische hallucinaties worden onderscheiden van transient ruis.

3. Adaptief Routingmechanisme ($\Phi$):
   De routingfunctie is een lichtgewicht binaire classifier die beslist of de output van het kleine model behouden moet blijven of dat er moet worden geëscaleerd naar het grote model:
   $$x'_i = \begin{cases} M_S(x_i) & \text{als } \Phi(C(x_i)) = 1 \\ M_L(x_i) & \text{anders} \end{cases}$$

   • Warm-up Fase: Een ondiepe Beslissingsboom (Gini-impureit, diepte=5) wordt gebootstrapt met een minimale set van 50 gelabelde samples om niet-lineaire interacties tussen vertrouwensmetrieken te vangen.
   • Online Adaptatie (HAT): Om conceptdrift te hanteren (waarbij de moeilijkheidsgraad van problemen verandert naarmate de populatie evolueert), maakt het systeem gebruik van een Hoeffding Adaptive Tree (HAT). HAT updatet incrementeel split-criteria en bewaakt de foutpercentages van de bladeren, waardoor takken automatisch worden gesnoeid en opnieuw worden gekweekt om escalatiedrempels in real-time te herbekalen.

3. Belangrijkste Bijdragen

• Intrinsiek Onzekerheidsgedreven Selectie: De eerste toepassing van onzekerheidsbewuste adaptieve selectie specifiek voor evolutionaire agent-verfijning, weg van statische heuristieken of externe routingmodellen.
• Lichtgewicht Kalibratie: Introduceert een resource-efficiënte methode met een minimale warm-up set ($N=50$) om een beslissingsboom te trainen, waardoor de noodzaak voor zware externe routers wordt geëlimineerd.
• Omgaan met Non-stationariteit: Adresst de unieke uitdaging van "populatieniveau conceptdrift" in evolutionaire zoektochten, waarbij statische routers na verloop van tijd degraderen. AdaptEvolve is de eerste die online adaptatie op testtijd (via HAT) toepast voor deze specifieke context.
• Pareto-efficiëntie: Demonstreert een superieure afweging tussen kosten en nauwkeurigheid, en presteert aanzienlijk beter dan statische baselines en cascade-benaderingen.

4. Experimentele Resultaten

Het framework werd geëvalueerd op coderingsbenchmarks (LiveCodeBench v5, MBPP en HumanEval) met de Qwen3 en LLaMA 3.1 modelfamilies.

• Kostenreductie: AdaptEvolve verlaagde de totale inferentie-berekeningskosten met gemiddeld 37,9% over de benchmarks.
• Behoud van Nauwkeurigheid: Ondanks de kostenreductie behield het systeem 97,5% van de bovengrens-nauwkeurigheid die werd bereikt door statische groot-model baselines.
• Efficiëntiewinsten:
  • Op LiveCodeBench behaalde het een efficiency-score van 35,4 (Nauwkeurigheid/Kosten), wat de statische 32B-modellen (23,7) en de Cascading-baseline (26,3) overtrof.
  • Op MBPP verlaagde het de kosten met 41,5% terwijl 97,1% van de pieknauwkeurigheid behouden bleef, wat resulteerde in een efficiency-score van 132,3 (bijna het dubbele van het pure grote model).
• Generalisatie: De methode generaliseerde effectief naar LLaMA 3.1-modellen (8B vs. 70B) op HumanEval, met een 1,56× snelheidswinst ten opzichte van de 70B iteratieve baseline, terwijl het random sampling overtrof bij identieke routingratio's.
• Impact van Adaptatie: De Hoeffding Adaptive Tree (HAT) presteerde 2,4 nauwkeurigheidspunten beter dan statische beslissingsbomen op LiveCodeBench, wat de noodzaak van online adaptatie voor niet-stationaire evolutionaire taken bewijst.

5. Betekenis en Beperkingen

Betekenis:
AdaptEvolve biedt een schaalbaar pad voor agent-redenering door aan te tonen dat intelligente resource-allokatie gebaseerd op intrinsieke modelsignalen effectiever is dan brute-force schaling of statische regels. Het stelt complexe evolutionaire coderingsagenten in staat om te opereren voor een fractie van de berekeningskosten zonder prestaties op te offeren, waardoor hoogwaardige AI-redenering toegankelijker wordt.

Beperkingen:

• Domeinbeperking: Het framework vertrouwt op uitvoerbare code en testcase pass/fail-signalen als evolutionaire fitness-metriek. Het is momenteel beperkt tot coderingsbenchmarks en kan niet direct worden toegepast op wiskundige of open-ended redeneertaken waar oplossingen symbolisch of niet-uitvoerbaar zijn, omdat de fitness-evaluatielus dan zou breken.
• Modelafhankelijkheid: Hoewel het generaliseert over modelfamilies, zijn de specifieke vertrouwensdrempels en routinglogica afgestemd op de statistische eigenschappen van de specifieke modelparen die worden gebruikt.

Kortom, AdaptEvolve vertegenwoordigt een significante stap voorwaarts in het computatief haalbaar maken van evolutionaire AI-agenten voor real-world implementatie door dynamisch de afweging tussen "klein model voor snelheid" en "groot model voor nauwkeurigheid" in evenwicht te brengen.