PACEvolve++: Improving Test-time Learning for Evolutionary Search Agents

Technische Samenvatting van PACEvolve++: Verbetering van Testtijd-Leren voor Evolutionaire Zoekagenten

Probleemstelling
Grote Taalmodellen (LLMs) hebben zich ontwikkeld tot effectieve drijvers voor evolutionaire zoekopdrachten, waardoor autonome ontdekking in open-ended optimalisatieproblemen mogelijk wordt. Bestaande systemen vertrouwen echter doorgaans op een vaste, via prompts opgeroepen redeneerpolitiek om volgende kandidaten te selecteren. Hoewel waardevolle zoekervaring kan accumuleren in de context (scaffold) van het systeem, wordt deze niet geïnternaliseerd in de besluitvoorkeuren van het model. Deze beperking is vooral ingrijpend in praktische engineering- en onderzoekstaken (bijvoorbeeld MoE-loadbalancing, extrapolatie van eiwitfitheid) waar evaluaties duur zijn en vooruitgang afhangt van het herkennen van patronen in eerdere pogingen. Een vaste politiek kan weliswaar via context rekening houden met geschiedenis, maar faalt in het aanpassen van zijn beslissingsstrategie om richtingen te prioriteren die nieuw, haalbaar en waarschijnlijk verbetering van de evoluerende grens brengen. Bovendien leidt end-to-end training van één enkel model voor zowel strategische besluitvorming als code-implementatie vaak tot een verstrengeling van hypothesekwaliteit met implementatiecorrectheid, wat ruisende signalen voor adaptatie creëert.

Methodologie
De auteurs introduceren PACEvolve++, een reinforcement learning (RL)-kader voor een adviseur-model, ontworpen voor policy-adaptatie tijdens de testtijd in evolutionaire zoekagenten. De methodologie rust op twee pijlers:

1. Decompositie van Adviseur en Model:
   Het kader ontkoppelt strategische zoekbeslissingen van code-implementatie.

   • De Adviseur: Een trainbaar, kleiner model verantwoordelijk voor hoog niveau strategisch redeneren, inclusief het genereren van hypothesen, beoordeling van nieuwheid en selectie van mutaties.
   • Het Grensmodel: Een sterker, bevroren model (bijvoorbeeld Gemini) verantwoordelijk voor het vertalen van de door de adviseur geselecteerde hypothesen naar uitvoerbare code.
     Deze scheiding stelt het systeem in staat om taakspecifieke zoekpriors te leren zonder gehinderd te worden door implementatiefalen in complexe codebases, wat end-to-end training vaak parten speelt.

2. Fase-Adaptieve Reinforcement Learning:
   Inzichtelijk makend dat de aard van feedback verandert naarmate een evolutionaire zoekopdracht vordert, hanteert PACEvolve++ een dynamische credit-toewijzingsstrategie die zich aanpast aan de zoekfase:

   • Verkenningfase (Vroeg): Wanneer kandidaten aanzienlijk verschillen in mechanisme en kwaliteit, gebruikt het systeem groepsrelatieve feedback (vergelijkbaar met GRPO). Dit levert dichte, informatieve signalen op om brede zoekvoorkeuren te leren en veelbelovende mutatiefamilies te identificeren zonder voortijdige convergentie.
   • Verfijningsfase (Laat): Naarmate de zoekopdracht convergeert en de beloningsspaties krimpen (kandidaten worden nabije varianten van sterke ouders), worden groepsrelatieve signalen inefficiënt en kunnen ze optimalisatie-instabiliteit veroorzaken. Het systeem schakelt over naar een grens-bijdrage-signaal gebaseerd op Pass@k Policy Optimization (PKPO). Specifiek maakt het gebruik van een lage-variatie SLOO (Leave-One-Out) schatter om kandidaten krediet te geven op basis van of ze de "best-of-k" grens veranderen. Dit brengt het trainingsdoel in lijn met de logaritmisch afnemende beloningsstructuur van evolutionaire zoekopdrachten met lange horizon.

   Het uiteindelijke voordeel is een lineaire mengeling van deze twee signalen, waarbij het gewicht van het grens-bijdrage-signaal ($\alpha_t$) lineair toeneemt van 0 tot 1 gedurende de training. Bovendien maakt het kader gebruik van voortgangs-genormaliseerde beloningsvorming om heterogene taakmetrieken (maximalisatie/minimalisatie) af te beelden op een uniforme schaal.

Belangrijkste Bijdragen

• Adviseur-gebaseerde Policy-adaptatie: Het artikel stelt een nieuwe architectuur voor die de trainbare besluitlaag (adviseur) isoleert van de implementatielaag. Dit stelt het systeem in staat om dynamische zoekpriors te internaliseren (bijvoorbeeld welke mutatiefamilies vroeg nieuwe regio's openen versus welke verfijningen late-stage winst opleveren), terwijl het krachtige grensmodellen benut voor codegeneratie.
• Zoekdynamiek-bewust RL-algoritme: De auteurs ontwerpen een fase-adaptief RL-doel dat overgaat van groepsrelatieve feedback naar grens-bijdrage credit-toewijzing. Dit adresseert de instabiliteit die wordt waargenomen bij bestaande methoden (zoals GRPO en entropische doelen) bij het omgaan met kleine rollout-batches en gecomprimeerde beloningslandschappen die typerend zijn voor dure evaluaties.
• Empirische Validatie: Het kader wordt geëvalueerd op drie diverse, real-world machine learning engineering taken:
  1. Expert-Parallel Load Balancing (EPLB): Optimalisatie van apparaattoewijzing voor Mixture-of-Experts-modellen.
  2. Sequentiële Aanbeveling: Evolutie van een FuXi-lineaire stijl aanbeveler op het KuaiRec-dataset.
  3. Proteïne Fitheidsextrapolatie: Voorspelling van fitheidseffecten van multi-site mutaties (Multi-Evolve-benchmark).

Resultaten
Over alle drie de taken en verschillende modelgroottes (Qwen3.5-4B en DeepSeek-R1-0528-Qwen3-8B) toont PACEvolve++ superieure prestaties in vergelijking met state-of-the-art baselines, waaronder ThetaEvolve (GRPO-gebaseerd), TTT-Discover (entropisch doel) en Max@k (PKPO-gebaseerd) training.

• Convergentie: PACEvolve++ bereikt snellere convergentie en haalt hogere uiteindelijke beloningen dan alle baselines.
• Stabiliteit: In tegenstelling tot baselines die gradiëntnormpieken (GRPO) of voortijdige entropie-inzinking (Max@k) vertonen, handhaaft PACEvolve++ stabiele trainingsdynamiek met soepelere entropie en gradiëntnormen.
• Efficiëntie: In de EPLB-taak bereikt PACEvolve++ een bijna-optimale oplossing met slechts de helft van het evolutiebudget dat nodig is voor de niet-RL PACEvolve-baseline.

Betekenis
Het artikel betoogt dat het schalen van zelf-evoluerende agenten naar realistische domeinen vereist dat de redeneerpolitiek zelf wordt verbeterd, niet alleen de zoekscaffold. Door strategisch redeneren te ontkoppelen van implementatie en het optimalisatie doel af te stemmen op de intrinsieke dynamiek van evolutionaire zoekopdrachten (overgang van verkenning naar verfijning), stabiliseert PACEvolve++ training tijdens de testtijd in situaties waar evaluaties duur zijn. Het werk benadrukt dat effectieve adaptatie in zoekopdrachten met lange horizon vereist dat een politiek feedback kan internaliseren over wat er gezocht moet worden, onderscheiden van het vermogen om de zoekopdracht te implementeren, en dat deze politiek zijn leervermogen moet aanpassen naarmate het zoeklandschap evolueert van divers naar verzadigd.