Technische Samenvatting: BayesEvolve

Probleemstelling

Autonome systemen voor wetenschappelijke ontdekking maken steeds vaker gebruik van Large Language Models (LLM's) om hypothesen te genereren en te selecteren. De huidige paradigma's, zoals te zien bij FunSearch en AlphaEvolve, conditioneren LLM-voorstellen echter primair op experimenteel geheugen. Dit geheugen bestaat doorgaans uit archieven van hoog scorende kandidaten of heuristische samenvattingen van recente proeven.

De auteurs stellen dat deze op archieven gebaseerde aanpak bewijs in een impliciete vorm achterlaat. Hoewel een lijst met het verleden aangeeft "wat er gebeurde", slaagt het er niet in om expliciet te coderen:

1. Wat de agent momenteel gelooft over niet-geëvalueerde hypothesen.
2. De onzekerheid die verbonden is aan die overtuigingen.
3. Welk experiment volgend het meest informatief zou zijn.

Deze beperking leidt tot twee primaire kosten: de agent kan niet redeneren over de voorspelde kwaliteit buiten het geobserveerde archief om, en loopt het risico ofwel te veel te concentreren op vroege elite-kandidaten, ofwel ongeconcentreerde exploratie voort te zetten zonder bewijslast om te zetten in een gerichte zoekstrategie.

Methodologie: BayesEvolve

Het artikel introduceert BayesEvolve, een raamwerk dat autonome ontdekking herformuleert als evolutie van de overtuigingsstaat (belief-state evolution). In plaats van het verleden van evaluaties te behandelen als ongestructureerd geheugen, onderhoudt BayesEvolve een expliciete, onzekerheidsbewuste voorspellende overtuigingsstaat over de kwaliteit van kandidaten.

Kerncomponenten

1. Expliciete overtuigingsstaat (Explicit Belief State):
   Op elk tijdstip $t$ onderhoudt het systeem een posterieure overtuiging $P(y | h, D_t)$ over de objectieve waarde $y$ voor een hypothese $h$, gegeven de evaluatiegeschiedenis $D_t$. In de experimenten wordt dit geïmplementeerd als een Gaussian Process (GP) posterieur:
   $$P(y | h, D_t) = \mathcal{N}(\mu_t(h), \sigma^2_t(h))$$
   waarbij $\mu_t(h)$ de voorspelde objectieve waarde is en $\sigma_t(h)$ de posterieure onzekerheid. Het raamwerk wordt opgemerkt als agnostisch voor het specifieke surrogaatmodel of de representatie van de kandidaat.

2. Geleide Selectie op basis van Overtuigingen (Belief-Guided Selection):
   Om de volgende kandidaat uit een pool $C_t$ te selecteren, gebruikt BayesEvolve een onzekerheidsbewuste score. Aangezien het doel minimalisatie is, combineert de selectieregel de voorspelde gemiddelde waarde met de onzekerheid:
   $$a_t(h) = -\mu_t(h) + \beta_t \sigma_t(h)$$
   Cruciaal is dat de onzekerheidscoëfficiënt $\beta_t$ in de loop van de tijd wordt geanneleerd (afgenomen):
   $$\beta_t = \beta_0 \frac{n_0}{t}$$
   waarbij $n_0$ het aantal gedeelde initialisatie-evaluaties is. Dit ontwerp stimuleert brede exploratie in het begin van het proces en verschuift naar de exploitatie van het gemiddelde van de overtuiging naarmate de bewijslast toeneemt.

3. Workflow:
   Het systeem initialiseert met $n_0$ willekeurige evaluaties. In elke daaropvolgende stap past het de overtuigingsstaat aan/past deze aan, stelt een kandidaatpool samen (uit LLM-voorstellen en/of archiefmutaties), berekent de acquisitiescore voor alle kandidaten, selecteert de beste, evalueert deze en werkt de geschiedenis bij.

Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

• Formulering: Het herformuleert LLM-gestuurde ontdekking als expliciet beheer van de overtuigingsstaat in plaats van enkel te vertrouwen op archiefgeheugen.
• Algoritme: Het introduceert een selectieregel op basis van overtuigingen met een geanneleerde onzekerheidsbonus die de balans tussen exploratie en exploitatie dynamisch verschuift.
• Evaluatie: Het evalueert BayesEvolve op vijf verschoven BBOB-stijl black-box optimalisatietaken, waarbij het superieure prestaties laat zien ten opzichte van archief- en geheugengestuurde LLM-baselines.
• Analyse: Het levert bewijs dat de overtuigingsstaat voorspellend is op uitgesloten kandidaten en dat het systeem een productieve concentratie in de latere stadia vertoont in plaats van ongeconcentreerde exploratie.

Experimentele Resultaten

De evaluatie werd uitgevoerd op vijf verschoven BBOB-stijl minimalisatiefuncties (Sphere, Ellipsoid, Rastrigin, Rosenbrock, Ackley) in dimensie $d=5$. De opzet gebruikte een vast budget van $T=100$ evaluaties en vergeleken BayesEvolve met Random-LLM, Archive-LLM, Memory-LLM en een niet-LLM GP-BO baseline.

• Prestaties: BayesEvolve behaalde gedurende het hele budget de beste gemiddelde genormaliseerde objectieve waarde en de beste uiteindelijke prestatie bij 100 evaluaties (0,195 versus 0,229 voor GP-BO en 0,473 voor Archive-LLM). De winst was het meest significant ten opzichte van de geheugengestuurde LLM-baselines.
• Kwaliteit van de Overtuiging: Het posterieure gemiddelde vertoonde een sterke rangcorrelatie met de gerealiseerde objectieve waarden (Spearman $\rho = 0,774$). De overtuigingsstaat was echter niet perfect gekalibreerd, met een empirische dekking van 0,433 voor één-sigma intervallen.
• Ablatie-studies:
  • Selectie op basis van enkel het gemiddelde verbeterde al substantieel ten opzichte van archiefzoekopdrachten, wat aangeeft dat het voorspellende gemiddelde de primaire drijfveer van de prestaties is.
  • Geanneleerde Onzekerheid: Het toevoegen van een afnemende onzekerheidsbonus leverde de beste uiteindelijke score op, wat bevestigt dat onzekerheid het meest nuttig is wanneer exploratie geleidelijk wordt verminderd.
  • Diversiteit: In tegen tegenstelling tot Random-LLM of GP-BO, die gedurende het hele proces een hoge diversiteit behielden, verminderde BayesEvolve de diversiteit in de latere fase terwijl het de laagste objectieve waarde bereikte. Dit suggereert "productieve concentratie" in plaats van onproductieve archiefinstorting.

Betekenis en Claims

Het artikel beweert dat expliciete evolutie van de overtuigingsstaat een nuttig principe is voor autonome wetenschappelijke ontdekking. De resultaten ondersteunen drie specifieke claims:

1. Expliciete overtuigingsstaten verbeteren de steekproefefficiëntie ten opzichte van archief- en heuristische geheugenbaselines.
2. De geleerde overtuigingsstaat dient als een voorspellend instrument voor uitgesloten kandidaten, in plaats van enkel een artefact van de prompt te zijn.
3. Beslissingsregels doen ertoe: hoewel het posterieure gemiddelde de meeste winst drijft, optimaliseert een geanneleerde onzekerheidsbonus de overgang van exploratie naar exploitatie.

Beperkingen en Omvang:
De auteurs merken expliciet op dat het huidige werk een gecontroleerde testomgeving is die gebruikmaakt van verschoven BBOB-stijl numerieke optimalisatie. Het dekt nog geen volledige programmageneratie of laboratoriumontdekkingsdomeinen. Daarnaast is de GP-overtuigingsstaat, hoewel voorspellend, imperfect gekalibreerd, en suggereert de schaalbaarheid van de GP een behoefte aan sparse of neurale surrogaten in toekomstig werk met grotere evaluatiebudgetten. De diversiteitsanalyse wijst op een focus op "productieve concentratie", wat suggereert dat toekomstig werk rijkere concepties van semantische en structurele diversiteit voor complexe hypotheseruimtes moet verkennen.