Résumé Technique : BayesEvolve

Énoncé du Problème

Les systèmes de découverte scientifique autonome exploitent de plus en plus les modèles de langage de grande taille (LLM) pour générer et sélectionner des hypothèses. Cependant, les paradigmes actuels, tels que ceux observés dans FunSearch et AlphaEvolve, conditionnent principalement les propositions des LLM sur une mémoire expérimentale. Cette mémoire consiste généralement en des archives de candidats à haut score ou des résumés heuristiques d'essais récents.

Les auteurs soutiennent que cette approche guidée par l'archive laisse l'évidence sous une forme implicite. Si une liste d'expériences passées indique « ce qui s'est passé », elle ne parvient pas à encoder explicitement :

1. Ce que l'agent croit actuellement concernant les hypothèses non évaluées.
2. L'incertitude associée à ces croyances.
3. Quel essai serait le plus informatif ensuite.

Cette limitation entraîne deux coûts primaires : l'agent ne peut pas raisonner sur la qualité prédite au-delà de l'archive observée, et il risque soit de se concentrer excessivement sur les premiers candidats d'élite, soit de poursuivre une exploration non ciblée sans convertir l'évidence en une stratégie de recherche dirigée.

Méthodologie : BayesEvolve

Le document introduit BayesEvolve, un cadre qui reformule la découverte autonome comme une évolution de l'état de croyance. Au lieu de traiter les évaluations passées comme une mémoire non structurée, BayesEvolve maintient un état de croyance prédictif explicite et conscient de l'incertitude sur la qualité des candidats.

Composants Clés

1. État de Croyance Explicite :
   À chaque étape $t$, le système maintient une croyance postérieure $P(y | h, D_t)$ sur la valeur de l'objectif $y$ pour une hypothèse $h$, étant donné l'historique d'évaluation $D_t$. Dans les expériences, cela est implémenté comme une croyance de processus gaussien (GP) :
   $$P(y | h, D_t) = \mathcal{N}(\mu_t(h), \sigma^2_t(h))$$
   où $\mu_t(h)$ est l'objectif prédit et $\sigma_t(h)$ est l'incertitude postérieure. Le cadre est noté comme étant agnostique au modèle de substitution spécifique ou à la représentation des candidats.

2. Sélection Guidée par la Croyance :
   Pour sélectionner le prochain candidat parmi un ensemble $C_t$, BayesEvolve utilise un score conscient de l'incertitude. Puisque l'objectif est la minimisation, la règle de sélection combine la moyenne prédite et l'incertitude :
   $$a_t(h) = -\mu_t(h) + \beta_t \sigma_t(h)$$
   Crucialement, le coefficient d'incertitude $\beta_t$ est recuit (décroissant) au fil du temps :
   $$\beta_t = \beta_0 \frac{n_0}{t}$$
   où $n_0$ est le nombre d'évaluations d'initialisation partagées. Cette conception encourage une exploration large au début du processus et bascule vers l'exploitation de la moyenne de croyance à mesure que l'évidence s'accumule.

3. Flux de Travail (Workflow) :
   Le système initialise avec $n_0$ évaluations aléatoires. À chaque étape suivante, il ajuste/met à jour l'état de croyance, construit un ensemble de candidats (à partir de propositions de LLM et/ou de mutations d'archives), calcule le score d'acquisition pour tous les candidats, sélectionne le meilleur, l'évalue, et met à jour l'historique.

Principales Contributions

Le papier présente quatre contributions principales :

• Formulation : Il reformule la découverte guidée par LLM comme une maintenance explicite de l'état de croyance plutôt que de compter uniquement sur la mémoire d'archive.
• Algorithme : Il introduit une règle de sélection guidée par la croyance présentant un bonus d'incertitude recuit qui déplace dynamiquement l'équilibre de l'exploration vers l'exploitation.
• Évaluation : Il évalue BayesEvolve sur des tâches d'optimisation boîte noire de type BBOB décalées, démontrant une performance supérieure par rapport aux bases de comparaison de LLM guidées par l'archive et la mémoire.
• Analyse : Il fournit la preuve que l'état de croyance est prédictif sur les candidats non évalués et que le système présente une concentration productive en phase tardive plutôt qu'une exploration non ciblée.

Résultats Expérimentaux

L'évaluation a été menée sur cinq fonctions de minimisation de type BBOB décalées (Sphere, Ellipsoid, Rastrigin, Rosenbrock, Ackley) en dimension $d=5$. La configuration utilise un budget fixe de $T=100$ évaluations et compare BayesEvolve à Random-LLM, Archive-LLM, Memory-LLM et une base de comparaison GP-BO non-LLM.

• Performance : BayesEvolve a obtenu la meilleure moyenne normalisée de l'objectif tout au long du budget et la meilleure performance finale à 100 évaluations (0,195 contre 0,229 pour GP-BO et 0,473 pour Archive-LLM). Les gains sont les plus significatifs par rapport aux bases de comparaison de LLM guidées par la mémoire.
• Qualité de la Croyance : La moyenne postérieure est fortement corrélée en rang avec les valeurs d'objectifs réalisées (Spearman $\rho = 0,774$). Cependant, l'état de croyance n'est pas parfaitement calibré, avec une couverture empirique de 0,433 pour les intervalles à un sigma.
• Études d'Ablation :
  • La sélection par la moyenne seule améliore déjà substantiellement la recherche par archive, indiquant que la moyenne prédictive est le principal moteur de la performance.
  • L'Incertitude Recuite : L'ajout d'un bonus d'incertitude décroissant a produit le meilleur score final, confirmant que l'incertitude est la plus utile lorsque l'exploration est progressivement réduite.
  • Diversité : Contrairement à Random-LLM ou GP-BO qui maintiennent une haute diversité tout au long, BayesEvolve réduit la diversité dans la phase tardive tout en atteignant l'objectif le plus bas. Cela suggère une « concentration productive » plutôt qu'un effondrement d'archive improductif.

Signification et Revendications

Le papier affirme que l'évolution explicite de l'état de croyance est un principe utile pour la découverte scientifique autonome. Les résultats soutiennent trois revendications spécifiques :

1. Les états de croyance explicites améliorent l'efficacité de l'échantillonnage par rapport aux bases de comparaison d'archives et de mémoire heuristique.
2. L'état de croyance appris sert d'outil prédictif pour les candidats non évalués, plutôt que de servir simplement d'artefact de prompt.
3. Les règles de décision comptent : bien que la moyenne postérieure soit le principal moteur des gains, un bonus d'incertitude recuit optimise la transition de l'exploration vers l'exploitation.

Limites et Portée :
Les auteurs notent explicitement que ce travail actuel est un banc d'essai contrôlé utilisant l'optimisation numérique de type BBOB décalée. Il ne couvre pas encore la génération complète de programmes ou les domaines de découverte en laboratoire. De plus, l'état de croyance GP, bien que prédictif, est imparfaitement calibré, et ses limitations de mise à l'échelle suggèrent la nécessité de substituts (surrogates) creux ou neuronaux pour de futurs travaux avec de plus grands budgets d'évaluation. L'analyse de la diversité indique une focalisation sur la « concentration productive », suggérant que les travaux futurs devraient explorer des notions plus riches de diversité sémantique et structurelle pour des espaces d'hypothèses complexes.