PACEvolve++: Improving Test-time Learning for Evolutionary Search Agents

Résumé technique de PACEvolve++ : Amélioration de l'apprentissage au moment du test pour les agents de recherche évolutionnaire

Énoncé du problème
Les modèles de langage de grande taille (LLM) sont devenus des moteurs efficaces pour la recherche évolutionnaire, permettant une découverte autonome dans des problèmes d'optimisation ouverts. Cependant, les systèmes existants reposent généralement sur une politique de raisonnement fixe, sollicitée par des invites, pour échantillonner les candidats suivants. Bien qu'une expérience de recherche utile puisse s'accumuler dans le contexte (l'échafaudage) du système, elle n'est pas intériorisée dans les préférences décisionnelles du modèle. Cette limitation est particulièrement conséquente dans des tâches pratiques d'ingénierie et de recherche (par exemple, l'équilibrage de charge des modèles MoE, l'extrapolation de la fitness des protéines) où les évaluations sont coûteuses et où les progrès dépendent de la reconnaissance de motifs à travers les tentatives précédentes. Une politique fixe peut se conditionner sur l'historique via le contexte, mais échoue à adapter sa stratégie décisionnelle pour privilégier des directions qui sont nouvelles, réalisables et susceptibles d'améliorer la frontière évolutive. De plus, l'entraînement de bout en bout d'un modèle unique pour la prise de décision stratégique et l'implémentation de code entrelace souvent la qualité des hypothèses avec la correction de l'implémentation, créant des signaux bruyants pour l'adaptation.

Méthodologie
Les auteurs présentent PACEvolve++, un cadre d'apprentissage par renforcement (RL) modèle-conseiller conçu pour l'adaptation de politique au moment du test dans les agents de recherche évolutionnaire. La méthodologie repose sur deux piliers fondamentaux :

1. Décomposition Conseiller-Modèle :
   Le cadre découple les décisions stratégiques de recherche de l'implémentation du code.

   • Le Conseiller : Un modèle plus petit et entraînable responsable du raisonnement stratégique de haut niveau, incluant la génération d'hypothèses, l'évaluation de la nouveauté et la sélection de mutations.
   • Le Modèle Frontière : Un modèle plus puissant et figé (par exemple, Gemini) responsable de traduire les hypothèses sélectionnées par le conseiller en code exécutable.
     Cette séparation permet au système d'apprendre des priors de recherche spécifiques à la tâche sans être entravé par les échecs d'implémentation de bases de code complexes, qui nuisent souvent à l'entraînement de bout en bout.

2. Apprentissage par Renforcement Adaptatif aux Phases :
   Reconnaissant que la nature des feedbacks change à mesure que la recherche évolutionnaire progresse, PACEvolve++ emploie une stratégie d'attribution de crédit dynamique qui s'adapte à la phase de recherche :

   • Phase d'Exploration (Début) : Lorsque les candidats diffèrent substantiellement en mécanisme et en qualité, le système utilise un feedback relatif au groupe (similaire à GRPO). Cela fournit des signaux denses et informatifs pour apprendre des préférences de recherche larges et identifier des familles de mutations prometteuses sans convergence prématurée.
   • Phase de Raffinement (Fin) : À mesure que la recherche converge et que les écarts de récompense se compressent (les candidats deviennent des variantes voisines de parents forts), les signaux relatifs au groupe deviennent inefficaces et peuvent causer une instabilité d'optimisation. Le système bascule vers un signal de contribution à la frontière basé sur l'Optimisation de Politique Pass@k (PKPO). Plus précisément, il utilise un estimateur SLOO (Leave-One-Out) à faible variance pour créditer les candidats en fonction de leur capacité à modifier la frontière "meilleur-de-k". Cela aligne l'objectif d'entraînement sur la structure de récompense à décroissance logarithmique de la recherche évolutionnaire à long horizon.

   L'avantage final est un mélange linéaire de ces deux signaux, où le poids du signal de contribution à la frontière ($\alpha_t$) évolue linéairement de 0 à 1 tout au long de l'entraînement. De plus, le cadre utilise un façonnage de récompense normalisé par la progression pour mapper des métriques de tâches hétérogènes (maximisation/minimisation) sur une échelle unifiée.

Contributions Clés

• Adaptation de Politique Basée sur Conseiller : L'article propose une architecture novatrice qui isole la couche décisionnelle entraînable (conseiller) de la couche d'implémentation. Cela permet au système d'intérioriser des priors de recherche dynamiques (par exemple, quelles familles de mutations débloquent de nouvelles régions tôt par rapport à quels raffinements produisent des gains en phase tardive) tout en exploitant des modèles frontières puissants pour la génération de code.
• Algorithme RL Conscient des Dynamiques de Recherche : Les auteurs conçoivent un objectif RL adaptatif aux phases qui transitionne du feedback relatif au groupe vers l'attribution de crédit par contribution à la frontière. Cela répond à l'instabilité observée dans les méthodes existantes (comme GRPO et les objectifs entropiques) lorsqu'elles traitent de petits lots de déroulement et de paysages de récompense compressés, typiques des évaluations coûteuses.
• Validation Empirique : Le cadre est évalué sur trois tâches d'ingénierie d'apprentissage automatique réelles et diverses :
  1. Équilibrage de Charge Parallèle Expert (EPLB) : Optimisation de l'affectation des appareils pour les modèles Mixture-of-Experts.
  2. Recommandation Séquentielle : Évolution d'un recommandateur de style FuXi-linéaire sur le jeu de données KuaiRec.
  3. Extrapolation de Fitness des Protéines : Prédiction des effets de fitness des mutations multi-sites (benchmark Multi-Evolve).

Résultats
Sur les trois tâches et avec différentes tailles de modèles (Qwen3.5-4B et DeepSeek-R1-0528-Qwen3-8B), PACEvolve++ démontre des performances supérieures par rapport aux bases de référence de l'état de l'art, notamment ThetaEvolve (basé sur GRPO), TTT-Discover (objectif entropique) et Max@k (entraînement basé sur PKPO).

• Convergence : PACEvolve++ atteint une convergence plus rapide et des récompenses finales plus élevées que toutes les bases de référence.
• Stabilité : Contrairement aux bases de référence qui présentent des pics de norme de gradient (GRPO) ou un effondrement entropique prématuré (Max@k), PACEvolve++ maintient une dynamique d'entraînement stable avec une entropie et des normes de gradient plus lisses.
• Efficacité : Dans la tâche EPLB, PACEvolve++ atteint une solution quasi-optimale en utilisant seulement la moitié du budget d'évolution requis par la base de référence PACEvolve sans RL.

Signification
L'article soutient que la mise à l'échelle des agents auto-évolutifs vers des domaines réalistes nécessite d'améliorer la politique de raisonnement elle-même, et non seulement l'échafaudage de recherche. En découplant le raisonnement stratégique de l'implémentation et en alignant l'objectif d'optimisation sur les dynamiques intrinsèques de la recherche évolutionnaire (passant de l'exploration au raffinement), PACEvolve++ stabilise l'entraînement au moment du test dans des contextes où les évaluations sont coûteuses. Ce travail met en évidence que l'adaptation efficace dans une recherche à long horizon nécessite une politique capable d'intérioriser les feedbacks sur quoi rechercher, distincte de la capacité à implémenter la recherche, et que cette politique doit adapter sa stratégie d'apprentissage à mesure que le paysage de recherche évolue de diversifié à saturé.