AdaptEvolve: Improving Efficiency of Evolutionary AI Agents through Adaptive Model Selection

1. Énoncé du problème

Les systèmes d'agents évolutionnaires (par exemple, AlphaEvolve, OpenEvolve) améliorent les capacités de raisonnement en générant, mutant et sélectionnant itérativement des solutions candidates à l'aide de grands modèles de langage (LLM). Cependant, ces systèmes font face à un compromis critique :

• Coût computationnel : L'invocation répétée de modèles larges et à haute capacité (par exemple, 32B+ de paramètres) pour chaque étape de raffinement est prohibitivement coûteuse.
• Capacité de raisonnement : Les modèles plus petits et efficaces (par exemple, 4B de paramètres) échouent souvent sur des tâches de raisonnement complexes ou des "cas limites" qui émergent à mesure que la recherche évolutionnaire progresse.

Les solutions existantes, telles que les cascades de modèles ou le routage statique, reposent généralement sur des heuristiques fixes ou des classificateurs externes. Ces approches ne tiennent pas compte de l'incertitude intrinsèque du modèle ni de la nature non stationnaire de la recherche évolutionnaire, où la difficulté des problèmes évolue dynamiquement à mesure que la population progresse vers des solutions plus complexes. Par conséquent, les routeurs statiques passent souvent inutilement à des modèles larges ou échouent à le faire lorsque cela est nécessaire, entraînant une efficacité coût-performance sous-optimale.

2. Méthodologie : Cadre AdaptEvolve

AdaptEvolve introduit un cadre pour la Sélection Adaptative de LLM au sein d'une boucle de raffinement séquentiel évolutionnaire. Au lieu d'utiliser des contrôleurs externes, il exploite la confiance intrinsèque de génération pour prendre des décisions de routage en temps réel.

Composants principaux

1. Architecture à double modèle :

   • $M_S$ (Modèle petit) : Un modèle efficace en termes de coûts (par exemple, Qwen3-4B) utilisé pour les étapes de raffinement courantes.
   • $M_L$ (Modèle grand) : Un modèle dense en capacités (par exemple, Qwen3-32B) réservé aux obstacles de raisonnement complexes à haute entropie.

2. Métriques de confiance intrinsèques :
   Le système calcule un vecteur de confiance $C(x_i)$ basé sur l'entropie des tokens provenant de la génération du petit modèle. Il utilise quatre métriques scalaires (adaptées de Fu et al., 2025) :

   • Confiance moyenne (MC) : Incertitude moyenne globale.
   • Confiance du groupe le plus bas (LGC) : L'incertitude maximale dans une fenêtre glissante, identifiant le "maillon faible" de la chaîne de raisonnement.
   • Confiance de queue (TC) : Incertitude des derniers tokens, évaluant la stabilité de la conclusion.
   • Confiance Bottom-K% (BWC) : Moyenne des percentiles d'incertitude les plus élevés, distinguant les hallucinations systémiques du bruit transitoire.

3. Mécanisme de routage adaptatif ($\Phi$) :
   La fonction de routage est un classificateur binaire léger qui décide de conserver la sortie du petit modèle ou de passer au modèle grand :
   $$x'_i = \begin{cases} M_S(x_i) & \text{si } \Phi(C(x_i)) = 1 \\ M_L(x_i) & \text{sinon} \end{cases}$$

   • Phase de démarrage : Un arbre de décision peu profond (impureté de Gini, profondeur=5) est initialisé à l'aide d'un ensemble minimal de 50 échantillons étiquetés pour capturer les interactions non linéaires entre les métriques de confiance.
   • Adaptation en ligne (HAT) : Pour gérer le dérive conceptuelle (où la difficulté des problèmes change à mesure que la population évolue), le système utilise un Arbre Adaptatif de Hoeffding (HAT). HAT met à jour incrémentiellement les critères de division et surveille les taux d'erreur des feuilles, élaguant et repoussant automatiquement les branches pour recalibrer les seuils d'escalade en temps réel.

3. Contributions clés

• Sélection pilotée par l'incertitude intrinsèque : La première application d'une sélection adaptative consciente de l'incertitude spécifiquement pour le raffinement d'agents évolutionnaires, s'éloignant des heuristiques statiques ou des modèles de routage externes.
• Calibration légère : Introduit une méthode économe en ressources utilisant un ensemble de démarrage minimal ($N=50$) pour entraîner un arbre de décision, éliminant le besoin de routeurs externes lourds.
• Gestion de la non-stationnarité : Aborde le défi unique de la "dérive conceptuelle au niveau de la population" dans la recherche évolutionnaire, où les routeurs statiques se dégradent avec le temps. AdaptEvolve est le premier à utiliser l'adaptation en ligne au moment du test (via HAT) pour ce contexte spécifique.
• Efficacité de Pareto : Démontre un compromis supérieur entre coût et précision, surpassant significativement les bases statiques et les approches en cascade.

4. Résultats expérimentaux

Le cadre a été évalué sur des benchmarks de codage (LiveCodeBench v5, MBPP et HumanEval) utilisant les familles de modèles Qwen3 et LLaMA 3.1.

• Réduction des coûts : AdaptEvolve a réduit les coûts totaux de calcul d'inférence d'une moyenne de 37,9 % sur l'ensemble des benchmarks.
• Préservation de la précision : Malgré la réduction des coûts, le système a conservé 97,5 % de la précision limite supérieure atteinte par les bases de modèles larges statiques.
• Gains d'efficacité :
  • Sur LiveCodeBench, il a obtenu un score d'efficacité de 35,4 (Précision/Coût), surpassant le modèle 32B statique (23,7) et la base en cascade (26,3).
  • Sur MBPP, il a réduit les coûts de 41,5 % tout en maintenant 97,1 % de la précision maximale, résultant en un score d'efficacité de 132,3 (près du double du modèle grand pur).
• Généralisation : La méthode s'est généralisée efficacement aux modèles LLaMA 3.1 (8B vs 70B) sur HumanEval, obtenant une accélération de 1,56× par rapport à la base itérative 70B tout en surpassant l'échantillonnage aléatoire à des ratios de routage identiques.
• Impact de l'adaptation : L'Arbre Adaptatif de Hoeffding (HAT) a surpassé les arbres de décision statiques de 2,4 points de précision sur LiveCodeBench, prouvant la nécessité d'une adaptation en ligne pour les tâches évolutionnaires non stationnaires.

5. Importance et limites

Importance :
AdaptEvolve offre une voie évolutive pour le raisonnement d'agents en prouvant que l'allocation intelligente des ressources basée sur des signaux intrinsèques du modèle est plus efficace que le passage à l'échelle par la force brute ou des règles statiques. Il permet aux agents de codage évolutionnaires complexes de fonctionner à une fraction du coût computationnel sans sacrifier les performances, rendant le raisonnement IA de haut niveau plus accessible.

Limites :

• Restriction de domaine : Le cadre repose sur du code exécutable et des signaux de réussite/échec des cas de test comme métrique de fitness évolutionnaire. Il est actuellement restreint aux benchmarks de codage et ne peut pas être appliqué directement à des tâches de raisonnement mathématique ou ouvert où les solutions sont symboliques ou non exécutables, car la boucle d'évaluation de fitness serait rompue.
• Dépendance au modèle : Bien qu'il se généralise à travers les familles de modèles, les seuils de confiance spécifiques et la logique de routage sont ajustés en fonction des propriétés statistiques des paires de modèles spécifiques utilisées.

En conclusion, AdaptEvolve représente une avancée significative pour rendre les agents d'IA évolutionnaires réalisables sur le plan computationnel pour un déploiement réel en équilibrant dynamiquement le compromis "petit modèle pour la vitesse" et "grand modèle pour la précision".