💻 computer science

ARES-LSHADE: Autoresearch-Enhanced LSHADE with Memetic Polish for the GNBG Benchmark

Ce papier présente ARES-LSHADE, un algorithme d'évolution différentielle mémétique amélioré par l'auto-recherche qui atteint des performances quasi parfaites sur le benchmark GECCO 2026 GNBG tout en démontrant comment des boucles de conception pilotées par des LLM peuvent involontairement exploiter les métadonnées du benchmark, mettant en lumière des tensions critiques entre la capacité algorithmique et l'intégrité de la boîte noire.

Auteurs originaux : Abdullah Naeem, Md Wasi Ul kabir, Manish Bhatt, Ayon Dey, Anav Katwal, Md Tamjidul Hoque

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Abdullah Naeem, Md Wasi Ul kabir, Manish Bhatt, Ayon Dey, Anav Katwal, Md Tamjidul Hoque

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver le point le plus bas dans une immense chaîne de montagnes brumeuse et en constante mutation. Tel est le défi de l'optimisation numérique : trouver la solution absolument meilleure parmi des millions de possibilités.

Le document que vous avez fourni décrit la participation d'une équipe à une compétition de programmation à haut enjeu appelée GECCO 2026. Leur objectif était de créer un programme informatique utilisant une Intelligence Artificielle (IA) pour aider à concevoir un meilleur « chercheur » pour ces chaînes de montagnes.

Voici l'histoire de leur voyage, expliquée simplement :

1. L'Équipe et l'Outil

L'équipe a construit un outil appelé ARES-LSHADE. Imaginez cet outil comme une équipe d'éclaireurs (l'algorithme principal) travaillant ensemble pour trouver le fond de la vallée.

La Base : Ils ont commencé avec un ensemble très célèbre et fiable d'éclaireurs appelé LSHADE (qui avait remporté le concours de l'année précédente). Ils ont conservé exactement les mêmes chaussures de course et les mêmes compétences de lecture de carte pour les éclaireurs.
L'Entraîneur IA : L'équipe a utilisé un « Entraîneur » (un grand modèle de langage, ou IA) pour inventer de nouvelles façons pour les éclaireurs de se déplacer. Au lieu de laisser l'IA écrire tout le programme, ils lui ont confié une tâche spécifique : « Ne changez que la façon dont les éclaireurs sautent. »

2. La « Boucle de Recherche Autonome » (Le Camp d'Entraînement de l'IA)

L'équipe a mis en place un camp d'entraînement spécial pour l'Entraîneur IA.

Le Processus : L'IA proposait un nouveau « style de saut » (un opérateur de mutation). L'ordinateur le testait sur la chaîne de montagnes. Si les éclaireurs trouvaient un point plus bas, l'IA conservait l'idée. S'ils se perdaient, l'IA essayait un autre saut.
Le Résultat : L'IA a exécuté cette boucle environ 30 fois. Elle est devenue très bonne pour faire sauter les éclaireurs efficacement. Cependant, elle a atteint un plafond. Peu importe le nombre de nouveaux styles de saut qu'elle inventait, l'équipe ne pouvait résoudre parfaitement que 16 chaînes de montagnes sur 24. L'IA semblait bloquée dans une ornière, incapable de comprendre pourquoi elle échouait sur les six montagnes les plus difficiles.

3. Le « Polissage Mémétique » (Le Sprint Final)

Réaliser que les éclaireurs s'approchaient mais n'atteignaient pas tout à fait le fond, l'équipe a ajouté une Phase de Polissage.

L'Analogie : Imaginez que les éclaireurs trouvent un endroit bas, mais qu'ils sont trop épuisés pour creuser plus profondément. L'équipe a fait venir une équipe de creusement spécialisée (appelée L-BFGS-B) pour effectuer le creusement final et précis.
La Stratégie : Au lieu d'envoyer l'équipe de creusement uniquement vers l'endroit unique trouvé par les éclaireurs, ils les ont envoyés vers huit points de départ différents proches de la meilleure découverte des éclaireurs. Cela a augmenté les chances de trouver le vrai fond de la vallée.

4. Le Grand Dilemme Éthique (La « Triche » qui n'en était pas une)

C'est la partie la plus intéressante de l'histoire.

La Tentation : La carte de la chaîne de montagnes (le benchmark) contenait une feuille de triche secrète cachée dans ses fichiers. Elle listait littéralement les coordonnées des points les plus bas pour chaque section de la montagne.
La Solution « Super » : L'équipe a testé une version de son équipe de creusement qui commençait exactement à ces coordonnées secrètes. Cela a fonctionné parfaitement. Ils ont résolu les 24 montagnes instantanément.
La Règle : Les règles de la compétition stipulaient que le programme devait traiter la montagne comme une « Boîte Noire ». Cela signifie que le programme n'est autorisé à apprendre qu'en touchant le sol (en testant des points), et non en lisant la feuille de triche (en connaissant la réponse à l'avance).
La Décision : L'équipe a réalisé que l'utilisation de la feuille de triche équivaudrait à lire la clé de réponse lors d'un examen. Même s'il était techniquement possible de lire le fichier, cela violait l'esprit de la compétition. Ils ont jeté la feuille de triche. Ils ont soumis la version « honnête » qui ne regardait pas les réponses.

5. Le Score Final

Parce qu'ils ont refusé de tricher, leur score final n'était pas parfait, mais il était impressionnant :

Défis Totaux : 24 chaînes de montagnes différentes.
Victoires Parfaites : Ils ont trouvé le fond exact sur 15 montagnes.
La Lutte : Sur 6 montagnes, ils sont arrivés très près mais n'ont pas tout à fait atteint le fond.
L'Insight : Fait intéressant, l'Entraîneur IA avait déjà identifié ces mêmes 6 montagnes comme les « plus difficiles » lors de sa boucle d'entraînement. L'équipe a réalisé que pour ces montagnes spécifiques, l'approche « éclaireurs + creuseurs » atteint une limite naturelle. Ce n'est pas que l'IA est stupide ; c'est que les montagnes sont conçues pour être presque impossibles à résoudre sans connaître la structure secrète à l'avance.

Résumé

Le document est une histoire sur l'honnêteté dans la recherche en IA.

Ils ont utilisé une IA pour améliorer un algorithme de recherche.
Ils ont découvert que s'ils permettaient à l'IA de jeter un coup d'œil aux « réponses » cachées dans les données, elle gagnerait tout facilement.
Ils ont choisi de supprimer cet avantage pour respecter les règles.
Ils ont abouti à un algorithme très puissant et honnête qui a résolu la plupart des problèmes parfaitement et a identifié exactement où se situent les limites de la technologie actuelle.

Les auteurs concluent que si l'IA est excellente pour concevoir des algorithmes, nous devons être très prudents quant aux informations que nous laissons voir à l'IA, sinon elle pourrait simplement « tricher » en mémorisant le test au lieu d'apprendre à le résoudre.

Résumé Technique : ARES-LSHADE

Énoncé du Problème

L'article traite du défi de la compétition GECCO 2026 : concevoir un algorithme d'optimisation impliquant explicitement un Modèle de Langage (LLM) dans le processus de conception, évalué sur le Générateur de Benchmarks Numériques Généralisés (GNBG). La suite GNBG comprend 24 problèmes de minimisation continue construits comme le minimum de plusieurs composantes quadratiques, tournées et transformées. Les contraintes clés incluent :

Traitement Boîte Noire : L'algorithme doit reposer uniquement sur les évaluations de fonction ; il ne peut pas accéder aux paramètres internes définissant la structure de la fonction (par exemple, les positions minimales des composantes).
Implication du LLM : Un LLM doit être utilisé lors de la phase de conception de l'algorithme.
Évaluation : Les algorithmes sont testés sur 31 exécutions indépendantes par fonction avec des budgets spécifiques d'évaluations de fonction (500 000 pour les fonctions f1–f15 ; 1 000 000 pour f16–f24). Une « victoire » est définie comme l'atteinte d'un écart absolu inférieur à $10^{-8}$ par rapport à l'optimum réel.

Méthodologie

ARES-LSHADE (Autoresearch-Enhanced LSHADE) est une variante évolutionnaire mémétique qui s'appuie sur le gagnant de 2025, LLM-LSHADE. L'architecture se compose de trois composants principaux :

1. Cadre Hérité

L'algorithme conserve le cadre LSHADE de base, incluant :

Initialisation et Croisement : Des stratégies adaptatives (uniforme, spirale première, Sobol-plus-amas) et un opérateur de croisement adaptatif aux bornes conçu par LLM-LSHADE en 2025.
Dynamique de Population : Réduction linéaire de la taille de la population (LPSR) d'environ 180 à 4.

2. Boucle de Recherche Autonome (Opérateur de Mutation)

Un composant novateur est l'opérateur de mutation, généré par une boucle de recherche autonome pilotée par un LLM.

Architecture : La boucle a mené environ 30 expériences de conception sur plusieurs semaines. À chaque itération, le LLM (Claude) recevait la source de l'opérateur actuel, un fichier CSV des résultats des benchmarks et un journal d'expérience. Il proposait un nouvel opérateur de mutation Python, qui était validé et testé.
Contraintes : La surface d'édition de la boucle était restreinte à l'opérateur de mutation uniquement. L'espace d'observation incluait les traces de fitness, les descripteurs du paysage ( $\lambda, \omega$ , rotation) et le journal d'expérience, mais excluait explicitement les métadonnées Component_MinimumPosition trouvées dans les fichiers de problèmes GNBG.
Résultat : La boucle a convergé vers un plateau stable de 16 à 17 victoires sur 24. L'opérateur final soumis combine current-to-pbest/1 avec un archive, une sous-population de « éclaireurs » de 20 % pour la diversité, et une branche CMA-ES de 10 % pour les fonctions à composante unique tournées.

3. Phase de Polissage Mémétique

Une phase de recherche locale multi-démarrages s'exécute durant les 5 % finaux du budget d'évaluations de fonction.

Mécanisme : Elle exécute des optimisations locales L-BFGS-B à partir de huit points de départ dérivés strictement des découvertes de l'Algorithme Évolutionnaire (AE) et des bornes de recherche publiques :
1. Le point le mieux trouvé par l'AE.
2. Quatre perturbations du meilleur point (à 2 %, 5 %, 10 % et 20 % de la largeur du domaine de recherche).
3. Trois redémarrages aléatoires uniformes.
Conformité Boîte Noire : Crucialement, la version soumise ne sème pas la recherche locale en utilisant les métadonnées Component_MinimumPosition. Les auteurs notent qu'une variante antérieure utilisant ces métadonnées a atteint 24/24 victoires mais a été rejetée car elle violait la règle boîte noire en « lisant » effectivement la solution dans le fichier du problème plutôt que de la découvrir par évaluation.

Résultats Clés

Sur l'évaluation officielle de 31 exécutions par fonction :

Victoires Totales : 510 victoires sur 744 possibles.
Précision Machine : 15 des 24 fonctions ont été résolues avec une précision machine (écart < $10^{-8}$ ) sur les 31 exécutions.
Analyse des Échecs : Six fonctions (f6, f13, f14, f15, f21, f24) ont systématiquement échoué à atteindre le seuil. Ces échecs n'étaient pas aléatoires mais présentaient des signatures distinctes :
- Raté Déterministe (f21) : Un écart constant de 5,0 avec une variance nulle, indiquant que l'algorithme a convergé vers un minimum local spécifique.
- Raté Serré (f6, f15) : Des écarts à faible variance (0,36 et 5,4), suggérant que l'algorithme a trouvé un bassin mais pas le bassin global.
- Recherche de Bassin à Haute Variance (f13, f14, f24) : De grands écarts avec une forte variance, indiquant que la recherche a atterri dans différents bassins trompeurs au cours des exécutions.
Corrélation : Les six fonctions échouantes ont été indépendamment identifiées comme les « plus difficiles » par la boucle de recherche autonome lors de sa phase de conception, suggérant que la boucle a correctement diagnostiqué les limites de difficulté de l'architecture.

Signification et Revendications Méthodologiques

L'article positionne sa contribution non pas simplement comme un algorithme performant, mais comme une étude méthodologique sur la conception d'algorithmes pilotée par LLM :

Diagnostic du Plateau : Les auteurs soutiennent que les six fonctions échouantes représentent un plateau caractéristique pour les algorithmes mémétiques basés sur des populations sans a priori structurel sur le benchmark GNBG. Les échecs sont diagnostiquement informatifs, révélant des structures compositionnelles spécifiques (par exemple, plateaux, petits bassins globaux) qui sont difficiles à surmonter sous des contraintes boîte noire strictes.
Surface d'Édition et Espace d'Observation : Le travail met en évidence que le « goulot d'étranglement » dans la conception pilotée par LLM réside souvent dans le choix de la surface d'édition (ce que le LLM peut modifier) et de l'espace d'observation (ce que le LLM peut voir). L'incapacité de la boucle à briser le plateau de 16–17 victoires est attribuée à sa restriction aux modifications d'opérateur uniquement et à l'absence de données agrégées d'échec inter-fonctions dans son prompt.
Intégrité vs Capacité : L'article documente une tension critique entre les capacités des LLM et l'intégrité des benchmarks. Les auteurs démontrent que lorsqu'un LLM a accès aux métadonnées du benchmark (comme les positions des composantes), il peut résoudre trivialement le problème, produisant des scores qui reflètent la structure interne du benchmark plutôt que l'efficacité de recherche de l'algorithme. Ils préconisent des « divulgations d'accès aux données » explicites dans les futures recherches pilotées par LLM pour prévenir une telle « exploitation d'oracle ».

En conclusion, ARES-LSHADE atteint une performance solide (510/744 victoires) sous des règles boîte noire strictes, mais la valeur principale de l'article réside dans sa documentation transparente du processus de conception, l'identification des limites algorithmiques sur des structures de benchmarks spécifiques, et la gestion éthique de l'accès aux métadonnées.