Résumé Technique : DEI – Diversité dans l'Inférence Évolutionnaire pour la Recherche Qualité-Diversité

1. Énoncé du Problème

Les algorithmes évolutionnaires reposent traditionnellement sur des opérateurs de mutation pour explorer les espaces de solutions. Bien que les Modèles de Langage à Grande Échelle (LLM) soient devenus des opérateurs créatifs efficaces capables de mutation sémantique et de génération de programmes, les approches distribuées existantes pour la recherche basée sur les LLM traitent souvent la mise à l'échelle comme un problème purement computationnel plutôt que cognitif.

Les méthodes actuelles, telles que FunSearch, déploient généralement des ensembles homogènes où plusieurs workers appellent le même modèle LLM. Dans ces configurations, la diversité provient uniquement de l'échantillonnage stochastique au sein d'un seul biais inductif. Par conséquent, les « angles morts » dans la distribution générative d'un modèle deviennent des lacunes permanentes dans l'archive de recherche. De plus, les cadres existants comme la Reine Rouge Numérique (DRQ) introduisent une pression adversariale mais opèrent souvent dans un contexte à nœud unique et modèle unique. Le défi abordé par cet article consiste à exploiter les biais inductifs distincts des LLM hétérogènes pour piloter la recherche Qualité-Diversité (QD) plus efficacement que le parallélisme homogène, tout en gérant les complexités systémiques de la latence hétérogène sans goulots d'étranglement de synchronisation.

2. Méthodologie

2.1. Cadre Central : DEI

Les auteurs proposent DEI (Diversité dans l'Inférence Évolutionnaire), un cadre de recherche QD distribué qui assigne des LLM hétérogènes en tant qu'opérateurs de mutation à travers des nœuds pairs. Contrairement à la recherche parallèle homogène, DEI traite les données d'entraînement uniques et l'alignement de chaque LLM comme une source complémentaire de nouveauté comportementale.

Le système étend le cadre Reine Rouge Numérique (DRQ), qui intègre les LLM dans MAP-Elites (un algorithme QD canonique). Dans DRQ, la pression « Reine Rouge » est générée en utilisant les champions de la ronde (les solutions de plus haute fitness) comme adversaires pour les rondes suivantes, créant une course aux armements co-évolutionnaire. DEI adapte cela par :

1. Assignation Hétérogène : Chaque nœud du graphe distribué se voit assigner un LLM distinct (par exemple, GPT-5.4-mini, Claude Sonnet 4.6, etc.).
2. Pression Adversariale Inter-Modèles : Les nœuds partagent leurs champions locaux avec leurs pairs. Ces champions agissent comme adversaires pour les autres nœuds, introduisant des stratégies qu'un modèle spécifique ne pourrait jamais générer en interne.
3. Amorçage de l'Archive : Les champions reçus sont amorcés dans l'archive locale s'ils occupent des cellules comportementales précédemment vides, facilitant la pollinisation croisée des niches.

2.2. Architecture Système et Communication Asynchrone

Une contribution systémique critique est la gestion de la latence hétérogène. Les nœuds peuvent aller de modèles locaux à poids ouverts (par exemple, Qwen-35B sur Apple Silicon) à des modèles cloud de pointe, entraînant des latences d'appel différant d'un ordre de grandeur.

Pour éviter de brider l'ensemble entier à la vitesse du nœud le plus lent, DEI emploie une couche de communication collective entièrement asynchrone :

• Gossip Non-Bloquant : Les nœuds publient leurs champions de ronde aux pairs immédiatement après achèvement.
• Progression Indépendante : Les pairs consomment les champions entrants à leur propre rythme.
• Absence de Barrières de Synchronisation : Il n'y a pas de barrières globales ; les nœuds avancent indépendamment, vidant les tampons de réception pour mettre à jour leurs pools d'adversaires locaux et leurs archives.

2.3. Configuration Expérimentale

Le cadre est évalué sur Core War, un benchmark de programmation compétitive où des programmes « guerriers » écrits en assembleur Redcode s'affrontent dans un tableau de mémoire simulé (MARS).

• Caractéristiques Comportementales (BC) : L'espace de recherche est discrétisé en utilisant le Produit Temps-Espace (longueur du code $\times$ durée de vie) et la Couverture Mémoire (fraction du cœur touché).
• Fitness : Évaluée contre un pool d'adversaires incluant des guerriers rédigés par des humains et des champions de ronde.
• Conditions :
  • Solo : Référence DRQ sur un seul nœud.
  • Ensemble Homogène : Quatre nœuds exécutant le même LLM.
  • Ensemble Divers : Quatre nœuds exécutant des différents LLM (GPT-5.4-mini, Claude Sonnet 4.6, GPT-5.2, Claude Haiku 4.5).
• Contrôle : Toutes les conditions sont strictement budgétisées à un nombre total égal d'appels LLM (par exemple, 4 nœuds $\times$ 62 itérations $\approx$ 1 nœud $\times$ 250 itérations).

3. Contributions Clés

1. Cadre DEI : Un système de recherche QD distribué qui exploite explicitement les ensembles de LLM hétérogènes en tant qu'opérateurs de mutation, assignant des modèles distincts à des nœuds distincts pour maximiser la couverture comportementale.
2. Intégration du Gossip Asynchrone : Un protocole de communication permettant la participation de matériel hétérogène sans barrières de synchronisation, atteignant un débit supérieur aux approches synchrones.
3. Isolement Empirique de la Diversité : En maintenant le budget de calcul total constant, les auteurs démontrent que les gains de performance sont pilotés par la diversité des modèles plutôt que par un calcul supplémentaire.
4. Pression Adversariale Inter-Modèles : L'introduction de champions issus de différentes familles de modèles en tant qu'adversaires, favorisant une robustesse au-delà de l'auto-jeu intra-modèle.

4. Résultats

Évalué sur le domaine Core War, l'ensemble hétérogène a démontré des améliorations significatives par rapport aux références à nœud unique et aux ensembles homogènes :

• Score QD : L'ensemble diversifié a obtenu un Score QD d'archive fusionnée +124 % plus élevé (45,90 contre 20,46) par rapport à la référence à nœud unique.
• Couverture : L'ensemble diversifié a couvert +28 % de cellules supplémentaires (80,6 % contre 63,0 %) de l'espace comportemental par rapport à la référence.
• Généralité : Parmi les quatre familles de modèles testées, la collaboration diversifiée a atteint une généralité supérieure (performance contre un ensemble retenu de guerriers humains) que la collaboration homogène ou le fonctionnement en solo.
• Nouveauté de Niche : La métrique $\eta$ (fraction des champions reçus atterrissant dans des cellules précédemment vides) était significativement plus élevée dans les ensembles diversifiés, confirmant que les pairs comblent des lacunes que les modèles individuels ne peuvent atteindre.
• Comparaison avec les Ensembles Homogènes : L'ensemble diversifié a surpassé l'ensemble homogène au même budget sur le Score QD, la couverture et la généralité. Notamment, tandis que l'ensemble homogène atteignait parfois une fitness par cellule plus élevée (se concentrant sur des niches spécifiques), l'ensemble diversifié offrait la couverture la plus large de l'espace de solutions.

5. Importance et Revendications

L'article revendique fournir la première preuve empirique que la diversité des modèles, et non le simple parallélisme, est le moteur clé du gain dans la recherche QD basée sur les LLM distribués.

• Mise à l'Échelle Cognitive : Les auteurs soutiennent que la mise à l'échelle de la recherche LLM doit être considérée comme une « cognition parallèle ». En assignant des biais inductifs distincts à différents nœuds, le système couvre un espace comportemental plus vaste que n'importe quel modèle seul ne pourrait atteindre.
• Robustesse : La pression adversariale inter-modèles crée un processus évolutionnaire plus robuste, empêchant la stagnation qui peut survenir lorsque les biais d'un seul modèle dominent la recherche.
• Démocratisation : L'architecture asynchrone permet aux chercheurs disposant de ressources limitées (par exemple, exécutant des modèles locaux à poids ouverts) de contribuer à la recherche collaborative aux côtés de modèles de pointe sans être ralentis par les différences de latence.

Les auteurs maintiennent une modestie concernant la portée de leurs résultats, notant que si l'intuition théorique suggère une applicabilité à d'autres domaines, leurs résultats empiriques sont strictement confinés au domaine Core War. Ils identifient des travaux futurs portant sur des topologies adaptatives, des axes comportementaux hétérogènes par nœud, et l'extension à des tâches collaboratives multi-agents.