Résumé technique : Neuroévolution économe en paramètres pour une génération diversifiée de LLM

Énoncé du problème

Les grands modèles de langage (LLM) présentent fréquemment un effondrement de mode, produisant des sorties homogènes qui échouent à explorer l'ensemble de l'espace des solutions valides. Dans des tâches telles que la génération de code ou l'écriture créative, les modèles ont tendance à converger vers des variantes syntaxiquement similaires ou des motifs prévisibles. Cette limitation entrave les applications nécessitant des solutions diversifiées, telles que la découverte de multiples approches algorithmiques, la génération de suites de tests complètes ou l'exploration de directions créatives. Bien que les algorithmes Qualité-Diversité (QD) aient réussi à résoudre ce problème en robotique et dans la conception de jeux en maintenant des archives de solutions diversifiées et performantes, leur application aux LLM a été limitée. Les approches précédentes (par exemple, QDAIF, LMX) traitent les LLM comme des générateurs fixes en boîte noire, évoluant uniquement des prompts discrets ou utilisant les LLM comme évaluateurs sans modifier aucun paramètre neuronal. Cela empêche l'intégration avec le paradigme plus large de la neuroévolution, qui fait historiquement évoluer les poids ou les architectures de réseaux pour découvrir des solutions diversifiées et performantes.

Méthodologie : Le cadre QD-LLM

L'article propose QD-LLM, un cadre de neuroévolution économe en paramètres qui fait le lien entre l'optimisation QD et la génération de LLM en faisant évoluer des embeddings de prompt.

1. Embeddings de prompt évolués

Au lieu d'affiner l'ensemble du modèle ou d'évoluer des tokens discrets, QD-LLM fait évoluer des embeddings de prompt souples — des vecteurs continus apprenables ($p \in \mathbb{R}^{n \times d}$) préfixés à l'entrée.

• Efficacité paramétrique : Le cadre fait évoluer une interface neuronale compacte d'environ 32 000 paramètres (8 tokens virtuels × 4096 dimensions) pour piloter un LLM figé avec plus de 70 milliards de paramètres.
• Mécanisme : Ces embeddings agissent comme un encodage indirect, créant des paires clé-valeur supplémentaires dans le mécanisme d'attention qui modifient le flux d'information à travers tout le réseau.
• Implémentation :
  • Pour les modèles open-source (par exemple, Llama-3-70B), les embeddings sont injectés directement dans la couche d'embedding.
  • Pour les modèles API (par exemple, GPT-4), une approximation discrète projetée est utilisée, où les embeddings continus sont mappés aux tokens de vocabulaire les plus proches, avec une erreur de projection bornée.
• Optimisation : Le système emploie une optimisation sans gradient (un principe fondamental de la neuroévolution). Il utilise une force de mutation adaptative (basée sur les principes CMA-ME) et une estimation de gradient par différences finies pour des mutations comportementales ciblées.

2. Caractérisation comportementale hybride

Pour organiser l'archive QD, le cadre définit un descripteur de comportement $b(t)$ qui combine deux composantes :

• Composante sémantique : Dérivée des embeddings SBERT réduits via UMAP pour capturer la diversité sémantique de haut niveau.
• Composante explicite : Caractéristiques spécifiques à la tâche (par exemple, complexité cyclomatique, lignes de code et paradigme algorithmique pour le code ; sentiment, formalité et lisibilité pour l'écriture).
• Fusion hybride : Ces éléments sont combinés par concaténation pondérée. L'article fournit le Théorème 5, établissant des bornes de couverture formelles pour ce descripteur hybride sous l'hypothèse d'une quasi-indépendance entre les composantes. La validation empirique confirme une faible information mutuelle (NMI $\approx$ 0,08–0,11), soutenant la garantie théorique d'une amélioration de couverture quasi-multiplicative.

3. Opérateurs de variation co-évolutifs

Le cadre emploie des opérateurs qui mutent conjointement les embeddings de prompt et le texte résultant :

• Mutation comportementale ciblée : Utilise l'estimation de gradient par différences finies pour orienter les embeddings vers des régions sous-explorées de l'espace des comportements.
• Mutation exploratoire : Applique des perturbations gaussiennes pour une exploration plus large.
• Croisement : Interpole les embeddings entre deux parents et demande au LLM de combiner leurs solutions textuelles.

4. Gestion de l'archive

Le système étend CVT-MAP-Elites avec une gestion de l'incertitude inspirée par Extract-QD. Il maintient un tampon d'évaluations par entrée d'archive, utilise la médiane de la fitness pour les comparaisons afin de gérer la stochasticité des LLM, et réévalue périodiquement les élites.

Contributions clés

1. Embeddings de prompt évolués pour QD : Une méthode d'optimisation sans gradient pour les vecteurs de prompt souples permettant un pilotage comportemental sans affinage du modèle. Cette approche est applicable aux LLM open-source (accès direct) et aux modèles API (approximation projetée).
2. Caractérisation comportementale hybride avec garanties formelles : Une combinaison raisonnée de caractéristiques sémantiques et explicites. Le Théorème 5 fournit des bornes de couverture formelles sous quasi-indépendance, validées empiriquement par une faible information mutuelle normalisée (NMI).
3. Opérateurs de variation co-évolutifs : Opérateurs novateurs incluant la mutation comportementale ciblée via l'estimation de gradient par différences finies et le croisement dans l'espace des embeddings.
4. Validation complète et utilité en aval : Évaluation extensive sur des benchmarks de code et d'écriture créative, démontrant que des archives diversifiées améliorent les tâches en aval telles que la génération de tests et la qualité des données d'affinage.

Résultats expérimentaux

Le cadre a été évalué sur HumanEval (164 problèmes), MBPP (974 problèmes) et des benchmarks d'écriture créative (ROCStories, WritingPrompts) en utilisant Llama-3-70B, Mistral-Large et GPT-4-turbo.

• Performance : QD-LLM a obtenu un score QD supérieur de 41,4 % et une couverture supérieure de 46,4 % par rapport à l'état de l'art précédent (QDAIF) sur HumanEval ($p < 0,001$, Vargha-Delaney $A = 0,94$).
• Études d'ablation : La suppression de la caractérisation comportementale hybride a réduit la performance de 18,6 % (sémantique uniquement) et de 27,0 % (explicite uniquement). La désactivation de l'évolution des prompts a fait chuter le score QD de 16,0 %.
• Généralisation inter-modèles : La méthode a nettement surpassé les lignes de base sur Llama-3, Mistral-Large et GPT-4 (même avec approximation projetée).
• Utilité en aval :
  • Génération de tests : Les archives diversifiées de QD-LLM ont découvert 34 % de cas limites supplémentaires dans les entrées de test par rapport à QDAIF.
  • Affinage : Les modèles affinés sur les archives de QD-LLM ont obtenu un gain de précision de 8,3 % sur les problèmes HumanEval retenus par rapport à ceux entraînés sur les solutions de QDAIF.

Signification et revendications

L'article revendique l'établissement de l'évolution des embeddings de prompt comme un paradigme efficace pour faire le lien entre la neuroévolution et les LLM modernes. En faisant évoluer une interface neuronale compacte (encodage indirect) plutôt que le réseau complet, QD-LLM surmonte les prohibitions computationnelles de l'évolution de modèle complet tout en conservant les avantages de la diversité neuroévolutionnaire.

Les auteurs soulignent que ce travail va au-delà du traitement des LLM comme des boîtes noires statiques, évoluant à la place les signaux de conditionnement qui modifient directement les mécanismes d'attention. L'utilité en aval démontrée — spécifiquement dans la génération de cas de tests diversifiés et l'amélioration de la qualité des données d'affinage — suggère une valeur pratique pour l'ingénierie logicielle et l'augmentation de données. Le travail valide que la neuroévolution économe en paramètres peut explorer efficacement les espaces de solutions de modèles de base massifs et figés.