Résumé Technique : ELMER – Un modèle de langage évolutionnaire qui explore et affine

1. Énoncé du problème

L'évolution de programmes fait traditionnellement face à une déconnexion critique : bien qu'elle puisse mesurer si une mutation améliore la fitness, elle manque de contrôle sur l'ampleur du mouvement de la mutation dans l'espace comportemental. Les méthodes actuelles s'appuient sur des proxys syntaxiques (ex. : éditions de tokens, d'arbres ou de sous-arbres) comme échelles de mutation. Ces proxys sont peu fiables car un changement syntaxique mineur peut radicalement altérer la trace d'exécution d'une politique, tandis qu'une réécriture massive peut préserver le même comportement. Le papier identifie la nécessité d'une échelle de mutation où l'amplitude demandée prédit directement le déplacement comportemental réalisé.

2. Méthodologie

Les auteurs proposent ELMER, un système qui découple la représentation utilisée pour la variation de la représentation utilisée pour l'évaluation. L'innovation centrale est un modèle de langage évolutionnaire qui effectue une recherche sur des descriptions de politiques en langage naturel (NL) et les compile en programmes typés exécutables.

Architecture du système

• Représentation : Les politiques sont mutées sous forme de descriptions standardisées en langage naturel.
• Exécution : Un compilateur appris mappe les descriptions NL en code GPTL (Genetic Programming Trading Language) pour une exécution déterministe et un backtesting.
• Déplacement comportemental : Défini comme le désaccord du signal brut entre les séquences d'actions du parent et de l'enfant sur une trajectoire historique partagée.
• Le Modèle : Un modèle Qwen3-8B entièrement affiné apprend trois opérations conditionnées par la tâche :
  1. Mutation sémantique conditionnelle : Génère une description NL enfant à partir d'une description parente, d'un feedback de backtest et d'une intensité demandée ($s \in \{low, medium, high\}$).
  2. Compilation NL-vers-GPTL : Traduit le NL en code exécutable.
  3. Traduction GPTL-vers-NL : Convertit le code de nouveau vers le format NL standardisé.

Pipeline d'entraînement

Le processus d'entraînement implique deux étapes distinctes pour apprendre le contrôle ancré sur le comportement :

1. Apprentissage supervisé (SFT) ancré sur le comportement :
   • La supervision est construite à partir de « chaînes de dégradation » partant de programmes GPTL à haute fitness.
   • Des éditions d'AST grammaticalement valides sont appliquées pour réduire la fitness, créant des transitions parent-enfant avec des distances comportementales connues.
   • Ces transitions sont inversées et rendues sous forme de paires NL, apprenant au modèle à associer des éditions sémantiques à des déplacements comportementaux spécifiques.
2. Optimisation de préférence directe à décalage de parent commun (oDPO) :
   • Pour affiner le contrôle, le modèle est optimisé via un cadre de préférence.
   • Pour un parent donné et une intensité demandée, le modèle préfère un enfant dont le déplacement réalisé est le plus proche de la cible ($\mu_s$) par rapport à un enfant qui s'en écarte.
   • Contrairement au DPO standard qui optimise pour une qualité binaire, l'oDPO incorpore des marges dépendantes des paires basées sur le décalage de déplacement, permettant au modèle d'apprendre une géométrie ordinale pilotable de l'espace de mutation.

Configuration expérimentale

• Domaine : Trading financier (E-mini S&P 500, Argent, Obligations du Trésor américain) utilisant des données horaires de 2008 à 2025.
• Protocole : Recherches à budget fixe avec des holdouts temporels stricts. Le design expérimental consiste en 216 recherches dans la matrice d'opérateurs appris (six opérateurs, trois algorithmes, trois actifs et quatre graines) et une matrice AST de 36 recherches séparée pour le baseline natif, totalisant 252 recherches.
• Baselines :
  • Modèle de base non entraîné.
  • SFT sans étiquettes de force.
  • Conditionnement par prompt uniquement (mots de force sans ancrage comportemental).
  • SFT ancré sur le comportement (sans oDPO).
  • Mutation AST native (opérateur conçu à la main).
  • oDPO de code-sortie apparié (même données d'entraînement/objectif, mais produisant du code GPTL au lieu du NL).

3. Contributions clés

1. Définition de la mutation ancrée sur l'exécution : Une définition du déplacement de mutation basée sur le désaccord de la séquence d'actions réalisée, couplée à un opérateur de variation conditionnel sur des régimes comportementaux ordonnés.
2. Modèle multitâche ancré sur le comportement : Un seul LLM entraîné pour la mutation sémantique, la compilation et la traduction utilisant des transitions exécutables, permettant au modèle d'apprendre « à quel point » muter.
3. Ablations contrôlées : Une isolation systématique de l'affinage de domaine, du conditionnement ancré sur le comportement, de l'oDPO et de la représentation en langage naturel.
4. Analyse mécaniste : Une analyse de la calibration, de la composition des éditions sémantiques et de la localité syntaxe-comportement des mutations.

4. Résultats

L'étude rapporte des résultats sur 252 recherches à budget fixe (216 exécutions de l'opérateur appris et 36 exécutions du baseline AST natif).

• Calibration (Contrôle de l'intensité) :
  • L'oDPO atteint une corrélation de Spearman moyenne de 0,824 entre l'intensité demandée et le déplacement réalisé.
  • Le SFT ancré sur le comportement seul atteint 0,310, et le conditionnement par prompt seul atteint 0,018.
  • L'oDPO transforme avec succès l'ordre partiel en un contrôle de régime cohérent.
• Efficacité de la recherche :
  • Le NL oDPO surpasse significativement le SFT ancré sur le comportement, la mutation AST native et le modèle oDPO de code-sortie apparié en termes d'AUC de la meilleure fitness de validation jusqu'à présent.
  • Le contrôle de code-sortie apparié (qui isole la variable de représentation) montre que le NL offre un avantage d'efficacité de recherche à budget fixe par rapport à la mutation de code directe.
• Performance sur données non vues (Held-Out) :
  • Le NL oDPO découvre la politique la plus haute observée (ratio de Sharpe de 2,3445).
  • Bien que le SFT ancré sur le comportement présente la moyenne et la top-quartile de fitness de test les plus élevées dans les agrégats descriptifs, le NL oDPO démontre une performance supérieure dans la queue de distribution (upper-tail).
• Insights mécanistes :
  • Composition sémantique : L'intensité demandée change systématiquement le type d'éditions. Une intensité faible est dominée par les changements de paramètres (86,4 %), tandis qu'une intensité élevée bascule vers des réécritures structurelles, des substitutions d'indicateurs et des inversions logiques.
  • Localité Syntaxe-Comportement : Les mutations NL présentent une corrélation plus forte entre la distance syntaxique et le déplacement comportemental ($\rho=0,88$) par rapport aux mutations AST natives ($\rho=0,44$).
  • Préservation de la fitness : À des déplacements comportementaux de petite à moyenne ampleur, les mutations NL préservent davantage la fitness du parent et ont un taux d'échec catastrophique plus faible (9 % contre 14 %) que les mutations AST natives.

5. Signification et Revendications

Le papier affirme que le langage peut servir de représentation de recherche pilotable et ancrée sur l'exécution sur un espace de programmes exécutables. En séparant la variation sémantique de l'exécution déterministe, ELMER répond à l'incapacité historique de l'évolution de programmes à contrôler l'ampleur du changement de comportement.

Les auteurs soulignent que le système déplace l'évolution de programme au-delà de la « perturbation syntaxique aveugle » vers un « mouvement délibéré, ancré sur l'exécution ». La conclusion clé est que le modèle apprend non seulement quoi changer, mais aussi jusqu'où se déplacer dans l'espace comportemental. Bien que les résultats montrent des améliorations significatives en matière de calibration et d'efficacité de recherche, les auteurs restent modestes quant à la généralisabilité de la performance de la queue de distribution, notant que les modèles de la boucle externe (ex. : MAP-Elites vs $(\mu, \lambda)$-ES) sont hétérogènes et que l'expérience n'isole pas pleinement le rôle de la mémoire de l'archive dans la préservation d'une exploration structurée.

Le travail démontre que le conditionnement d'un modèle de langage sur le déplacement comportemental via l'oDPO crée un mécanisme de contrôle ordinal fiable, permettant une exploration plus efficace de l'espace des programmes par rapport aux opérateurs syntaxiques traditionnels ou aux modèles de langage non conditionnés.