Résumé Technique : Découverte Évolutive de Tâches (EVOTD)

Énoncé du Problème

Les capacités de raisonnement des grands modèles de langage (LLM) ont considérablement progressé grâce à des paradigmes de post-entraînement tels que l'apprentissage par renforcement à partir de récompenses vérifiables (RLVR). Cependant, l'efficacité de ces méthodes est fondamentalement limitée par la diversité et la complexité des données d'entraînement disponibles. Bien que la synthèse de données offre une solution à la pénurie de tâches de raisonnement curatées par des humains, les méthodes prédominantes reposant sur une mutation non structurée (par exemple, demander à un LLM de « rendre cela plus difficile ») souffrent d'un effondrement de l'homogénéité. Ces approches génèrent souvent des échantillons quasi identiques ou échouent à étendre systématiquement la frontière du raisonnement, car elles confondent la diversité textuelle avec la diversité algorithmique. De plus, les taxonomies existantes basées sur les compétences traitent souvent la logique d'un problème (la compétence) mais négligent les contraintes structurelles (la complexité), ce qui aboutit à des curriculums « plats » incapables d'induire une généralisation robuste à travers les échelles.

Méthodologie : Découverte Évolutive de Tâches (EVOTD)

Pour pallier ces limitations, les auteurs proposent EVOTD, un cadre qui traite la synthèse de données comme une recherche dirigée sur une variété structurée à deux axes. L'innovation centrale réside dans le découplage d'une tâche de raisonnement en deux dimensions orthogonales :

1. Compétences Algorithmiques ($S$) : Le socle logique sémantique d'une tâche (par exemple, recherche binaire, programmation dynamique, parcours de graphes).
2. Attributs de Complexité ($C$) : Les contraintes structurelles paramétriques qui dictent l'ampleur de l'instance du problème (par exemple, taille de l'entrée, profondeur de l'arbre, plage de valeurs).

Le Moteur Évolutif

EVOTD emploie un paradigme proposeur-solveur où un LLM « proposeur » synthétise des tâches et un LLM « solveur » apprend à partir d'elles via RLVR. Le processus de synthèse utilise deux opérateurs évolutifs structurés pour explorer l'espace des tâches :

• Mutation d'Attributs (Évolution Verticale) : Cet opérateur fait évoluer les attributs de complexité tout en préservant strictement le socle logique. Au lieu d'une perturbation textuelle aléatoire, le proposeur effectue un audit métacognitif pour sélectionner les attributs applicables (par exemple, augmenter tree_depth uniquement pour les tâches basées sur des arbres) et les intensifie. Cela incite le modèle à apprendre des solutions invariantes à l'échelle plutôt que des heuristiques fragiles.
• Croisement de Compétences (Évolution Horizontale) : Cet opérateur explore de nouvelles compositions de compétences en combinant des motifs algorithmiques distincts (par exemple, fusionner dijkstra avec priority_queue ou bitmask_dp avec bfs). Le proposeur est guidé pour trouver des combinaisons synergiques où les compétences sont profondément interconnectées plutôt que simplement concaténées séquentiellement, empêchant ainsi la dégénérescence combinatoire.

Filtrage Dynamique du Curriculum

Un composant critique d'EVOTD est le filtre Zone de Développement Proximal (ZPD). Pour garantir l'efficacité pédagogique des tâches, le cadre vérifie trois conditions avant qu'une tâche n'intègre l'ensemble d'entraînement :

1. Exécutabilité : Le code doit s'exécuter sans erreurs de syntaxe et se terminer dans les limites imposées.
2. Alignement des Compétences : La tâche générée doit adhérer strictement aux compétences algorithmiques ciblées.
3. Apprenabilité : La tâche ne doit être ni triviale ni impossible pour la politique actuelle du solveur ($\pi_\theta$). Spécifiquement, le taux de réussite du solveur doit se situer dans une plage non triviale ($0 < \text{taux de réussite} < 1$). À mesure que le solveur s'améliore, le filtre déplace dynamiquement la distribution vers des instances plus difficiles, créant ainsi un curriculum auto-adaptatif.

Contributions Clés

L'article formalise et démontre les contributions suivantes :

• Abstraction à Deux Axes : La formalisation de la synthèse de tâches de raisonnement comme une traversal dirigée sur une variété de Compétences Algorithmiques et d'Attributs de Complexité, dépassant le simple prompting naïf pour un contrôle précis de la logique et des contraintes.
• Opérateurs Éolutifs Structurés : L'introduction de la Mutation d'Attributs pour l'échelle de complexité et du Croisement de Compétences pour la découverte de compositions, permettant une exploration systématique des frontières de l'espace des tâches.
• Curriculum ZPD Dynamique : Un mécanisme de filtrage qui garantit que les données d'entraînement restent dans la région apprenable du modèle, facilitant une amélioration continue du raisonnement sans effondrement de mode.
• Validation Empirique : Des évaluations étendues sur cinq benchmarks (génération de code et raisonnement mathématique) démontrant que les curriculums évolutifs structurés surpassent la synthèse heuristique et les bases de référence d'auto-amélioration.

Résultats Expérimentaux

Les auteurs ont évalué EVOTD sur diverses architectures de modèles (Qwen3, LLaMA), régimes de pré-entraînement (Base, Instruct) et échelles de paramètres (3B–8B).

• Gains en Raisonnement : Sur le modèle de raisonnement Qwen3-4B, EVOTD a réalisé des gains substantiels sur des benchmarks compétitifs, notamment +8,2 % sur AIME 24 et +7,2 % sur AIME 25.
• Généralisation : La méthode a constamment surpassé les bases de référence (incluant Evol-Instruct, SPIRAL et Agent0) sur tous les modèles de base évalués. Notamment, elle a obtenu les meilleures performances Pass@1 sur chaque architecture testée.
• Robustesse à l'Effondrement de l'Homogénéité : Contrairement aux méthodes de synthèse standard qui gonflent souvent le Pass@1 tout en dégradant le Pass@k (indiquant un effondrement de mode), EVOTD a démontré des gains constants à la fois en Pass@1 et en Pass@8, suggérant qu'elle prolifère des trajectoires de raisonnement diversifiées.
• Échelle de Difficulté : La marge de performance entre EVOTD et les bases de référence s'est élargie avec la difficulté du problème, les gains relatifs les plus importants (jusqu'à 90 %) étant observés sur les sous-ensembles « Difficiles » de benchmarks comme LiveCodeBench. Cela confirme l'efficacité de la modulation de la complexité pour enseigner une logique invariante à l'échelle.
• Transfert vers le Domaine Général : Les améliorations se sont transférées proprement aux benchmarks de raisonnement de domaine général (MMLU-Pro, SuperGPQA), les gains les plus significatifs étant concentrés dans les disciplines adjacentes aux STEM où le raisonnement rigoureux est la contrainte limitante.

Signification et Revendications

L'article revendique qu'EVOTD établit un nouveau paradigme pour l'amélioration du raisonnement en passant d'une génération heuristique non contrainte à une recherche évolutive structurée. Les auteurs soutiennent que :

1. La Structure est Supérieure au Hasard : Découpler systématiquement la logique de la complexité permet de générer des curriculums de haute qualité et diversifiés que le prompting heuristique ne peut atteindre.
2. Évolutivité sans Coût Prohibitif : EVOTD offre une voie pragmatique pour l'amélioration du raisonnement, permettant aux modèles de base de s'adapter efficacement sans la surcharge computationnelle prohibitive des jeux complexes ou des cadres intégrant des outils.
3. Interprétabilité : En faisant évoluer des tâches à travers une variété transparente de compétence-complexité, le cadre construit un curriculum à la fois orienté vers la frontière et interprétable, répondant à la nature « boîte noire » de nombreux systèmes de LLMs auto-améliorants.

Les auteurs concluent que l'évolution structurelle fournit un signal d'entraînement bien plus fiable pour le raisonnement complexe que la génération non structurée courante dans le prompting standard, repoussant efficacement la frontière du raisonnement des LLM.