🤖 AI

Cooperative Coevolution for Resource-Constrained Agentic LLM Post-Training

Le document présente la stratégie d'évolution par sous-espace de paramètres coopératif (CoPES), une méthode économisant la mémoire qui décompose l'espace des paramètres pour permettre un post-entraînement efficace des LLM agentiques sous contraintes de ressources, atteignant 92 % des gains de performance du GRPO à paramètres complets avec des exigences de mémoire GPU nettement inférieures.

Auteurs originaux : Zhiyuan Wang, Shengcai Liu, Jiahao Wu, Ning Lu, Hui Ouyang, Shaofeng Zhang, Haoze Lv, Ke Tang

Publié 2026-08-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhiyuan Wang, Shengcai Liu, Jiahao Wu, Ning Lu, Hui Ouyang, Shaofeng Zhang, Haoze Lv, Ke Tang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs ne se contentent pas de discuter, mais qui font réellement des choses. Ils peuvent naviguer sur le Web, exécuter du code et résoudre des énigmes complexes en effectuant de nombreuses étapes, en vérifiant leur travail et en essayant à nouveau. C'est la frontière passionnante de l'IA « agentique ». Mais il y a un piège : apprendre à ces assistants numériques à s'améliorer coûte incroyablement cher. La méthode habituelle pour les entraîner est comme un jeu vidéo à enjeux élevés où l'ordinateur tente de trouver le mouvement parfait en calculant les « gradients » (la pente mathématique du succès) pour chaque partie de son cerveau à la fois. Cela nécessite une quantité massive de mémoire informatique, comme essayer de garder une bibliothèque de livres dans sa tête tout en résolvant une énigme. Si la tâche est longue et compliquée, la mémoire nécessaire explose, rendant impossible l'entraînement de ces agents pour la plupart des gens sans un supercalculateur.

Entrez dans une approche différente appelée « Stratégies d'Évolution ». Au lieu de calculer des pentes, cette méthode ressemble davantage à un jeu de « Chaud ou Froid ». Vous apportez de minuscules changements aléatoires au cerveau de l'IA, vous regardez s'il s'améliore, et si c'est le cas, vous conservez le changement. C'est beaucoup plus léger en mémoire car vous n'avez pas besoin de vous souvenir du chemin que vous avez parcouru. Cependant, il y a un nouveau problème : parce que vous devinez de manière aléatoire, vous devez essayer énormément de fois pour obtenir de bons résultats, ce qui prend un temps et une puissance de calcul considérables. C'est comme essayer de trouver une aiguille dans une botte de foin en vérifiant une paille à la fois ; vous finirez par la trouver, mais vous pourriez y passer un siècle. La grande question pour les scientifiques est la suivante : pouvons-nous conserver les économies de mémoire de la méthode « Chaud ou Froid » tout en la rendant assez rapide pour être utile sur seulement quelques ordinateurs ordinaires ?

Ce document présente une nouvelle astuce ingénieuse appelée CoPES (Cooperative Parameter-subspace Evolution Strategy) pour résoudre exactement ce problème. Les chercheurs ont réalisé que tenter de modifier l'ensemble du cerveau de l'IA à la fois est inefficace. Ils ont donc décomposé le cerveau en petits morceaux gérables. Imaginez que vous essayez d'accorder un orchestre massif pour qu'il sonne parfaitement. Au lieu de demander à chaque musicien de changer d'instrument de manière aléatoire en même temps (ce qui crée le chaos), vous demandez à la section des violons d'essayer un nouveau réglage, puis à la section des cuivres, puis aux percussions, pendant que tous les autres restent immobiles. En testant ces petits groupes un par un, tout en gardant l'orchestre entier en train de jouer, vous pouvez découvrir ce qui fonctionne beaucoup plus rapidement.

Dans l'article, les auteurs ont testé cela sur un modèle d'IA spécifique (Qwen3.5-4B) entraîné à résoudre des problèmes mathématiques. Ils ont comparé leur nouvelle méthode de « l'accordeur d'orchestre » à la méthode standard « Chaud ou Froid » et à la méthode lourde en mémoire basée sur les « gradients ». Ils ont découvert que CoPES change la donne pour les contextes à ressources limitées. Alors que la méthode aléatoire standard nécessitait environ 480,60 heures-GPU (une mesure du temps informatique) pour atteindre un bon niveau de performance, CoPES a obtenu des résultats presque identiques en seulement 68,65 heures-GPU. Plus impressionnant encore, sous une limite de temps stricte où la méthode lourde en mémoire ne pouvait s'entraîner que pendant 16 étapes, CoPES a récupéré 92 % des gains de performance que la méthode lourde avait accomplis, alors que la méthode aléatoire standard n'avait réussi que 67 %.

L'étude a également montré que CoPES est beaucoup plus pratique pour le matériel de tous les jours. Alors que la méthode lourde en mémoire nécessitait une installation massive de 8 GPU haut de gamme pour même commencer l'entraînement sur des tâches longues, CoPES pouvait fonctionner avec succès sur un seul GPU standard de 24 Go. Cela signifie qu'au lieu d'avoir besoin d'un centre de données, un chercheur avec un seul ordinateur puissant peut désormais entraîner des agents d'IA avancés. Les auteurs ont également testé la méthode sur des tâches de questions-réponses, et pas seulement sur les mathématiques, et ont constaté qu'elle fonctionnait bien là aussi, surpassant systématiquement l'approche aléatoire standard.

Le document suggère qu'en décomposant le problème en sous-groupes coopératifs et en combinant soigneusement les résultats, nous pouvons obtenir le meilleur des deux mondes : le faible coût de mémoire des méthodes évolutives et la vitesse élevée des méthodes basées sur les gradients. Il ne prétend pas être une solution miracle qui résout tout instantanément, mais démontre un compromis nettement meilleur entre la mémoire et le temps. Les résultats indiquent qu'avec cette nouvelle stratégie, l'entraînement d'agents d'IA puissants devient réalisable pour beaucoup plus de personnes, transformant une tâche qui nécessitait autrefois un supercalculateur en quelque chose d'accessible sur une seule station de travail.

Résumé technique : Coévolution coopérative pour le post-entraînement d'agents LLM avec contraintes de ressources

Énoncé du problème

Les agents LLM utilisant des outils génèrent des trajectoires longues et multi-tours pour résoudre des tâches complexes. Bien que le post-entraînement avec des récompenses vérifiables (par exemple, via l'apprentissage par renforcement) soit une méthode évolutive pour améliorer le comportement des agents, elle se heurte à un goulot d'étranglement critique dans les environnements à ressources limitées.

Les méthodes basées sur le gradient, telles que le Group Relative Policy Optimization (GRPO), nécessitent une rétropropagation à travers ces longues trajectoires. Cela impose de stocker les poids du modèle, les gradients, les états de l'optimiseur et, surtout, les activations intermédiaires. À mesure que la longueur du contexte augmente, la mémoire d'activation devient prohibitive, nécessitant souvent des clusters de GPU haut de gamme qui ne sont pas accessibles à de nombreux chercheurs. À l'inverse, les stratégies d'évolution (ES - Evolution Strategies) offrent une alternative économique en mémoire en évitant totalement la rétropropagation, ne nécessitant que la génération par passage avant (forward) et l'évaluation de la récompense. Cependant, l'ES standard est coûteuse en termes de calcul, nécessitant généralement beaucoup plus d'heures-GPU que les méthodes basées sur le gradient pour atteindre des performances comparables. Dans des contextes de ressources limitées avec un nombre restreint de GPU, cette forte demande de calcul se traduit par des temps d'entraînement (wall-clock time) impraticables.

Le défi central abordé est la manière d'améliorer l'efficacité de l'optimisation de l'ES sans sacrifier ses avantages en termes de mémoire, spécifiquement pour le post-entraînement de LLM agentiques à paramètres complets.

Méthodologie : Stratégie d'évolution par sous-espace de paramètres coopératif (CoPES)

Pour remédier au goulot d'étranglement de l'efficacité, les auteurs proposent la Stratégie d'Évolution par Sous-Espace de Paramètres Coopératif (CoPES), une méthode de coévolution coopérative adaptée pour l'ES à paramètres complets.

Mécanisme central

CoPES décompose l'espace de paramètres complet de haute dimension ( $\mathbb{R}^d$ ) en $K$ sous-espaces de plus faible dimension et mutuellement disjoints. Au lieu de perturber l'ensemble de l'espace de paramètres simultanément pour chaque évaluation, CoPES effectue des recherches coopératives au sein de ces sous-espaces :

Partitionnement aléatoire : À chaque étape d'entraînement, les indices des paramètres sont partitionnés aléatoirement en $K$ sous-espaces de taille égale ( $S_1, \dots, S_K$ ).
Recherche coopérative dans les sous-espaces : Le budget de perturbation total $N$ est distribué entre les sous-espaces ( $N_k = N/K$ ). Pour chaque sous-espace $k$ , $N_k$ modèles perturbés sont générés en ajoutant du bruit uniquement aux paramètres de $S_k$ , tandis que tous les autres paramètres restent fixés à leurs valeurs actuelles. Cela fournit un contexte de modèle complet partagé pour évaluer l'impact des changements dans un sous-espace spécifique.
Mise à l'échelle de la perturbation sensible à la dimension : Pour garantir que l'amplitude des perturbations de sous-espace corresponde à la norme quadratique attendue d'une perturbation de l'espace complet, l'échelle de perturbation $\sigma_k$ est ajustée : $\sigma_k = \sqrt{K}\sigma$ .
Standardisation conjointe des récompenses : Contrairement à l'ES standard qui standardise les récompenses au sein d'une seule population, CoPES regroupe les récompenses de tous les $N$ modèles perturbés à travers tous les $K$ sous-espaces. Elle calcule une moyenne globale ( $\mu_c$ ) et un écart type ( $s_c$ ) pour standardiser toutes les récompenses ( $\hat{r}_{k,i}$ ). Cela fournit des statistiques de normalisation stables et une échelle de récompense commune pour combiner les mises à jour des sous-espaces.
Mise à jour synchrone : Les directions de sous-espace sont estimées et composées en une mise à jour de paramètres complets : $\theta_{t+1} = \theta_t + \alpha \sum_{k=1}^K P_k g_k$ , où $g_k$ est la direction de gradient estimée pour le sous-espace $k$ .

Détails d'implémentation

Pour maintenir l'efficacité de la mémoire, CoPES utilise :

Rejeu de graines (Seed Replay) : Les perturbations sont régénérées à partir de graines aléatoires plutôt que de stocker des vecteurs de perturbation complets.
Sauvegarde des poids (Weight Backup) : Les poids pré-perturbation sont sauvegardés en mémoire CPU pour garantir que chaque évaluation démarre exactement du même état de modèle, évitant ainsi les erreurs résiduelles de virgule flottante.
Traitement par blocs (Chunked Processing) : Les paramètres sont traités par blocs pour gérer l'utilisation de la mémoire.

Principales contributions

Algorithme novateur : CoPES est présenté comme la première méthode de coévolution coopérative conçue spécifiquement pour le post-entraînement d'agents LLM à paramètres complets. Elle combine la décomposition de l'espace de paramètres et la standardisation conjointe des récompenses.
Compromis Efficacité-Mémoire : La méthode améliore l'efficacité de l'optimisation à budget fixe tout en préservant la nature à paramètres complets et économique en mémoire de l'ES standard. Elle évite la surcharge de rétropropagation des méthodes basées sur le gradient et le temps de calcul élevé de l'ES standard.
Validation empirique : Des expériences approfondies sur des tâches de mathématiques et de questions-réponses (QA) multi-sauts valident la méthode à travers de multiples métriques, incluant des tests de faisabilité matérielle et des ablations contrôlées.

Résultats expérimentaux

Les auteurs ont évalué CoPES sur un modèle Qwen3.5-4B sur cinq benchmarks mathématiques (AIME 2024, AIME 2025, GSM8K, MATH-500, MATH-Test) et trois benchmarks de QA (HotpotQA, 2Wiki, MuSiQue).

Performance vs RL basé sur le gradient (GRPO)

Efficacité de la mémoire : L'analyse théorique montre que CoPES nécessite moins de 1/8ème de la mémoire GPU de la méthode GRPO à paramètres complets. En pratique, CoPES peut être entraîné sur un seul GPU de 24 Go, alors que le GRPO complet nécessite 8x 48 Go de GPU pour des contextes de 128K.
Performance à budget fixe : Sous un budget d'heures-GPU équivalent au meilleur checkpoint de validation de GRPO à paramètres complets (16 étapes d'entraînement) :
- CoPES a récupéré 92 % du gain de précision de validation réalisé par le GRPO à paramètres complets.
- L'ES standard n'a récupéré que 67 %.
- CoPES a systématiquement surpassé le LoRA-based GRPO et l'ES standard sur tous les indicateurs pass@k sur les cinq benchmarks mathématiques.
Mise à l'échelle (Scaling) : Sur les benchmarks exigeants AIME 2024 et AIME 2025, CoPES a surpassé le GRPO à paramètres complets pour des valeurs de $k$ plus grandes (pass@k) malgré l'utilisation du même budget d'entraînement fixe.

Performance vs ES Standard

CoPES a nettement surpassé l'ES standard sur tous les indicateurs évalués.
Études d'ablation :
- Nombre de sous-espaces ( $K$ ) : La performance s'est améliorée à mesure que $K$ augmentait de 1 à 4, mais a chuté brutalement à $K=8$ en raison d'une population insuffisante par sous-espace ( $N_k=5$ ).
- Standardisation conjointe : L'utilisation de la standardisation conjointe des récompenses à travers tous les sous-espaces a produit des scores pass@1 plus élevés par rapport à une standardisation indépendante au sein de chaque sous-espace.
- Échelle de perturbation : Le gain de performance n'est pas uniquement dû à la plus grande échelle de perturbation par coordonnée ( $\sigma_k = \sqrt{K}\sigma$ ) ; l'ES standard avec cette même échelle augmentée était moins performante.

QA Multi-sauts

Dans les tâches de questions-réponses, CoPES a surpassé l'ES standard sur toutes les combinaisons de métriques de benchmark et est resté compétitif avec le GRPO à paramètres complets, démontifiant l'applicabilité de la méthode au-delà du raisonnement mathématique.

Signification et affirmations

L'article affirme que CoPES offre une solution pratique pour le post-entraînement d'agents LLM sous contraintes de ressources. En décomposant l'espace de recherche et en standardisant conjointement les récompenses, CoPES atteint un meilleur compromis entre les exigences de mémoire et le temps d'entraînement. Cela permet l'utilisation de stratégies d'évolution à paramètres complets sur du matériel de classe grand public ou à ressources limitées (par exemple, un seul GPU de 24 Go) là où les méthodes de gradient à paramètres complets sont irréalisables en raison des limites de mémoire, et là où l'ES standard est trop lente en raison de ses coûts de calcul. Les auteurs soulignent que leur approche conserve l'avantage du mode "uniquement passage avant" (forward-only) de l'ES tout en atténuant son principal inconvénient computationnel.