💬 NLP

Consolidating Rewarded Perturbations for LLM Post-Training

Cet article présente CoRP, une méthode de post-entraînement sans gradient qui consolide les perturbations gaussiennes pondérées par la récompense en une mise à jour unique du modèle en exploitant la structure de bas rang, atteignant ainsi des gains de performance significatifs par rapport au modèle de base tout en éliminant la surcharge d'inférence multi-passage des approches basées sur des ensembles comme RandOpt.

Auteurs originaux : Zheyu Zhang, Shuo Yang, Gjergji Kasneci

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zheyu Zhang, Shuo Yang, Gjergji Kasneci

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Le dilemme des « Trop nombreux chefs »

Imaginez que vous avez un chef brillant et bien formé (le Modèle de Base) capable de cuisiner presque tout. Vous voulez lui apprendre à préparer un plat spécifique et parfait (comme un problème de mathématiques complexe ou un morceau de code).

Habituellement, pour enseigner à un chef, on utilise l'Apprentissage par Renforcement (RL). On le fait cuisiner, on goûte la nourriture, et si c'est bon, on ajuste légèrement sa recette. C'est comme ajuster la recette étape par étape en utilisant des gradients. Cela fonctionne, mais c'est lent et coûteux en calculs.

Récemment, une nouvelle méthode appelée RandOpt est arrivée. Au lieu d'ajuster la recette étape par étape, RandOpt dit : « Jetons simplement une poignée d'épices aléatoires sur la recette de base du chef et voyons ce qui se passe. »

Il crée 5 000 versions légèrement différentes du chef (en ajoutant des « perturbations » ou du bruit aléatoire aux poids).
Il teste ces 5 000 versions sur quelques plats d'entraînement.
Il choisit les 50 meilleures versions qui ont le mieux cuisiné.
Le bémol : Pour servir un client, vous devez demander à ces 50 chefs « spécialistes » de cuisiner le plat, puis vous prenez un vote sur la réponse finale.
- Avantages : C'est très intelligent.
- Inconvénients : C'est incroyablement lent. Vous devez faire passer 50 cuisiniers pour chaque repas. De plus, vous ne pouvez pas facilement les combiner en un seul maître chef car leurs « personnalités » (poids) pourraient entrer en conflit.

La question de l'article : Pouvons-nous fusionner l'équipe ?

Les auteurs se sont demandé : « Pouvons-nous prendre ces 50 spécialistes et les fondre en UN SEUL chef unique, afin de n'avoir qu'un seul cuisinier à faire tourner au lieu de 50 ? »

Si nous faisons simplement la moyenne de leurs recettes, cela échoue généralement. Pourquoi ? Parce que même s'ils sont tous bons pour cuisiner, ils ont peut-être appris à corriger différents problèmes de différentes manières. Si vous les mélangez aveuglément, leurs corrections s'annulent et vous finissez avec un chef moins bon qu'au départ.

La découverte : Le « Secret caché de bas rang »

Avant de construire leur solution, les auteurs ont réalisé une expérience de « division par moitié ». Ils ont pris les 5 000 chefs aléatoires, les ont divisés en deux et ont observé les meilleurs performeurs.

Ils ont découvert un motif géométrique surprenant : Même si les chefs ont été créés de manière aléatoire, leur « excellence » n'était pas éparpillée partout. Au lieu de cela, toutes les améliorations utiles étaient concentrées dans un « sous-espace » minuscule et spécifique (un couloir étroit de possibilités) au sein de la cuisine massive.

Pensez-y comme ceci : Si vous lancez 1 000 fléchettes contre un mur géant, elles peuvent sembler aléatoires. Mais si vous regardez de près, vous réalisez que chaque « bonne » fléchette est tombée à l'intérieur d'un petit cercle invisible. L'article a trouvé que ce « cercle » (une structure de bas rang) existe dans chaque cas testé, même si la direction moyenne des fléchettes n'était pas toujours la même.

La solution : CoRP (Consolidating Rewarded Perturbations)

Les auteurs ont construit un outil appelé CoRP pour fusionner ces spécialistes en un modèle déployable. Cela fonctionne selon un processus de recrutement en trois étapes :

Le Chasseur de têtes (Agrégation pondérée par la récompense) :
D'abord, CoRP regarde les chefs les plus performants et demande : « Quel est le fil conducteur ? » Il crée une « direction proposée » basée sur ceux qui ont obtenu les scores les plus élevés. C'est comme dire : « D'accord, les meilleurs chefs semblent tous utiliser plus d'ail. »
Le Test de compatibilité (Repondération) :
C'est l'étape magique. CoRP ne se contente pas d'écouter les chefs « ail ». Il vérifie chaque spécialiste pour voir si son style s'adapte à la direction proposée.
- Si un chef est excellent avec l'ail mais insiste aussi pour ajouter du chocolat (ce qui jure avec le thème de l'ail), CoRP dit : « Non, tu es trop incompatible. » Il diminue son poids.
- Si un chef est excellent avec l'ail et n'ajoute rien de bizarre, CoRP dit : « Oui, tu es un candidat parfait. » Il augmente son poids.
- Analogie : Imaginez que vous construisez une maison. Vous avez 50 excellents architectes. Vous ne faites pas simplement la moyenne de leurs plans (ce qui ferait un désordre total). Vous choisissez la meilleure direction de conception, puis vous n'embauchez que les architectes dont les idées spécifiques soutiennent cette direction sans créer de conflit.
L'Inspecteur de sécurité (Porte de validation sur données non vues) :
Avant de finaliser le nouveau chef unique, CoRP teste la nouvelle recette sur un ensemble de plats que les chefs n'ont jamais vus.
- Si le nouveau chef est réellement meilleur sur ces nouveaux plats, CoRP approuve la mise à jour.
- Si le nouveau chef est moins bon (ou tout aussi bon), CoRP dit : « Non, restons-en au chef d'origine. » Il refuse de faire un changement qui n'apporte pas d'amélioration.

Les résultats : Un chef, un passage, de grands gains

L'article a testé cela sur 5 modèles différents (allant du petit au grand) et 5 tâches différentes (mathématiques, codage, écriture créative).

Vitesse : RandOpt (l'équipe de 50 chefs) nécessite 50 passages avant pour répondre à une question. CoRP nécessite 1 passage avant. L'inférence est donc 50 fois plus rapide.
Efficacité : CoRP n'a eu besoin que d'un dixième (1/10e) de la puissance de calcul (budget de perturbation) que RandOpt a utilisé pour l'entraînement.
Performance :
- CoRP a amélioré le modèle de base de 8,1 points en moyenne.
- CoRP a récupéré plus de la moitié du gain de performance de l'équipe massive de 50 chefs, mais avec un seul modèle.
- Dans certains cas (comme l'écriture créative), CoRP a même battu l'approche du meilleur chef unique (RandOpt K=1) et s'est approché très près de l'équipe de 50 chefs.

Résumé en un mot

L'article démontre que vous n'avez pas besoin d'un comité de 50 modèles d'IA pour obtenir d'excellents résultats. En trouvant la « géométrie commune cachée » dans la façon dont ces modèles s'améliorent, et en filtrant soigneusement ceux qui entrent en conflit, vous pouvez les fusionner en un seul modèle unique et ultra-efficace.

C'est comme réaliser qu'au lieu d'embaucher 50 consultants différents pour résoudre un problème, vous pouvez embaucher un expert qui a synthétisé les meilleures idées de ces 50 personnes, sans la confusion générée par leurs disputes. Vous obtenez la sagesse de la foule, mais avec la vitesse d'une seule personne.

Résumé Technique : Consolidation des Perturbations Récompensées pour le Post-Entraînement des LLM

Énoncé du Problème
Le post-entraînement des grands modèles de langage (LLM) est généralement formulé comme une boucle d'échantillonnage-score-mise à jour implémentée via la descente de gradient (par exemple, PPO, GRPO). Une alternative récente, RandOpt (Gan et Isola, 2026), déplace ce processus dans l'espace des poids. Au lieu de mettre à jour les poids via des gradients, RandOpt échantillonne des perturbations gaussiennes autour d'un modèle pré-entraîné, les évalue sur un ensemble de support, et constitue un ensemble des $K$ spécialistes les mieux récompensés lors de l'inférence. Bien que compétitive par rapport aux méthodes basées sur le gradient à calcul équivalent, cette approche entraîne des coûts d'inférence importants ( $K$ passages avant par exemple) et peine à s'étendre aux tâches de génération libre où le vote catégoriel est inapplicable. La question centrale abordée par cet article est de savoir si la « population récompensée » de perturbations peut être intégrée dans une mise à jour de modèle unique et déployable, remplaçant ainsi l'ensemble à l'inférence par une seule mise à jour de poids consolidée.

Méthodologie : CoRP (Consolidation des Perturbations Récompensées)
Les auteurs proposent CoRP, un opérateur sans gradient qui consolide une population de perturbations récompensées en une mise à jour de poids unique. La méthode repose sur deux intuitions primaires dérivées d'une analyse de division par moitié de 25 paires modèle-tâche :

Structure de Bas Rang : La recherche aléatoire pilotée par la récompense autour d'un modèle de base concentre la variance utile sur un sous-espace de bas rang reproductible dans tous les cas examinés, bien qu'une direction moyenne unique ne soit pas toujours reproductible.
Compatibilité vs Utilité : Les perturbations à haute récompense agissent souvent comme des « spécialistes presque orthogonaux ». La moyenne naïve pondérée par la récompense échoue car elle combine des directions incompatibles, provoquant l'annulation des signaux utiles par le modèle.

CoRP répond à ces défis via un processus en trois étapes, sans gradient :

Génération de Candidats Pondérés par la Récompense :
La méthode sélectionne d'abord le quantile supérieur $q$ des perturbations basé sur les scores de récompense. Elle calcule une direction provisoire ( $m^{(1)}$ ) comme la moyenne pondérée par la récompense de ces perturbations d'élite. Cette étape identifie les directions utiles mais ne garantit pas encore qu'elles soient compatibles entre elles.
Repondération Sensible à la Compatibilité :
Pour éviter que des signaux incompatibles ne s'annulent, CoRP repondère les perturbations d'élite en fonction de leur alignement avec la direction provisoire et de leur dispersion orthogonale.
- Alignement ( $a_i$ ) : Mesure la force avec laquelle une perturbation soutient la direction proposée.
- Dispersion ( $d_i$ ) : Mesure la part de la perturbation qui se situe orthogonalement à la proposition.
  Les poids finaux ( $w^{(2)}_i$ ) combinent la récompense originale avec des pénalités pour une dispersion élevée et des bonus pour un alignement élevé. Cela garantit que la mise à jour consolidée préserve la structure partagée tout en supprimant les variations incompatibles.
Validation et Itération :
- Porte de Contrôle (Held-Out Gate) : Pour éviter le surapprentissage sur l'ensemble de support, CoRP utilise une stratégie de validation par pli (split-fold). Une mise à jour candidate n'est validée que si elle démontre un gain d'exactitude positif sur un pli de validation tenu à l'écart (Pli B) avec une limite de confiance statistiquement significative.
- Calibration de la Sonde : Un ensemble de sondes distinct (Pli P) est utilisé pour calibrer le pas de mise à jour ( $\eta$ ).
- Itération : Si une mise à jour est acceptée, le processus peut itérer. De nouvelles perturbations sont échantillonnées autour du nouveau centre en utilisant une distribution adaptative à la covariance qui concentre l'exploration dans les directions où les populations récompensées précédentes ont varié, tout en maintenant un plancher isotrope pour la couverture.

Contributions Clés

Découverte d'une Structure de Bas Rang Reproductible : L'article démontre qu'à travers 25 paires modèle-tâche diverses (allant de 0,5B à 8B paramètres et couvrant des tâches de mathématiques, de code et d'écriture), les perturbations récompensées partagent systématiquement une structure de bas rang, même lorsqu'une direction moyenne unique n'existe pas.
Opérateur CoRP : L'introduction d'un opérateur de consolidation sans gradient qui fusionne avec succès une population de perturbations récompensées en un seul modèle. Il sépare explicitement l'identification des directions « utiles » de l'évaluation de la « compatibilité », une distinction souvent négligée dans la fusion de modèles naïve.
Efficacité : CoRP atteint des performances comparables à de grands ensembles avec un seul passage avant à l'inférence, éliminant le coût d'inférence $K$ -fold des méthodes telles que RandOpt.

Résultats Expérimentaux
Les auteurs ont évalué CoRP sur cinq modèles ajustés par instruction (variantes de Qwen2.5, OLMo3, Llama3.1) à travers cinq tâches (Countdown, GSM8K, OlympiadBench, ROCStories, MBPP).

Performance : CoRP améliore le modèle de base de 8,1 points en moyenne sur toutes les tâches.
Comparaison avec RandOpt : En utilisant seulement 1/10ème du budget de perturbation de RandOpt (500 contre 5000 échantillons), CoRP dépasse le RandOpt à inférence unique (K=1) de 6,5 points. De plus, il récupère plus de la moitié du gain réalisé par l'ensemble de vote majoritaire à 50 passages (RandOpt K=50) tout en ne nécessitant qu'un seul passage avant par exemple de test.
Comparaison avec les Méthodes Basées sur le Gradient : CoRP est compétitif avec PPO et GRPO lorsque le calcul d'entraînement est égalisé, les surpassant souvent sur des tâches spécifiques (ex: ROCStories) tout en évitant la surcharge computationnelle de la rétropropagation à travers le modèle de langage.
Analyse d'Erreur : La décomposition des résultats montre que les gains de CoRP proviennent de véritables corrections de raisonnement (correction du contenu de la réponse) plutôt que de simples corrections de format, et qu'il réduit significativement les « régressions » (cas où le modèle de base était correct mais où la mise à jour l'a rendu incorrect) par rapport à la sélection d'une seule meilleure perturbation.

Signification et Revendications
L'article affirme que le « voisinage récompensé » d'un modèle bien pré-entraîné contient une structure partagée suffisante pour être intégrée dans un seul modèle, même lorsqu'aucune direction unique ne résume l'ensemble de la population. En fermant la boucle dans l'espace des poids — passant de l'échantillonnage de perturbations à la consolidation de celles-ci en une mise à jour déployable — CoRP offre une alternative pratique au post-entraînement basé sur le gradient. Il démontre que l'on peut obtenir des améliorations substantielles de l'alignement et du raisonnement sans rétropropagation, en utilisant un modèle unique qui est efficace à déployer.

Les auteurs restent modestes quant aux limites, notant que CoRP nécessite actuellement des récompenses vérifiables (ce qui le limite aux tâches avec des sorties catégorielles ou facilement vérifiables) et que l'écart vers les ensembles complets est plus large sur les petits modèles où les spécialistes peuvent être plus disjoints. Ils suggèrent que les travaux futurs pourraient combiner l'échantillonnage dans l'espace des poids avec l'échantillonnage dans l'espace des trajectoires (utilisé dans le RLVR) pour exposer différentes facettes des capacités pré-entraînées.