Success Conditioning as Policy Improvement: The Optimization Problem Solved by Imitating Success

Résumé Technique : Le Conditionnement de Succès comme Amélioration de Politique

Énoncé du Problème
Le conditionnement de succès est une heuristique largement adoptée dans l'apprentissage par renforcement (RL) et les pipelines de post-entraînement pour les grands modèles de langage (LLM). La méthode consiste à collecter des trajectoires, à filtrer celles qui atteignent un résultat souhaité (succès), et à mettre à jour une politique pour imiter les actions entreprises le long de ces trajectoires réussies. Malgré sa prévalence sous diverses appellations — telles que l'échantillonnage par rejet avec réglage fin supervisé (SFT), le RL conditionné par un objectif, ou les Decision Transformers — le problème d'optimisation qu'il résout est resté flou. Contrairement aux méthodes de RL standard, le conditionnement de succès n'estime pas explicitement de fonctions de valeur et ne calcule pas de gradients de politique. Des analyses antérieures ont suggéré des limitations fondamentales, notamment dans les environnements stochastiques où il échoue à récupérer des politiques optimales, pourtant il continue d'être utilisé efficacement. La question centrale abordée est la suivante : Si le conditionnement de succès ne récupère pas de politiques optimales, quel problème d'optimisation résout-il réellement, et quels sont ses garanties et ses modes de défaillance ?

Méthodologie et Formalisation
L'article formalise le conditionnement de succès dans le cadre des processus de décision markoviens (MDP) épisodiques.

• Configuration : Les trajectoires $\tau$ sont générées par une politique de comportement $\pi_0$. Le succès est défini comme un événement binaire $R(\tau)=1$.
• Politique Cible : La politique conditionnée par le succès $\pi^+$ est définie via un conditionnement bayésien :
  $$\pi^+(a | s) = P_{\pi_0}(A_t = a | S_t = s, R(\tau) = 1)$$
  Cette politique représente la distribution des actions entreprises étant donné que la trajectoire finit par réussir.
• Apprentissage : En pratique, $\pi^+$ est approximée en minimisant la perte de prédiction de l'action suivante (entropie croisée) sur un ensemble de données de trajectoires réussies.

Contributions Clés et Résultats Théoriques

1. L'Équivalence de la Région de Confiance
La principale contribution théorique est la preuve que le conditionnement de succès est la solution exacte d'un problème spécifique d'optimisation de politique en région de confiance.

• Objectif : Il maximise le terme d'amélioration de politique du premier ordre $L_{\pi_0}(\pi)$ (l'avantage attendu sous la politique de comportement).
• Contrainte : L'optimisation est soumise à une contrainte sur la divergence $\chi^2$ entre la nouvelle politique et la politique de comportement, pondérée par la mesure d'occupation conditionnée par le succès $d^+_{\pi_0}$.
• Rayon : Le rayon de cette région de confiance n'est pas un hyperparamètre choisi par l'utilisateur mais est automatiquement déterminé par les données. Plus précisément, le rayon de la contrainte est égal à l'influence-action globale de la politique de comportement.
• Géométrie : Contrairement à l'optimisation de politique en région de confiance (TRPO) ou à l'optimisation de politique proximale (PPO), qui utilisent la divergence de Kullback-Leibler (KL), le conditionnement de succès utilise la divergence $\chi^2$. Cette géométrie est plus conservatrice : elle pénalise fortement l'attribution de probabilité à des actions qui étaient rares sous la politique de comportement (l'exploration est « coûteuse »), mais elle permet de concentrer la masse de probabilité sur des actions qui étaient déjà bien supportées (l'oubli est « peu coûteux »).

2. L'Identité de l'Influence-Action
L'article établit une identité remarquable reliant trois quantités à chaque état $s$ :

1. Avantage Relatif : L'amélioration relative de la probabilité de succès fournie par $\pi^+$.
2. Changement de Politique : L'ampleur du changement de politique mesurée par la divergence $\chi^2$.
3. Influence-Action ($I_{\pi_0}(s)$) : Une métrique mesurant la variabilité dans les taux de succès induite par la sélection d'actions stochastiques de la politique de comportement.

Mathématiquement, pour la politique conditionnée par le succès $\pi^+$ :
$$\frac{A_{\pi_0}(s, \pi^+)}{V_{\pi_0}(s)} = \chi^2(\pi^+(\cdot|s) \| \pi_0(\cdot|s)) = I_{\pi_0}(s)$$
Cette identité implique que l'ampleur du changement de politique est exactement égale au potentiel d'amélioration. Si la sélection d'actions de la politique de comportement n'influence pas significativement le résultat (faible influence-action), la politique ne changera pas.

3. Caractérisation des Modes de Défaillance
L'article réinterprète les limitations connues du conditionnement de succès.

• Amélioration Conservatrice : Le conditionnement de succès est un opérateur conservateur. Il ne peut pas dégrader les performances ni induire de changements de distribution dangereux car il est contraint par l'influence-action des données observées.
• Échec Observable : Lorsque le conditionnement de succès « échoue » à trouver une politique optimale (par exemple, dans l'exemple du bandit à deux bras où les taux de succès sont presque identiques), il le fait en mettant à peine à jour la politique. L'échec est un problème de sur-conservatisme, et non d'instabilité. La politique reste proche de la politique de comportement car les données ne fournissent aucun signal indiquant que changer les actions améliorerait les taux de succès.

4. Récompenses Denses et Critères de Substitution (Proxy)
L'article étend l'analyse aux contextes de récompenses denses via le seuil de retour (définir le succès comme $Y > \theta$).

• Fidèle vs Proxy : Une réduction binaire « fidèle » préserve l'objectif de retour attendu. Cependant, les pratiques courantes comme le seuillage de retour agissent comme des récompenses de substitution (proxy).
• Compromis : Le conditionnement sur une récompense de substitution peut amplifier l'influence-action (et donc le potentiel d'amélioration) si le proxy est hautement discriminant. Cependant, si le seuil est fixé trop haut, le proxy peut sélectionner pour des trajectoires « chanceuses » avec des résultats volatils plutôt que pour des actions fiables. Cela conduit à un désalignement entre l'objectif du proxy et l'objectif d'évaluation réel, ce qui peut dégrader les performances.

5. Relation avec les Gradients de Politique
L'article relie le conditionnement de succès aux algorithmes de RL standard :

• REINFORCE : Si la politique de comportement est rafraîchie après chaque étape de mise à jour unique ($N=1$ dans un schéma itératif), le gradient de la perte de conditionnement de succès est équivalent au gradient de politique REINFORCE.
• Nature Hors-Politique (Off-Policy) : Le conditionnement de succès standard (entraînement sur un ensemble de données fixe de trajectoires réussies) est hors-politique. Il définit une politique cible basée sur une politique de comportement gelée et l'ajuste via l'apprentissage supervisé, plutôt que d'effectuer des étapes de gradient incrémentales sur la politique actuelle.

Signification et Revendications
L'article affirme fournir une compréhension fondée sur des principes du conditionnement de succès, le plaçant dans la même famille que les méthodes de région de confiance (TRPO, PPO) mais avec des propriétés géométriques distinctes ($\chi^2$ vs KL) et une détermination automatique du rayon.

• Sécurité : La théorie garantit que le conditionnement de succès exact ne dégradera pas les performances ; son mode de défaillance est bénin (absence de changement) plutôt que dangereux (changement de distribution).
• Utilité Diagnostique : La divergence $\chi^2$ entre la politique apprise et la politique de comportement sert de diagnostic direct et ex-ante de l'ampleur de l'amélioration réalisable, ne nécessitant ni nouveaux passages (rollouts) ni étiquettes de récompense.
• Limitations : Les auteurs notent que leur analyse caractérise le conditionnement de succès exact sous une politique de comportement fixe. Elle n'aborde pas les effets de données finies, les erreurs d'approximation de fonction, ou la convergence du conditionnement de succès itératif, qui sont laissés comme des directions ouvertes.

En résumé, l'article recadre le conditionnement de succès, passant d'une heuristique qui « devine » les actions optimales à un opérateur d'optimisation conservateur et rigoureux qui maximise l'amélioration sous réserve du contenu informationnel (influence-action) présent dans les données observées.