Success Conditioning as Policy Improvement: The Optimization Problem Solved by Imitating Success

Technische Samenvatting: Success Conditioning als Policy Improvement

Probleemstelling
Success conditioning is een veelgebruikte heuristiek in reinforcement learning (RL) en post-training pipelines voor large language models (LLMs). De methode houdt in dat trajecten worden verzameld, gefilterd op die welke een gewenst resultaat bereiken (succes), en dat een policy wordt bijgewerkt om de acties te imiteren die tijdens deze succesvolle trajecten zijn uitgevoerd. Ondanks de prevalentie onder verschillende namen—zoals rejection sampling met supervised fine-tuning (SFT), goal-conditioned RL en Decision Transformers—is het theoretische optimalisatieprobleem dat het oplost onduidelijk gebleven. In tegenstelling tot standaard RL-methoden schat success conditioning niet expliciet value functies in of berekent het geen policy gradients. Eerdere analyses suggereerden fundamentele beperkingen, met name in stochastische omgevingen waar het faalt om optimale policies te herstellen, maar het wordt nog steeds effectief gebruikt. De centrale vraag die wordt geadresseerd is: Als success conditioning geen optimale policies herstelt, welk optimalisatieprobleem lost het dan eigenlijk op, en wat zijn de garanties en faalmodi?

Methodologie en Formalisering
Het artikel formaliseert success conditioning binnen het kader van episodische Markov Decision Processes (MDPs).

• Setup: Trajecten $\tau$ worden gegenereerd door een behavior policy $\pi_0$. Succes wordt gedefinieerd als een binaire gebeurtenis $R(\tau)=1$.
• Target Policy: De success-conditioned policy $\pi^+$ wordt gedefinieerd via Bayesiaanse conditionering:
  $$\pi^+(a | s) = P_{\pi_0}(A_t = a | S_t = s, R(\tau) = 1)$$
  Deze policy vertegenwoordigt de distributie van acties die zijn ondernomen, gegeven dat het traject uiteindelijk succesvol was.
• Leren: In de praktijk wordt $\pi^+$ benaderd door de next-action prediction loss (cross-entropy) te minimaliseren op een dataset van succesvolle trajecten.

Belangrijkste Bijdragen en Theoretische Resultaten

1. De Trust-Region Equivalentie
De primaire theoretische bijdrage is het bewijs dat success conditioning de exacte oplossing is voor een specifiek trust-region policy optimization probleem.

• Doelstelling: Het maximaliseert de eerste-orde policy improvement term $L_{\pi_0}(\pi)$ (de verwachte advantage onder de behavior policy).
• Constraint: De optimalisatie staat onder een constraint op de $\chi^2$ divergentie tussen de nieuwe policy en de behavior policy, gewogen door de success-conditioned occupancy measure $d^+_{\pi_0}$.
• Radius: De radius van deze trust region is geen hyperparameter die door de gebruiker wordt gekozen, maar wordt automatisch bepaald door de data. Specifiek is de constraint radius gelijk aan de geaggregeerde action-influence van de behavior policy.
• Geometrie: In tegenstelling tot Trust Region Policy Optimization (TRPO) of Proximal Policy Optimization (PPO), die Kullback-Leibler (KL) divergentie gebruiken, gebruikt success conditioning $\chi^2$ divergentie. Deze geometrie is conservatiever: het straft het toekennen van waarschijnlijkheid aan acties die zeldzaam waren onder de behavior policy zwaar af (exploratie is "duur"), maar het staat toe dat waarschijnlijkheidsmassa wordt geconcentreerd op acties die al goed ondersteund waren (vergeten is "goedkoop").

2. De Action-Influence Identiteit
Het artikel vestigt een opmerkelijke identiteit die drie grootheden aan elke staat $s$ koppelt:

1. Relatieve Advantage: De relatieve verbetering in succeswaarschijnlijkheid geboden door $\pi^+$.
2. Policy Change: De omvang van de policy verschuiving gemeten door $\chi^2$ divergentie.
3. Action-Influence ($I_{\pi_0}(s)$): Een metriek die de variabiliteit in succespercentages meet die wordt geïnduceerd door de stochastische actie-selectie van de behavior policy.

Wiskundig gezien, voor de success-conditioned policy $\pi^+$:
$$\frac{A_{\pi_0}(s, \pi^+)}{V_{\pi_0}(s)} = \chi^2(\pi^+(\cdot|s) \| \pi_0(\cdot|s)) = I_{\pi_0}(s)$$
Deze identiteit impliceert dat de omvang van de policy verandering exact gelijk is aan het potentieel voor verbetering. Als de actie-selectie van de behavior policy de uitkomst niet significant beïnvloedt (lage action-influence), zal de policy niet veranderen.

3. Karakterisering van Faalmodi
Het artikel herinterpreteert de bekende beperkingen van success conditioning.

• Conservatieve Verbetering: Success conditioning is een conservatieve operator. Het kan prestaties niet verslechteren of gevaarlijke distributieverschuivingen induceren omdat het wordt beperkt door de geobserveerde data's action-influence.
• Observeerbaar Falen: Wanneer success conditioning faalt om een optimale policy te vinden (bijvoorbeeld in het twee-armige bandit voorbeeld waarbij succespercentages bijna identiek zijn), doet het dit door de policy nauwelijks bij te werken. Het falen is er een van over-conservatisme, niet van instabiliteit. De policy blijft dicht bij de behavior policy omdat de data geen signaal biedt dat het veranderen van acties de succespercentages zou verbeteren.

4. Dense Rewards en Proxy Criteria
Het artikel breidt de analyse uit naar settings met dense rewards via return thresholding (het definiëren van succes als $Y > \theta$).

• Faithful vs. Proxy: Een "faithful" binaire reductie behoudt de verwachte return doelstelling. Veelvoorkomende praktijken zoals return thresholding fungeren echter als proxy rewards.
• Trade-off: Conditioneren op een proxy reward kan de action-influence (en dus potentieel voor verbetering) versterken als de proxy zeer discriminerend is. Echter, als de threshold te hoog wordt ingesteld, kan de proxy selecteren voor "gelukkige" trajecten met volatiele uitkomsten in plaats van betrouwbare acties. Dit leidt tot een mismatch tussen de proxy doelstelling en de ware evaluatie doelstelling, wat potentieel de prestaties kan verslechteren.

5. Relatie met Policy Gradients
Het artikel verbindt success conditioning met standaard RL-algoritmen:

• REINFORCE: Als de behavior policy na elke enkele update stap wordt ververst ($N=1$ in een iteratief schema), is de gradiënt van de success-conditioning loss equivalent aan de REINFORCE policy gradient.
• Off-Policy Natuur: Standaard success conditioning (trainen op een vaste dataset van succesvolle trajecten) is off-policy. Het definieert een target policy gebaseerd op een bevroren behavior policy en past deze aan via supervised learning, in plaats van incrementele gradiëntstappen op de huidige policy uit te voeren.

Betekenis en Claims
Het artikel claimt een principiële basis te bieden voor het begrip van success conditioning, waardoor het in dezelfde familie wordt geplaatst als trust-region methoden (TRPO, PPO) maar met een distinctieve geometrie ($\chi^2$ vs. KL) en automatische radius bepaling.

• Veiligheid: De theorie garandeert dat exacte success conditioning de prestaties niet zal verslechteren; de faalmodus is benign (geen verandering) in plaats van gevaarlijk (distributieverschuiving).
• Diagnostisch Nut: De $\chi^2$ divergentie tussen de geleerde policy en de behavior policy dient als een directe, ex-ante diagnose voor de omvang van de haalbare verbetering, zonder dat daarvoor nieuwe rollouts of reward labels nodig zijn.
• Beperkingen: De auteurs merken op dat hun analyse de exacte success conditioning onder een vaste behavior policy karakteriseert. Het behandelt geen effecten van eindige data, fouten in functie-approximatie of de convergentie van iteratieve success conditioning, welke als openstaande richtingen worden gelaten.

Samenvattend herkadert het artikel success conditioning van een heuristiek die "gokt" welke acties optimaal zijn naar een rigoureuze, conservatieve optimalisatie-operator die verbetering maximaliseert onder de restrictie van de informatie-inhoud (action-influence) die aanwezig is in de geobserveerde data.