Success Conditioning as Policy Improvement: The Optimization Problem Solved by Imitating Success

기술 요약: 정책 개선으로서의 성공 조건화(Success Conditioning)

문제 정의
성공 조건화(Success conditioning)는 강화 학습(RL) 및 대규모 언어 모델(LLM)의 사후 학습(post-training) 파이프라인에서 널리 채택되는 휴리스틱이다. 이 방법은 궤적(trajectories)을 수집하고, 원하는 결과(성공)를 달성한 궤적을 필터링한 뒤, 해당 성공적인 궤적에서 취해진 행동들을 모방하도록 정책을 업데이트하는 과정을 포함한다. 거절 샘플링을 통한 지도 미세 조정(rejection sampling with SFT), 목표 조건부 RL(goal-conditioned RL), 디시전 트랜스포머(Decision Transformer) 등 다양한 이름으로 불리며 널리 사용되고 있음에도 불구하고, 이 방법이 해결하는 이론적 최적화 문제는 그동안 불분명했다. 표준 RL 방법론과 달리, 성공 조건화는 가치 함수를 명시적으로 추정하거나 정책 경사(policy gradient)를 계산하지 않는다. 기존의 분석들은 특히 확률적 환경에서 최적 정책을 회복하지 못한다는 근본적인 한계를 지적해 왔으나, 그럼에도 불구하고 이 방법은 효과적으로 계속 사용되고 있다. 본 논문이 다루는 핵심 질문은 다음과 같다: 만약 성공 조건화가 최적 정책을 회복하지 못한다면, 실제로 어떤 최적화 문제를 해결하는 것이며, 그 보장성과 실패 모드는 무엇인가?

방법론 및 정식화
본 논문은 에피소드형 마르코프 결정 과정(MDP)의 틀 안에서 성공 조건화를 정식화한다.

• 설정: 궤적 $\tau$는 행동 정책 $\pi_0$에 의해 생성된다. 성공은 이진 이벤트 $R(\tau)=1$로 정의된다.
• 대상 정책: 성공 조건부 정책 $\pi^+$는 베이지안 조건부 확률을 통해 다음과 같이 정의된다:
  $$\pi^+(a | s) = P_{\pi_0}(A_t = a | S_t = s, R(\tau) = 1)$$
  이 정책은 궤적이 결국 성공했을 때 취해진 행동들의 분포를 나타낸다.
• 학습: 실제 구현에서 $\pi^+$는 성공적인 궤적 데이터셋에 대한 다음 행동 예측 손실(교차 엔트로피)을 최소화함으로써 근사된다.

주요 기여 및 이론적 결과

1. 신뢰 영역 등가성 (The Trust-Region Equivalence)
본 논문의 주요 이론적 기여는 성공 조건화가 특정 신뢰 영역 정책 최적화 문제의 정확한 해라는 것을 증명한 것이다.

• 목적 함수: 이는 1차 정책 개선 항 $L_{\pi_0}(\pi)$ (행동 정책 하에서의 기대 어드밴티지)를 최대화한다.
• 제약 조건: 최적화는 새로운 정책과 행동 정책 사이의 $\chi^2$ 발산(divergence)에 대한 제약을 따르며, 이때 가중치는 성공 조건부 점유 측도(occupancy measure) $d^+_{\pi_0}$에 의해 결정된다.
• 반경: 이 신뢰 영역의 반경은 사용자가 선택하는 하이퍼파라미터가 아니라 데이터에 의해 자동으로 결정된다. 구체적으로, 제약 반경은 행동 정책의 총체적인 **행동 영향력(action-influence)**과 같다.
• 기하학적 구조: KL 발산을 사용하는 TRPO(Trust Region Policy Optimization)나 PPO(Proximal Policy Optimization)와 달리, 성공 조건화는 $\chi^2$ 발산을 사용한다. 이 기하학적 구조는 더 보수적이다. 즉, 행동 정책 하에서 드물었던 행동에 확률을 할당하는 것을 엄격하게 제한하지만(탐험은 "비싸다"), 이미 잘 지원되었던 행동에 확률 질량을 집중시키는 것은 허용한다(망각은 "싸다").

2. 행동 영향력 항등식 (The Action-Influence Identity)
본 논문은 모든 상태 $s$에서 다음 세 가지 양을 연결하는 놀라운 항등식을 확립한다:

1. 상대적 어드밴티지 (Relative Advantage): $\pi^+$에 의해 제공되는 성공 확률의 상대적 개선 정도.
2. 정책 변화 (Policy Change): $\chi^2$ 발산으로 측정된 정책 변화의 크기.
3. 행동 영향력 ($I_{\pi_0}(s)$): 행동 정책의 확률적 행동 선택에 의해 유도되는 성공률의 변동성을 측정하는 지표.

수식으로 표현하면, 성공 조건부 정책 $\pi^+$에 대하여 다음과 같다:
$$\frac{A_{\pi_0}(s, \pi^+)}{V_{\pi_0}(s)} = \chi^2(\pi^+(\cdot|s) \| \pi_0(\cdot|s)) = I_{\pi_0}(s)$$
이 항등식은 정책 변화의 정도가 곧 개선 가능성(potential for improvement)과 정확히 일치함을 의미한다. 만약 행동 정책의 행동 선택이 결과에 큰 영향을 미치지 못한다면(낮은 행동 영향력), 정책은 변화하지 않을 것이다.

3. 실패 모드의 특성화 (Characterization of Failure Modes)
본 논문은 알려진 성공 조건화의 한계를 재해석한다.

• 보수적 개선 (Conservative Improvement): 성공 조건화는 보수적인 연산자이다. 이는 성능을 저하시키거나 위험한 분포 변화를 유발할 수 없는데, 이는 관찰된 데이터의 행동 영향력에 의해 제약되기 때문이다.
• 관찰 가능한 실패: 성공 조건화가 최적 정책을 찾는 데 실패할 때(예: 두 팔 밴딧 문제에서 성공률이 거의 동일할 때), 이는 정책을 거의 업데이트하지 않음으로써 실패한다. 즉, 이 실패는 불안정성이 아니라 **과도한 보수성(over-conservatism)**에 의한 것이다. 데이터가 행동을 변경하는 것이 성공률을 높일 것이라는 신호를 제공하지 못하기 때문에 정책은 행동 정책 근처에 머물게 된다.

4. 조밀한 보상 및 프록시 기준 (Dense Rewards and Proxy Criteria)
본 논문은 반환값 임계치 설정(return thresholding, 성공을 $Y > \theta$로 정의)을 통한 조밀한 보상 환경으로 분석을 확장한다.

• 충실한 모델 vs 프록시 모델: "충실한(faithful)" 이진 축소는 기대 반환값 목적 함수를 보존한다. 그러나 반환값 임계치 설정과 같은 일반적인 관행은 **프록시 보상(proxy rewards)**으로 작와한다.
• 트레이드오프: 프록시 보상이 매우 판별력이 높다면 프록시 보상에 조건화하는 것이 행동 영향력(및 그에 따른 잠재적 개선)을 증폭시킬 수 있다. 그러나 임계치가 너무 높게 설정되면, 프록시는 신뢰할 수 있는 행동보다는 변동성이 큰 결과에 의한 "운 좋은" 궤적을 선택할 수 있다. 이는 프록시 목적 함수와 실제 평가 목적 함수 사이의 불일치를 초계하여 성능을 저하시킬 수 있다.

5. 정책 경사와의 관계 (Relationship to Policy Gradients)
본 논문은 성공 조건화를 표준 RL 알고리즘과 연결한다.

• REINFORCE: 만약 매 업데이트 단계마다 행동 정책이 갱신된다면($N=1$인 반복 스킴), 성공 조건화 손실의 경사는 REINFORCE 정책 경사와 동일하다.
• 오프-폴리시 특성: 고정된 성공 궤적 데이터셋을 학습하는 표준 성공 조건화는 오프-폴리시(off-policy) 방식이다. 이는 현재 정책에 대해 점진적인 경사 단계를 수행하는 대신, 고정된 행동 정책을 바탕으로 타겟 정책을 정의하고 이를 지도 학습을 통해 적합시킨다.

의의 및 주장
본 논문은 성공 조건화를 신뢰 영역 방법론(TRPO, PPO)과 동일한 계열로 배치하면서도, 독특한 기하학적 특성($\chi^2$ vs KL)과 자동 결정되는 반경을 가진다는 점을 밝힘으로써 성공 조건화에 대한 원칙적인 이해를 제공한다고 주장한다.

• 안전성: 이론적으로 정확한 성공 조건화는 성능을 저하시키지 않음을 보장하며, 그 실패 모드는 위험한 분포 변화가 아닌 무해한(변화 없음) 형태이다.
• 진단적 유용성: 학습된 정책과 행동 정책 사이의 $\chi^2$ 발산은 새로운 롤아웃이나 보상 레이블 없이도 달성 가능한 개선의 크기를 나타내는 직접적인 사전(ex-ante) 진단 지표 역할을 한다.
• 한계점: 저자들은 본 분석이 고정된 행동 정책 하에서의 정확한 성공 조건화를 특징짓는다는 점을 명시한다. 이는 유한 데이터 효과, 함수 근사 오류, 또는 반복되는 성공 조건화의 수렴 문제를 다루지 않으며, 이는 향후 연구 과제로 남겨두었다.

요약하자면, 본 논문은 성공 조건화를 단순히 최적의 행동을 "추측"하는 휴리스틱에서, 관찰된 데이터에 존재하는 정보 함량(행동 영향력)에 따라 제한되는 엄격하고 보수적인 최적화 연산자로 재정의한다.