기술 요약: 반사적 프롬프트 정책 최적화 (R2PO)

문제 정의

기존의 대규모 언어 모델 (LLM) 기반 정책 최적화기는 스칼라 보상 피드백에만 의존하는 블랙박스 탐색기로 작동합니다. 이러한 방법들은 과거 보상 점수를 기반으로 새로운 정책 매개변수를 제안할 수는 있지만, 정책이 실패한 '이유'에 대한 진단적 통찰력은 부족합니다. 최적화기는 0.45 점이라는 점수를 보지만, 일관되게 저조한 성능을 보이는 정책인지, 루프에 갇힌 정책인지, 아니면 20 회 롤아웃 중 19 회는 성공했으나 20 번째에서 치명적인 실패를 겪은 정책인지 구분할 수 없습니다. 이러한 한계로 인해 LLM 기반 최적화기는 표적 수정보다는 시행착오식 튜닝에 의존하게 되며, 이는 종종 불안정한 학습과 비효율적인 수렴을 초래합니다.

방법론: R2PO 프레임워크

저자들은 스칼라 보상을 궤적 수준의 행동 증거로 보완하도록 설계된 2 단계 LLM 프레임워크인 **반사적 프롬프트 정책 최적화 (Reflective Prompted Policy Optimization, R2PO)**를 제안합니다. R2PO 는 컴팩트한 정책 클래스 (연속 제어용 선형 정책 및 이산 작업용 표 정책) 위에서 작동하며, 다음과 같은 구성 요소로 이루어집니다:

1. Search-LLM (글로벌 옵티마이저): 이 단계는 이전 LLM 최적화기 (예: ProPS) 와 유사하게 작동합니다. 평가된 정책의 이력과 그들의 스칼라 평균 보상을 기반으로 Search-LLM 은 초기 후보 매개변수 벡터 ($\theta_{init}$) 를 제안합니다.
2. 환경 평가: 후보 정책은 환경에서 $K$개의 독립적인 롤아웃을 수행하여 상태, 행동, 보상을 포함하는 궤적 집합 $T$를 생성합니다.
3. Critic-LLM (로컬 리바이저): 이 단계가 핵심 혁신을 도입합니다. Critic-LLM 은 스칼라 평균 보상만 받는 대신, $K$개 롤아웃에서 파생된 '보정된 궤적 증거 패키지'를 검사합니다. 이는 무엇이 잘못되었는지 분석하고 표적 매개변수 수정안 ($\theta_{rev}$) 을 제안합니다.
4. 선택 메커니즘: 원래 후보 ($\theta_{init}$) 와 수정된 후보 ($\theta_{rev}$) 가 모두 재평가됩니다. 시스템은 더 높은 평균 보상을 달성하는 쪽을 유지하며, 파괴적인 편집이나 LLM 환각을 필터링합니다.

보정된 궤적 증거

Critic-LLM 이 이상치에 과적합되는 것을 방지하기 위해 R2PO 는 세 가지 특정 구성 요소를 사용하여 증거 패키지를 구성합니다:

• 중앙값 궤적 (Median Trajectory): $K$개 반환값의 중앙값에 가장 가까운 단일 롤아웃으로, 최선 또는 최악의 경우 이상치가 아닌 일반적인 행동을 대표합니다.
• 집계된 롤아웃 통계: 모든 $K$개 롤아웃에 대한 평균, 최소, 최대 보상, 에피소드 길이, 성공/실패율을 요약한 구조화된 보고서입니다. 이는 특정 실패 궤적을 부각시키지 않으면서 실패 빈도를 전달합니다.
• 수정 규칙: 초기 평균 보상이 임계값 ($\tau_c$) 을 초과하고 통계가 일관된 실패 패턴을 나타내지 않는 경우, Critic-LLM 에게 주요 변경을 자제하라는 명시적 지시입니다. 이는 이미 강력한 정책을 '과도하게 수정'하는 것을 방지합니다.

주요 발견 및 분석

1. 현저성 편향 (Salience Bias)

이 논문은 현저성 편향이라는 지배적인 실패 모드를 식별합니다. 여러 궤적 (예: 최선, 최악, 중앙값) 이 제시될 때, Critic-LLM 은 대부분의 롤아웃이 성공적인 행동을 나타내더라도 최악의 경우 궤적을 대표적인 것으로 고정하는 경향이 있습니다. CartPole 환경에서의 3 궤적 변형 실험에서, 이 편향은 **성능 후퇴의 76.6%**를 차지했습니다. LLM 은 단일 운 나쁜 실패를 기반으로 문제를 진단하고, 나머지 19 개의 성공적인 롤아웃에서 정책의 성능을 파괴하는 편집을 제안했습니다.

2. 제거 실험 (Ablation Studies)

10 개 환경에 대한 체계적인 제거 실험은 R2PO 의 성공이 세 가지 요소의 조합에 의존하며, 어느 하나만으로는 충분하지 않음을 보여줍니다:

• 2 단계 아키텍처: 글로벌 제안과 로컬, 행동 기반 수정을 분리하는 것이 필수적입니다. 단일 풍부한 프롬프트 (CriticOnly) 나 순차적 스칼라 전용 검색 (ActorSecondPass) 은 R2PO 의 성능을 따라가지 못합니다.
• 궤적 기반 수정: 실제 롤아웃 증거 (중앙값 궤적 + 통계) 를 사용하는 것은 스칼라 전용 피드백보다 훨씬 우수한 성과를 냅니다.
• 선택 메커니즘: '최고 유지 (keep-best)' 선택 단계가 중요합니다. 이것이 없으면 (AlwaysCritic), 궤적 조건부 편집의 높은 변동성으로 인해 빈번한 성능 후퇴가 발생합니다.

3. 실증 결과

상대적으로 작은 오픈 가중치 **20B 파라미터 모델 (gpt-oss:20b)**을 사용하여 R2PO 는 CartPole, InvertedPendulum, Pong, 커스텀 미로/Nim 작업 등 10 개 환경에서 강력한 베이스라인 (ProPS, ProPS+, PPO, SAC, TRPO 와 같은 최성능 Stable-Baselines3 알고리즘) 에 대해 평가되었습니다.

• 성능: R2PO 는 10 개 환경 중 9 개에서 가장 높은 평균 보상을 달성했으며, 10 번째 (MountainCarContinuous) 에서는 동점을 기록했습니다. CartPole(500), InvertedPendulum(1000), Pong(3.0), Nim(1.0) 에서 가능한 최대 보상을 달성했습니다.
• 효율성: R2PO 는 베이스라인보다 훨씬 일찍 최적에 가까운 성능에 도달했습니다 (예: 약 500 에피소드 내 CartPole 최대 보상 도달, ProPS+ 및 SB3 는 약 4,000 에피소드 소요).
• 안정성: R2PO 는 찾은 강력한 정책을 유지하며, 이전 LLM 방법들에서 흔히 볼 수 있었던 높은 변동성과 고립된 급등과 비교하여 평균 보상과 최고 보상 간의 격차가 훨씬 작았습니다.
• 자원 효율성: 상호작용 예산을 두 배로 늘린 (8,000 에피소드) ProPS 결과와 더 큰 독점 모델 (GPT-4o) 을 비교하더라도, 4,000 에피소드에서 20B 오픈 모델로 학습된 R2PO 는 10 개 환경 중 9 개에서 베이스라인과 맞먹거나 초과하는 성능을 보였습니다.

중요성 및 주장

이 논문은 궤적을 스칼라 반환값으로 축소하는 대신 **1 순위의 인-컨텍스트 증거 (first-class in-context evidence)**로 취급하는 것이 정책 공간을 탐색하는 LLM 의 방식을 근본적으로 변화시킨다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 진단 정밀도: R2PO 는 행동 증거를 활용하여 LLM 이 더 빠르게 학습하고 실패를 더 정확하게 진단하도록 하여, 시행착오식 튜닝을 넘어설 수 있게 합니다.
2. LLM 편향 완화: 이 프레임워크는 원시 최악 사례 궤적 대신 집계 통계와 중앙값 궤적을 사용하여, 여러 증거 소스에 대한 LLM 추론에 내재된 '현저성 편향'을 성공적으로 완화합니다.
3. 접근성: 이러한 이점이 대형 독점 모델에 국한되지 않음을 결과가 보여줍니다. 아키텍처가 올바르게 설계된다면 20B 오픈 가중치 모델만으로도 딥 RL 베이스라인과 이전 LLM 기반 방법을 능가할 수 있습니다.

저자들은 현재 방법이 컴팩트한 정책 클래스 (선형 및 표) 에 초점을 맞추고 있으며 수정 임계값 $\tau_c$의 대략적인 수동 보정이 필요하다는 한계를 지적합니다. 향후 연구는 R2PO 를 고차원 신경 정책으로 확장하고 적응형 보정 메커니즘을 개발하는 방향으로 제안됩니다.