CROP: Conservative Reward for Model-based Offline Policy Optimization

이 논문은 분포 편이로 인한 과대평가를 완화하고 견고한 보수적 보상 추정을 가능하게 하는 새로운 모델 기반 오프라인 강화학습 알고리즘인 CROP(Conservative Reward for model-based Offline Policy optimization) 을 제안하고, 이를 통해 경쟁력 있는 성능을 달성함을 보여줍니다.

핵심

이 논문은 **'CROP'**이라는 새로운 인공지능 학습 방법을 소개합니다. 이 내용을 일반인이 쉽게 이해할 수 있도록 요리사와 레시피에 비유해서 설명해 드릴게요.

🍳 핵심 비유: "위험한 실험을 하지 않는 현명한 요리사"

상상해 보세요. 여러분은 **요리사 (AI)**이고, 새로운 요리를 개발해야 합니다. 하지만 여러분은 **실제 재료를 사서 맛볼 기회 (온라인 상호작용)**가 전혀 없습니다. 오직 **과거에 다른 요리사들이 남긴 레시피 노트 (오프라인 데이터)**만 가지고 있습니다.

여기서 문제가 생깁니다.

• 과거 노트에는 '소금'이 들어간 레시피는 많지만, '설탕'이 들어간 레시피는 한 줄도 없습니다.
• 만약 여러분이 노트에 없는 '설탕'을 넣어서 요리를 만든다면, 아마 맛이 없을 것입니다. 하지만 AI 는 "아마도 이 설탕이 엄청 맛있는 게 아닐까?"라고 과도하게 낙관적으로 착각할 수 있습니다. 이를 '분포 이동 (Distribution Shift)' 문제라고 합니다.

기존의 방법들은 "너는 과거에 없던 재료는 쓰지 마!"라고 강하게 금지하거나, "그 재료가 얼마나 위험한지 계산해 봐"라고 **복잡한 계산기 (모델 불확실성 추정)**를 들이밀었습니다. 하지만 이 계산기는 종종 고장 나거나, 너무 복잡해서 요리사가 지쳐버립니다.

🌱 CROP 의 새로운 아이디어: "맛없는 재료는 아예 맛없게 만들어라"

이 논문이 제안한 CROP은 아주 간단하지만 강력한 발상을 합니다.

"과거에 없던 (알 수 없는) 재료에 대해서는, 아예 '맛이 없다'는 점수를 낮게 매겨버리자."

즉, AI 가 새로운 재료를 쓸 때, "이게 맛있겠지?"라고 기대하는 대신, **"아마도 맛이 없을 거야 (혹은 위험할 거야)"**라고 의도적으로 낮게 평가하는 것입니다.

📝 구체적인 작동 원리 (3 단계)

1. 레시피 노트 분석 (모델 학습):

   • AI 는 과거의 레시피 노트를 보며 "어떤 재료를 얼마나 썼을 때 맛이 좋았는지"를 배웁니다.
   • 이때 CROP 은 **"무작위로 뽑은 재료 (예: 갑자기 넣은 고추)"**에 대해서도 점수를 매겨보는데, 의도적으로 그 점수를 낮게 책정합니다.
   • 마치 "이 재료는 아직 검증되지 않았으니, 일단 '맛없음'으로 처리하자"라고 생각하게 만드는 것입니다.

2. 안전한 시뮬레이션 (정책 최적화):

   • 이제 AI 는 이 '수정된 레시피'를 바탕으로 새로운 요리를 상상합니다.
   • "과거에 없던 재료를 넣으면 점수가 확 떨어지겠네?"라고 깨닫게 됩니다.
   • 그래서 AI 는 안전한, 과거에 검증된 재료들만 선택하게 됩니다. 실수할 확률이 줄어듭니다.

3. 결과:

   • AI 는 위험한 실험을 하지 않고, 안전하면서도 꽤 맛있는 요리를 만들어냅니다.

🚀 왜 이 방법이 특별한가요?

• 복잡한 계산기 불필요: 다른 방법들은 "이 재료가 얼마나 위험할까?"를 계산하기 위해 복잡한 수학적 모델 (불확실성 추정기) 을 사용하지만, CROP 은 단순히 점수 (Reward) 만 조정하면 됩니다. 요리사가 복잡한 계산기를 들고 다닐 필요 없이, 레시피 한 줄만 고쳐도 되는 셈입니다.
• 빠르고 안정적: 복잡한 계산 과정이 생략되니, 학습 속도가 더 빠르고 결과가 더 안정적입니다.
• 성공적인 검증: 실제 로봇이 걷는 시뮬레이션 (D4RL 데이터셋) 에서 기존에 가장 잘하던 방법들과 맞먹거나 더 좋은 성적을 냈습니다.

💡 한 줄 요약

CROP은 "알 수 없는 미래 (새로운 행동) 에 대해 너무 기대하지 말고, 일단 낮게 평가해서 안전하게 행동하라"는 지혜를 인공지능에게 심어주는 방법입니다.

이처럼 **단순한 규칙 (점수 낮추기)**으로 복잡한 문제를 해결하는 이 방법은, 로봇이 인간과 함께 안전하게 일하거나, 자율주행차가 사고 없이 운전하는 데 큰 도움이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 강화학습 (RL) 은 게임, 로봇 제어 등 다양한 분야에서 성과를 거두었으나, 전통적인 온라인 RL 은 환경과의 실시간 상호작용이 필요하여 비용이 높거나 위험할 수 있습니다. 이를 해결하기 위해 오프라인 RL (Offline RL) 이 주목받고 있으며, 이는 수집된 데이터셋만을 사용하여 정책을 최적화하는 방식입니다.
• 주요 문제: 오프라인 RL 의 가장 큰 난제는 분포 이동 (Distribution Shift) 입니다. 데이터 수집 시의 행동 정책 (Behavior Policy) 과 학습 중인 정책 간의 차이로 인해, 학습된 Q 함수가 데이터에 없는 상태 - 행동 쌍 (OOD, Out-of-Distribution) 에 대해 과도하게 과대평가 (Overestimation) 되는 현상이 발생합니다. 이는 정책 최적화 과정에서 치명적인 성능 저하로 이어집니다.
• 기존 방법의 한계:
  • 모델 프리 (Model-free) 접근: 정책 제약을 통해 OOD 행동을 제한하지만, 데이터 범위를 벗어난 상태에서는 일반화가 어렵고 성능이 떨어집니다.
  • 모델 기반 (Model-based) 접근: 환경 모델을 학습하여 데이터를 확장하지만, 모델의 불확실성 (Uncertainty) 을 추정하거나 OOD 데이터를 감지하기 위한 복잡한 구조 (예: 판별기, 역동역학 모델, 카운터 등) 가 필요하거나, 강력한 휴리스틱 가정을 요구하는 경우가 많습니다. 이는 모델의 복잡성과 불안정성을 초래합니다.

2. 제안 방법론: CROP (Methodology)

저자들은 CROP (Conservative Reward for model-based Offline Policy optimization) 알고리즘을 제안했습니다. 핵심 아이디어는 정책이나 가치 함수가 아닌 보상 함수 (Reward Function) 에 직접 보수성 (Conservatism) 을 도입하는 것입니다.

• 보수적 보상 추정 (Conservative Reward Estimation):

  • 모델 학습 단계에서 보상 추정기 ($\hat{r}$) 를 업데이트할 때, 단순히 실제 보상과의 오차만 최소화하는 것이 아니라, 무작위 행동 (Random Actions) 에 대한 보상도 함께 최소화하는 새로운 목적 함수를 사용합니다.
  • 목적 함수: $l_r = \mathbb{E}_D [(\hat{r}(s, a) - R(s, a))^2] + \beta \cdot \text{mean}[\hat{r}(s, \bar{a})]$
    • 여기서 $\beta$는 보수성 수준을 조절하는 하이퍼파라미터이며, $\bar{a}$는 무작위 행동입니다.
  • 원리: 데이터에 빈번히 등장하는 행동은 실제 보상과 유사하게 추정되지만, 데이터에 드물게 등장하는 OOD 행동은 무작위 행동의 보상을 낮추는 항 ($\beta$) 에 의해 강하게 과소평가됩니다. 이는 OOD 행동에 대한 Q 값의 과대평가를 방지합니다.

• 실제 구현 (Practical Implementation):

  • 모델 학습: 상태 전이 모델 ($\hat{T}$) 과 보수적 보상 모델 ($\hat{r}$) 을 앙상블 (Ensemble) 로 학습합니다. 보상 모델의 출력 범위를 제한 (Sigmoid 변환 후 선형 변환) 하여 학습 안정성을 확보합니다.
  • 정책 최적화: 학습된 모델과 상호작용하며 정책을 업데이트합니다. 기존 SAC(Soft Actor-Critic) 알고리즘을 사용하되, 보상 추정 시 앙상블 모델들의 평균을 사용하여 분산을 줄입니다.
  • 안전장치: 모델 생성 데이터의 편향을 줄이기 위해 검증 세트에서의 조기 종료 (Early Stopping), 짧은 롤아웃 (Rollout) 길이, 그리고 보수적 보상 추정을 통한 OOD 행동에 대한 강력한 페널티를 적용합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 보수적 보상 추정 기법: 모델 불확실성 추정기나 추가적인 구성 요소 (판별기 등) 없이, 보상 추정 단계에서 무작위 행동의 보상을 최소화함으로써 OOD 행동을 간접적으로 과소평가합니다. 이는 적대적 업데이트 (Adversarial updates) 를 피하면서도 보수성을 확보합니다.
2. 이론적 분석: 제안된 방법이 Q 함수를 보수적으로 추정하여 분포 이동 문제를 완화함을 수학적으로 증명했습니다. 또한, 학습된 정책이 행동 정책 (Behavior Policy) 보다 낮은 성능을 보장하지 않는 하한선 (Performance Lower Bound) 을 가짐을 보였습니다.
3. 경쟁력 있는 실험 결과: D4RL 벤치마크 (Mujoco-v2) 에서 기존 최첨단 모델 기반 및 모델 프리 오프라인 RL 방법들 (COMBO, RAMBO, IQL 등) 과 비교하여 경쟁력 있는 성능을 입증했습니다. 특히 복잡한 구조 없이도 Count-MORL 과 유사한 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: D4RL 의 Mujoco-v2 태스크 (Hopper, Walker2d, HalfCheetah) 의 Random, Medium, Medium-Replay, Medium-Expert 데이터셋 총 12 개.
• 성능:
  • CROP 은 12 개 데이터셋 중 11 개에서 일관되고 경쟁력 있는 성능을 보였습니다. 평균 정규화 점수는 78.6으로, 기존 방법들 (COMBO: 68.9, RAMBO: 65.7 등) 보다 우수하거나 유사한 수준을 기록했습니다.
  • 특히, 가치 함수 업데이트에 보수성을 도입한 COMBO 나 전체 환경 모델에 보수성을 도입한 RAMBO 보다 더 나은 성능을 보여주어, 보상 추정기에 보수성을 도입하는 방식의 유효성을 입증했습니다.
• 안정성: 5 개의 서로 다른 시드 (Seed) 로 실험한 결과, 표준 편차가 작아 (±0.5 ~ ±3.0) 학습의 안정성과 수렴성이 높음을 확인했습니다.
• 효율성: RAMBO 와 비교 시, CROP 은 정책 최적화 단계에서 적대적 학습을 수행하지 않아 학습 시간이 더 짧았습니다 (예: Hopper-M 에서 55,200 초 vs 118,020 초).

5. 의의 및 결론 (Significance)

• 간결함과 효율성: 복잡한 구조나 추가적인 모듈 없이 보상 함수의 손실 함수를 단순하게 수정함으로써 보수성을 구현했습니다. 이는 모델 기반 오프라인 RL 의 복잡성을 크게 줄여줍니다.
• 새로운 관점: 오프라인 RL 을 "보수적 보상 추정 하의 온라인 RL"로 재해석할 수 있는 관점을 제시했습니다. 이는 온라인 RL 의 최신 발전 성과를 오프라인 설정에 적용하는 데 기여할 수 있습니다.
• 향후 과제: 보수성 정도를 조절하는 $\beta$ 파라미터를 데이터의 품질에 따라 자동으로 조정하는 적응형 메커니즘 개발과, 트랜스포머 (Transformer) 기반의 강력한 네트워크 아키텍처와의 결합 등을 향후 연구 방향으로 제시했습니다.

요약하자면, CROP 은 모델 기반 오프라인 RL 에서 발생하는 분포 이동 문제를 해결하기 위해, 보상 추정 단계에서 무작위 행동의 보상을 과소평가하는 간단한 yet 강력한 기법을 제안하여, 복잡한 구조 없이도 높은 성능과 안정성을 달성한 연구입니다.