기술 요약: 체화된 월드 모델을 위한 에이전트로서의 보상 (Reward as An Agent for Embodied World Models)

문제 정의

강화 학습(RL)은 신뢰할 수 있는 보상 신호(예: 코드 실행)를 사용하여 대규모 언어 모델(LLM) 및 시각-언어 모델(VLM)을 정교화하는 데 성공했지만, **체화된 월드 모델(Embodied World Models)**에 대한 적용은 여전히 제한적입니다. 기존 방법들은 보상 해킹(reward hacking)을 피하기 위해 훈련 분포 근처에 머무르는 보수적인 롤아웃 전략에 의존합니다.

체화된 작업에서 보상은 종-종 프록시(proxy) 기반이며 주관적입니다. 강력한 검증이 없다면, 확장된 탐사(exploration)는 실제 물리적 현실성이나 과업 완수를 달하는 것이 아니라, 보상 함수의 결함(예: 시각적 폐쇄, 운동 저하 또는 물리적 무효화)을 악용하는 정책으로 이어집니다. 식별된 핵심 병목 현상은 탐사 그 자체의 문제가 아니라, 분포 변화(distribution shifts) 하에서도 광범위한 탐사를 지원할 수 있는 신뢰할 수 있는 검증 전략의 부재입니다.

방법론

본 논문은 월드 모델을 위한 확장 가능한 RL을 가능하게 하기 위해, 강력한 보상 시스템과 동적 인지형 탐사 전략을 결합한 통합 프레임워크를 제안합니다.

1. 에이전트로서의 보상 (Reward as an Agent)

보상 해킹을 완화하기 위해, 저자들은 보상 함수를 정적인 스칼라에서 에이전트 기반 평가 프레임워크로 재설계했습니다. 이 시스템은 평가를 단순한 컴퓨터 비전 검출기나 도메인 특화 VLM에 의존하는 것이 아니라, 프런티어급 VLM을 기반으로 구축된 에이전트가 수행하는 다단계 작업으로 취급합니다.

이 프레임워크는 네 가지 핵심 모듈을 통해 작동합니다:

• 계획(Planning): 상세한 점수 산정 전에 동적으로 하위 보상 우선순위를 초기화하여 롤아웃 품질을 전역적으로 평가합니다.
• 커리큘럼 기반 보상(Curriculum-based Reward): 계층적 평가 순서(시각적 품질 $\to$ 지시 이행 $\to$ 과업 완수 $\to$ 물리적 준수)를 따릅니다. 하위 차원이 임계값 기준을 충족해야 상위 차원이 평가되므로, 모델이 기본적인 품질 검사를 통과하지 못한 채 고차원 보상을 최적화하는 것을 방지합니다.
• 투표 메커니즘(Voting Mechanism): 복잡한 차원(예: 물리적 준수)은 세밀한 구성 요소(상호작용 실재감, 변형, 침투 등)로 분해되어 투표를 통해 평가되며, 이를 통해 국소적인 실패에 대해 페널티를 부여합니다.
• 성찰(Reflection): 에이전트가 이전 평가를 바탕으로 궤적을 재평가하여 일관성을 교차 확인하고 결함이 있는 결론을 수정하는 신뢰성 레이어입니다.

시스템은 시각적 품질(Visual Quality), 지시 이행(Instruction Following), 물리적 준수(Physical Compliance), **과업 완수(Task Completion)**의 네 가지 핵심 차원을 평가합니다.

2. 동적 인지형 롤아웃 다양화 (DynDiff-GRPO)

보수적인 RL에서 발생하는 동적 공간의 탐사 부족 문제를 해결하기 위해, 저자들은 DynDiff-GRPO를 도입했습니다. 모든 그룹 내 상대적 정책 최적화(GRPO)가 확률성을 균일하게 억제하는 것과 달리, 이 방법은 장면의 일관성을 유지하면서 동적으로 중요한 영역에 확률성을 선택적으로 재할당합니다.

• 메커니즘: 이 방법은 예측된 깨끗한 샘플의 시간적 변화로부터 동적 민감 잔차(dynamic-sensitive residuals)를 추정하여 동적 강도 맵($D$)과 희소 동적 영역 사전 확률($B$)을 생성합니다.
• 적응형 노이즈(Adaptive Noise): 이 맵들을 결합하여 노이즈 스케일($\sigma_{noise}$)을 조절하는 롤아웃 마스크($M_t$)를 생성합니다. 높은 동적 영역에는 더 강한 탐사가 이루어지는 반면, 낮은 동적 영역은 안정성을 유지합니다.
• 최적화: 이 접근 방식은 스칼라 분산으로 붕괴되지 않고 전체 특징 인지 가우시안 가능도 추정(full feature-aware Gaussian likelihood estimation)을 활용합니다. 또한, 고정된 참조 모델의 메모리 오버헤드 없이 정책 드리프트를 제한하기 위해 롤아웃 버퍼에서 캐싱된 분포 파라미터를 사용하는 참조 없는 주기적 KL 정규화(reference-free periodic KL regularization)를 사용합니다.

주요 기여

1. 에이전트로서의 보상 프레임워크: 정적인 메트릭을 적응형 에이전트 기반 검증으로 대체하는 구조화된 다단계 평가 시스템입니다. 이는 계획, 커리큘럼, 투표, 성찰을 통해 프록시 목표를 진정한 체화된 목표와 정렬함으로써 보상 해킹을 효과적으로 완화합니다.
2. 동적 인지형 롤아웃 (DynDiff-GRPO): 구조적 무결성이나 시각적 충실도를 희생하지 않으면서 동적 영역에서의 궤적 다양성을 확장하는 확률적 롤아웃 전략으로, 보수적인 ODE 형태의 궤적을 넘어섭니다.
3. 확장 가능한 RL의 증거: 이 구성 요소들의 결합은 월드 모델에서의 RL 스케일링이 강력한 검증에 기반할 때 보수적인 체제(conservative regimes)를 넘어 유의미한 정확도 향상을 이끌어낼 수 있음을 입증합니다.

실험 결과

본 방법은 PAI-Bench 로보틱스 서브셋에서 Cosmos-Predict2.5 (2B) 및 Kairos-3.0-Robot (4B) 두 가지 베이스 모델을 사용하여 평가되었습니다.

• 성능 향상: DynDiff-GRPO는 도메인 점수(추론 및 행동 정렬)와 전체 점수에서 유의미한 향상을 달가했습니다.
  • Cosmos-Predict2.5의 경우, 전체 점수가 +1.33 (79.42에서 80.75로) 향상되었습니다.
  • Kairos-3.0-Robot의 경우, 전체 점수가 +1.53 (80.35에서 81.88로) 향상되었으며, 특히 도메인 점수에서 +3.08의 눈에 띄는 상승을 보였습니다.
• 보상 시스템 정확도: AgiBotWorld-Beta 데이터셋을 통해 평가했을 때, "에이전트로서의 보상" 시스템은 인간의 판단과 **91.0%**의 전체 정렬도를 달성했습니다. 계획 정확도는 98%로 가장 높았으며, 물리적 준수(가장 어려운 차원)는 82%에 도달했습니다.
• 어블레이션 연구(Ablation Studies):
  • 롤아웃 다양성: DynDiff-GRPO는 CPS와 같은 보수적인 베이스라인에 비해 더 높은 궤적 다양성(DINOv3 코사인 거리로 측정)을 유지했습니다.
  • 구성: 분포 공간 KL 정규화(log-prob 공간 상에서)와 감소된 어드밴티지 클리핑(2.5 대 5)이 안정성을 개선함을 발견했습니다. Classifier-Free Guidance(CFG)는 성능을 향상시켰으나 계산 비용이 발생했습니다. 고해상도에서 이를 비활성화하면 경쟁력 있는 성능을 유지하면서 처리량을 개선할 수 있었습니다.

의의 및 주장

본 논문은 월드 모델에 RL을 적용하는 데 있어 근본적인 한계는 탐사 메커니즘이 아니라 **검증 격차(verification gap)**라고 주장합니다. 분포 변화 하에서도 행동을 검증할 수 있는 강력한 에이전트 기반 보상 시스템을 도입함으로써, 저자들은 더 넓은 탐사가 가능하며 필수적임을 입증했습니다.

본 연구는 탐사와 검증이 나란히 확장되어야 함을 확립합니다. 탐사가 신뢰할 수 있는 다차원 검증(에이전트로서의 보상)에 의해 고정되고 동적 인지 샘플링(DynDiff-GRPO)에 의해 가이드될 때, RL은 복잡한 물리적 역학을 위해 월드 모델을 성공적으로 최적화할 수 있으며, 이는 보수적인 체제의 좁고 보상에 치우친 궤적을 넘어설 수 있음을 보여줍니다. 이는 이제 체화된 AI 영역에 적용된, 파운데이션 모델에서 보여준 대규모 최적화 성공으로 가는 경로를 제공합니다.