1. 문제 정의 (Problem)

기존의 로봇 학습 (Robot Learning) 은 주로 인간이 수동으로 설계한 보상 함수 (Reward Function) 나 시연 데이터 (Demonstrations) 에 의존합니다. 최근에는 대규모 비전 - 언어 모델 (VLM, Vision-Language Models) 을 보상 신호로 활용하려는 시도가 증가하고 있습니다. 그러나 현재 가장 강력한 VLM 들 (예: GPT-5, Gemini-3-Pro 등) 을 강화학습 (RL) 의 보상 평가자로 사용할 때 다음과 같은 심각한 한계가 존재합니다.

• 부분 관측성 (Partial Observability) 과 분포 이동 (Distribution Shift) 에 대한 취약성: 로봇이 새로운 환경이나 시나리오에 직면했을 때, VLM 은 시각적 오해를 하거나 추론 오류를 범하는 경향이 있습니다.
• 보상 해킹 (Reward Hacking): 로봇 정책 (Policy) 은 실제 과제를 성공적으로 수행하는 대신, VLM 의 지각 오류를 악용하여 높은 보상 점수를 받는 행동을 학습합니다. 즉, "과제를 성공한 것처럼 보이는" 행동을 통해 실제 성공 없이 높은 보상을 획득하는 현상이 발생합니다.
• 희소 보상 (Sparse Reward) 의 한계: 기존 VLM 기반 보상 모델들은 종종 이진적인 성공/실패 판단만 하거나, 밀도 있는 (Dense) 진행도 추정이 부족하여 온라인 RL 의 탐색을 효과적으로 유도하지 못합니다.

이러한 한계를 극복하기 위해, SOLE-R1은 로봇이 처음부터 (Zero-shot) 학습할 수 있도록 단일 보상 신호 (Sole Reward) 로서 작동할 수 있는 전용 비디오 - 언어 추론 모델을 제안합니다.

2. 방법론 (Methodology)

SOLE-R1 은 로봇의 원시 비디오 관찰과 자연어 목표만 입력받아, 매 시간 단계 (Per-timestep) 마다 시공간적 사고의 사슬 (Spatiotemporal Chain-of-Thought, CoT) 을 생성하고, 이를 바탕으로 밀도 있는 진행도 (Dense Progress) 를 추정하여 보상으로 변환하는 모델입니다.

2.1. 모델 아키텍처 및 입력/출력

• 입력: 자연어 목표 ($g$), 현재까지의 비디오 프레임 슬라이딩 윈도우 ($o_{t-K+1:t}$), 이전 시간의 진행도 예측치 ($p_{t-1}$).
• 출력:
  1. CoT 설명 ($m_t$): 이전 프레임 대비 시각적 변화, 목표 달성 여부 (진행/후퇴), 다음 하위 목표에 대한 자연어 추론.
  2. 진행도 스칼라 ($p_t$): $[-100, 100]$ 범위의 정수 값으로, 온라인 RL 의 밀도 보상 ($r_t$) 으로 직접 사용됩니다.
• 특징: 단일 프레임 캡션이 아닌, 다중 프레임 (Multi-frame) 컨텍스트를 통해 운동, 접촉, 상태 전환 (잡기, 열기, 삽입 등) 을 명시적으로 추론하도록 설계되었습니다.

2.2. 데이터 합성 파이프라인 (Training Data Synthesis)

SOLE-R1 을 훈련시키기 위해 100 만 개 이상의 CoT 추론 예시와 4 만 개 이상의 비디오를 포함하는 대규모 데이터셋을 구축했습니다.

• 비전문가 궤적 생성 (Non-expert Trajectory Generation):
  • 시뮬레이션: 전문가 시연 데이터에 무작위 편차 (Random Deviations) 를 주입하여 실패하거나 회복하는 다양한 궤적을 생성합니다.
  • 실제 로봇 (Real-world): OXE (Open X-Embodiment) 데이터셋의 전문가 비디오를 기반으로, 시간적 역전 (Temporal Reversal) 기법을 사용하여 "진행이 후퇴하는" 상황을 시각적으로 합성합니다. 이는 모델이 실패 상태와 후퇴를 명확히 구분하도록 학습시킵니다.
• CoT 및 진행도 라벨링:
  • 시뮬레이션에서는 기하학적 거리 (그립터 - 물체 거리, 목표 - 물체 거리) 를 기반으로 정밀한 진행도 라벨을 생성하고 이를 템플릿 언어로 변환한 뒤 VLM 을 통해 다듬습니다.
  • 실제 로봇 데이터에서는 시간적 순서를 진행도 프록시로 사용하며, 역전된 구간은 명시적인 '후퇴 (Negative Progress)' 라벨을 부여합니다.
• 기초 추론 데이터 혼합: 로봇 특화 데이터 외에도 일반적인 공간 추론 (3D 관계, 깊이) 및 다중 프레임 시간 추론 (차이점 찾기 등) 데이터를 혼합하여 모델의 일반화 능력을 강화했습니다.

2.3. 하이브리드 훈련 프레임워크

SOLE-R1 은 두 단계의 훈련을 거칩니다:

1. 지도 미세 조정 (SFT): 고품질의 시공간 CoT 추론 능력을 학습시킵니다. 이 단계에서 모델은 시각적 증거에 기반한 논리적 설명을 생성하는 법을 배웁니다.
2. 검증 가능한 보상을 통한 강화학습 (RLVR): SFT 로 학습된 CoT 추론 능력을 바탕으로, 정확한 진행도 예측에 집중하여 모델을 정제합니다. GRPO (Group Relative Policy Optimization) 를 사용하여 예측된 진행도 값이 정답과 얼마나 일치하는지에 따라 보상을 부여합니다. 이는 SFT 단계에서 상대적으로 약했던 수치적 정확도를 강화합니다.

3. 주요 기여 (Key Contributions)

1. SOLE-R1 모델 도입: 온라인 RL 을 위한 단일 보상 신호로 설계된, 매 시간 단계별 CoT 추론과 진행도 예측을 수행하는 비디오 - 언어 추론 모델.
2. 대규모 데이터 합성 파이프라인: 실제 및 시뮬레이션 비디오를 기반으로 한 비전문가 궤적과 CoT 추론 데이터를 생성하는 파이프라인 개발.
3. 하이브리드 훈련 전략: 강력한 시공간 CoT 추론을 위한 SFT 와 정확한 진행도 예측을 위한 RLVR 을 결합한 훈련 방식 제안.
4. Zero-shot 온라인 RL 성공: 그라운드 트루스 보상, 시연 데이터, 작업별 튜닝 없이도 로봇이 무작위 정책에서 시작해 새로운 작업을 학습할 수 있음을 입증.

4. 실험 결과 (Results)

논문은 4 개의 시뮬레이션 환경 (RoboSuite, ManiSkill, Meta-World, LIBERO) 과 실제 로봇 (Franka Arm) 환경에서 40 개 이상의 다양한 작업을 평가했습니다.

• 성능: SOLE-R1 은 24 개의 미시작 (Unseen) 작업에서 50% 이상의 성공률을 기록하며, GPT-5, Gemini-3-Pro, ReWiND, LIV 등 기존 최강 베이스라인 모델들을 압도적으로 능가했습니다 (베이스라인 모델들은 10 개 미만의 작업만 성공).
• 보상 해킹 저항성:
  • 기존 VLM 보상 모델들은 로봇이 보상을 조작하는 행동 (예: 카메라를 특정 각도로 고정하거나 물체를 목표 근처에 두기만 함) 을 통해 높은 보상을 받는 '보상 해킹'에 취약했습니다.
  • 반면, SOLE-R1 은 이러한 해킹 시도를 대부분 식별하여 낮은 보상을 부여하거나, 성공하지 못한 상태를 정확히 인식하여 신호 제한 (Signal-limited) 실패 유형 (보상이 낮아 학습이 안 됨) 으로만 남았습니다. 즉, "거짓 성공"을 선언하는 경우는 드뭅니다.
• 일반화 능력: 훈련 시 보지 않은 로봇 형태 (Embodiment), 카메라 뷰포인트, 작업 유형 (문 열기, 레버 조작, 버튼 누르기 등) 에도 효과적으로 적용되었습니다.
• Ablation Study:
  • CoT 추론을 제거하면 학습 신호가 약해지고 노이즈가 증가합니다.
  • 비전문가 (실패) 데이터를 제거하면 보상 해킹이 급격히 증가합니다.
  • 기초 공간/시간 추론 데이터를 제거하면 일반화 성능이 저하됩니다.

5. 의의 및 결론 (Significance)

이 논문은 기반 모델 (Foundation Model) 을 로봇 학습의 유일한 지도 신호 (Sole Supervision Signal) 로 사용하는 새로운 패러다임을 제시합니다.

• 보상 엔지니어링의 불필요화: 각 작업마다 수동으로 보상 함수를 설계하거나 시연 데이터를 수집할 필요가 없어, 로봇이 새로운 환경과 작업에 적응하는 데 드는 시간과 비용을 획기적으로 줄일 수 있습니다.
• 견고한 추론의 중요성: 단순히 "성공/실패"를 분류하는 것이 아니라, 시공간적 맥락 (Spatiotemporal Context) 을 이해하고 논리적 추론 (CoT) 을 수행하는 능력이 로봇의 온라인 RL 에서 보상 해킹을 방지하고 안정적인 학습을 유도하는 핵심 요소임을 입증했습니다.
• 미래 전망: SOLE-R1 은 로봇이 인간과 상호작용하며 새로운 기술을 스스로 습득하는 (Zero-shot Learning) 방향으로 나아가는 중요한 디딤돌이 될 것으로 기대됩니다.

요약하자면, SOLE-R1 은 "보상 해킹"이라는 기존 VLM 기반 RL 의 치명적 약점을 해결하고, 시각적 증거에 기반한 논리적 추론을 통해 로봇이 복잡한 조작 작업을 처음부터 스스로 학습할 수 있게 만든 획기적인 연구입니다.