기술 요약: 좋은 체화된 보상 모델에는 나쁜 행동 데이터가 필요하다

문제 정의

본 논문은 로보틱스를 위한 체화된 보상 모델(Embodied Reward Models, RMs) 개발 과정에서 발생하는 결정적인 격차를 지적한다. 보상 모델은 파운데이션 모델의 생애주기에서 핵심적인 역할을 수행하며—강화 학습(RL) 사후 학습, 테스트 타임 컴퓨팅, 대규모 평가를 가능하게 함—현재의 체화된 보상 모델들은 체계적으로 **지나치게 낙관적(Over-optimistic)**이다.

LLM(언어 모델)과 같은 비체화된 영역에서는 "나쁜" 데이터(유해한 언어, 논리적 오류 등)가 풍부하고 생성 비용이 저렴한 반면, 체화된 데이터 수집은 실제 시간(Wall-clock time)과 하드웨어 안전성에 의해 제약을 받는다. 결과적으로, 기존의 로봇 데이터셋과 보상 모델은 주로 성공적인 행동(전문가 시연)을 중심으로 학습되며, 실패, 위험한 상호작용, 또는 최적이 아닌 실행 결과는 필터링되거나 제외된다. 이러한 데이터 부족은 다음과 같이 인간이 거부할 만한 행동을 처벌하지 못하는 보상 모델을 초래한다:

• 안전하지 않은 상호작용 (예: 충돌).
• 낮은 실행 품질 (예: 쏟음, 떨어뜨림).
• 목표는 표면적으로 달성하지만 암묵적인 제약 조건을 위반하는 "지름길(Shortcut)" 전략.

저자들은 "나쁜" 로봇 데이터에 대한 노출 없이는 보상 모델이 적절히 교정(Calibration)될 수 없으며, 이로 인해 모델의 능력과 복잡한 물리적 행동을 평가하는 능력 사이에 간극이 넓어지고 있다고 주장한다.

방법론

최신 기술(SOTA) 모델 평가

저자들은 RoboArena 벤치마크를 사용하여 세 가지 서로 다른 계열의 오픈 소스 체화된 보상 모델을 평가하였다. RoboArena는 Pick/Place에서 도구 사용(Tool Use)에 이르기까지 난이도가 점진적으로 증가하는 7가지 작업 카테고리에 대해 실제 로봇 롤아웃(Rollout)과 인간의 쌍별 선호도 판단을 제공한다:

1. 선호도 기반 (ReWind): 전문가 궤적을 섭동(Perturbing)시켜 생성된 합성 부정 예시(Synthetic Negatives)를 통해 학습됨.
2. 제로샷 VLM (GVL): 시각-언어 모델(VLM)을 활용하여 프레임을 추론하고 미세 조정 없이 조밀한 보상(Dense Rewards)을 생성함.
3. 미세 조정된 VLM (Dopamine): 휴리스틱하게 구축된 작업 진행 라벨을 바탕으로 사전 학습된 VLM을 미세 조정함.

평가 프로토콜:
단순히 시간적 진행만을 측정하는 가치-순서 상관관계(Value-Order Correlation, VOC)에 의존하는 대신, 저자들은 인간의 쌍별 선호도 순위를 정답(Ground Truth)으로 사용하였다. 그들은 보상 모델이 인간이 선호하는 쌍별 비교를 올바르게 순위 매긴 비율인 **선호도 순위 정확도($A$)**를 측정하였다.

개입: "나쁜" 데이터 주입

"나쁜" 데이터가 보상 모델의 교정을 개선한다는 가설을 테스트하기 위해, 저자들은 GVL 모델을 사용하여 인컨텍스트 러닝(In-context learning) 실험을 진행하였다. 모델의 프롬프트에 부정적인 예시를 단계적으로 주입하였다:

1. 텍스트 전용: 인간 피드백에서 추출된 실패 모드에 대한 간결한 텍스트 요약.
2. 텍스트 + 비디오: 실패에 대한 설명과 실제 로봇의 실패 비디오 스니펫을 쌍으로 구성.
3. 텍스트 + 비디오 + 조밀한 보상: 선호도 가이드 자가 증류(Preference-guided self-distillation)를 통해 얻은 조밀한 타임스텝별 보상 라벨을 추가 (인간의 A/B 선호도와 일치하는 보상 시퀀스 선택).

주요 결과

1. 실패에 대한 체계적인 과잉 보상

현재의 SOTA 모델들은 단순한 작업(Pick/Place, 정확도 ~0.72–0.77)에서는 준수한 성능을 보이지만, 작업 복잡도가 증가함에 따라 성능이 크게 저하된다.

• 도구 사용 (Tool Use): 정확도가 0.52–0.62로 떨어지며, 이는 무작위 추측(Random guessing) 수준에 불과하다.
• 질적 실패: 시각적 예시에서, 모델들은 로봇이 물체와 충돌하거나 물건을 쏟더라도 로봇이 목표를 향해 "진행"하고 있다면 높은 보상을 부여했다. 모델은 성공적인 완수와 안전하지 않거나 품질이 낮은 실행을 구분하지 못했다.

2. "나쁜" 데이터 주입의 효과

부정적인 데이터를 주입하는 것은 보상 모델을 인간의 선호도에 정렬시키는 데 유의미한 개선을 가져왔다:

• 텍스트 전용: 개선 효과가 미미했으며, 이는 VLM이 추상적인 텍스트 실패 설명을 구체적인 물리적 행동으로 접지(Grounding)하는 데 어려움을 겪음을 시사한다.
• 텍스트 + 비디오: 단순 작업에서 약 8%의 정확도 향상을 보였다. 시각적 접지가 "나쁜" 행동(예: 잡기 실패)을 구별하는 데 도움을 주었다.
• 텍스트 + 비디오 + 조밀한 보상: 특히 도구 사용 및 **액체 붓기(Pour Liquid)**와 같은 복잡한 작업에서 약 10%의 정확도 향상을 달성하며 가장 큰 이득을 얻었다. 조밀한 보상 궤적은 텍스트나 단일 프레임 비디오가 포착할 수 없는 미묘한 제약 조건(예: 궤적 중간에 발생하는 안전 위반)에 대한 구체적인 교정 신호를 제공했다.

주요 기여

1. 데이터 편향의 실증적 입증: 본 논문은 현재의 체화된 보상 모델들이 부정적인 학습 데이터의 부재로 인해 체계적으로 지나치게 낙관적이며, 인간이 거부할 만한 안전하지 않거나 최적이 아닌 행동을 처벌하지 못한다는 실험적 증거를 제시한다.
2. 격차의 정량화: RoboArena 벤치마크를 통해, 작업 복잡도가 증가함에 따라 보상 모델의 정확도가 저하되는 것을 정량화하였으며, 모델이 미묘한 작업에서 무작위 추측 수준에 도달함을 보여준다.
3. "나쁜" 데이터의 효용성 검증: 실제 로봇 실패 데이터(특히 비디오 및 조밀한 보상 라벨)에 대한 최소한의 노출만으로도 보상 모델의 교정 능력이 크게 향다면 오탐지(False positive)가 줄어든다는 것을 입증하였다.
4. 커뮤니티를 향한 행동 촉구: 저자들은 데이터 격차를 해결하기 위해 네 가지 구체적인 조치를 제안한다:
   • 큐레이션된 실패 데이터셋 공개: 산업계와 학계는 부정적인 데이터를 필터링하는 것을 멈추고, 대규모의 로봇 실패 데이터셋을 공개해야 한다.
   • 합성 생성: 다양하고 상호작용 가능한 실패 궤적을 만들기 위해 고충실도 시뮬레이터와 비디오 생성 모델을 개발해야 한다.
   • 분산형 평가: 다양한 인간 피드백을 수집하기 위해 표준화된 프로토콜을 갖춘 물리적 평가 시스템(RoboArena 등)을 확장해야 한다.
   • 새로운 벤치마크: 희소하거나 휴리스틱한 대리 지표가 아닌, 조밀한 인간 주석 라벨에 의존하는 보상 모델용 벤치마크를 구축해야 한다.

의의 및 주장

본 논문은 신뢰할 수 있는 체화된 AI로 가는 길이 단순히 모델 아키텍처 때문이 아니라, 데이터 큐레이션 관행에 의해 가로막혀 있다고 주장한다. 저자들은 "전문가 전용" 데이터셋에 대한 커뮤니티의 의존이 실패 모드에 대한 사각지대를 만들었다고 주장한다.

이 연구의 의의는 교정에는 대비(Contrast)가 필요하다는 단언에 있다. LLM이 안전성과 정렬을 배우기 위해 다양한 부정적 예시가 필요한 것처럼, 체화된 보상 모델 역시 실패의 미묘한 물리적 결과를 배우기 위해 "나쁜" 로봇 데이터가 필요하다. 저자들은 위험하고, 실패하며, 노이즈가 섞인 로봇 데이터를 의도적으로 수집하고 활용하는 변화가 없다면, 파운데이션 모델을 물리적 환경에 배치하는 것은 보상 모델이 감지하지 못하는 안전하지 않거나 최적이 아닌 행동에 취약한 상태로 남을 것이라고 역설한다.