🤖 AI

Robo-Dopamine 2.0: History-Conditioned and OOD-Aware Process Reward Modeling for Robotic Manipulation

이 논문은 희소한 보상과 정적인 시각적 평가의 한계를 극복하기 위해 쌍체 예측(pairwise prediction), 부호가 있는 진행 공간(signed progress spaces), 그리고 부호가 있는 홉 커리큘럼(Signed-Hop curriculum)을 활용하여 로봇 조작 작업에서 시각-언어-행동 모델의 강건성과 성공률을 크게 향상시키는 이력 조건부 및 OOD 인식 프로세스 보상 모델인 Robo-Dopamine 2.0을 소개한다.

원저자: Yijie Xu, Haopeng Jin, Run Zhou, Shengbang Liu, Sixiang Chen, Hongyang Cheng, Sicheng Hu, Peterson Co, Jinwen Luo, Huajie Tan, Shanghang Zhang

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yijie Xu, Haopeng Jin, Run Zhou, Shengbang Liu, Sixiang Chen, Hongyang Cheng, Sicheng Hu, Peterson Co, Jinwen Luo, Huajie Tan, Shanghang Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇은 인간의 움직임을 모방하는 데 놀라울 정도로 능숙해졌습니다. 수천 시간의 영상 시연을 관찰함으로써, 현대의 인공지능 시스템은 물체를 집거나, 액체를 따르거나, 부품을 조립하는 일을 놀라운 정교함으로 수행하는 법을 배울 수 있습니다. '비전-언어-행동(vision-language-action)' 모델로 알려진 이 시스템들은 마치 교과서를 완벽하게 암기한 학생처럼 행동합니다. 그들은 작업이 제대로 진행되었을 때 어떤 모습인지 알고 있습니다. 하지만 현실 세계의 작업은 결코 직선적인 경로로 이어지지 않습니다. 로봇은 미끄러지거나, 엉뚱한 물건을 잡거나, 갑작스러운 조명이나 배경의 변화에 직면할 수 있습니다. 이런 일이 발생하면 로봇은 단순히 일시 정지된 상태인지, 아니면 완전히 다른 접근 방식이 필요한 실수를 저지른 것인지 판단하지 못해 갇혀버리곤 합니다. 핵심 과제는 단순히 세상을 보는 것이 아니라, 지금 일어나고 있는 일의 '이야기'를 이해하는 것입니다. 실수를 바로잡기 위해서 로봇은 자신이 얼마나 왔는지, 어디서 잘못되었는지, 그리고 이전에 본 적 없는 상황에서도 어떻게 다시 궤도에 진입할 수 있는지를 아는 방법이 필요합니다.

오랫동안 연구자들은 작업이 끝났을 때만 보상을 주는 단순한 점수를 로봇에게 부여함으로써 이 문제를 해결하려 노력해 왔습니다. 이는 마치 학생에게 개별 질문에 대한 피드백 없이 시험 전체를 다 마친 후에야 금색 별을 주는 것과 같습니다. 이는 학습을 느리고 비효율적으로 만듭니다. 다른 접근 방식들은 지속적인 피드백을 제공하려고 시도하지만, 환경이 조금만 변해도 무너지는 취약함을 보입니다. 한 새로운 연구는 로봇을 안내하는 더 똑똑한 방법을 소개하는데, 이는 마치 연습 세션을 지켜보는 숙련된 코치와 같습니다. 베이징 대학교와 다른 기관들의 연구팀이 이끄는 연구진은 '로보-도파민 2.0(Robo-Dopamine 2.0)'이라 불리는 시스템을 개발했습니다. 이 시스템은 작업의 시작과 끝만을 보는 대신, 이전의 맥락을 이해하며 전체 사건의 순서를 관찰합니다. 이 시스템은 지저로한 배경 속에서도 여전히 진전을 보이고 있는 로봇과, 실제로 실패한 로봇을 구별하는 법을 배웁니다.

이 새로운 시스템의 핵심은 시간과 이력을 이해하는 능력에 있습니다. 로봇이 블록을 쌓으려고 한다고 상상해 보십시오. 만약 로봇이 블록 하나를 쓰러뜨린다면, 단순한 시스템은 그저 블록 더미를 보고 작업이 완료되었거나 실패했다고 생각할 수 있습니다. 하지만 새로운 시스템은 움직임의 이력을 살펴봅니다. 그것은 블록 더-미가 특정 동작의 순서 뒤에 나타났음을 알고 있으며, 이를 통해 로봇이 단순한 무작위 실패가 아니라 회복 단계에 있다는 것을 이해할 수 있게 해줍니다. 연구진은 방대한 성공적인 로봇 움직임 라이브러리를 사용하여 이 시스템을 훈련시켰지만, 의도적으로 '만약에'라는 시나리오도 만들어냈습니다. 그들은 성공적인 영상들을 가져와서 로봇이 엉뚱한 물체를 잡거나, 부품을 떨어뜨리거나, 장애물에 막히는 식으로 미묘하게 변형했습니다. 이러한 변형된 버전들을 원래의 성공적인 버전들과 함께 보여줌으로써, 로ブ은 배경 색상이 바뀌는 것과 같은 무해한 변화와, 움켜쥐기에 실패하는 것과 같은 결정적인 오류 사이의 차이를 인식하는 법을 배웠습니다.

이러한 훈련을 통해 시스템은 성공과 실패를 모두 포함하는 진전의 정신적 지도를 구축할 수 있었습니다. 시스템은 어떤 상태가 긍정적인 상태, 즉 로봇이 목표를 향해 나아가고 있는 상태인지 배웠습니다. 또한 어떤 상태가 부정적인 상태, 즉 수정이 필요한 실수를 저지른 상태인지도 배웠습니다. 결정적으로, 시스템은 겉모습은 다르지만 실제로는 동일한 진전 상태인 경우(예: 복잡한 방에서 작업하는 로봇과 깨끗한 방에서 작업하는 로봇)를 식별하는 법을 배웠습니다. 로봇이 명시적으로 훈련받지 않은 시나리오, 즉 '분포 외(out-of-distribution)' 상황을 처리하는 이 능력이 시스템을 견고하게 만드는 핵심입니다. 연구진은 시뮬레이션 환경에서 로봇을 안내하고, 이후 실제 물리적 로봇에 적용하여 이를 테스트했습니다. 시뮬레이션에서 이 시스템은 이전 방식보다 훨씬 빠르게 새로운 작업을 학습하도록 도왔습니다. 두 개의 로봇 팔이 정사각형 블록을 일련의 구멍에 끼워 넣는 실제 실험으로 옮겨갔을 때, 시스템의 가치는 입증되었습니다. 새로운 안내 없이는 로봇들이 네 번의 삽입 과정을 완료하는 데 어려움을 겪었습니다. 하지만 새로운 시스템을 사용했을 때, 로봇들은 20번의 시도 중 15번을 성공적으로 완료하며 기준점보다 유의미한 개선을 보여주었습니다.

이 접근 방식의 성공은 학습 과정을 어떻게 구조화했느냐에 달려 있습니다. 연구진은 단순히 모든 데이터를 로봇에게 한꺼번에 던져주지 않았습니다. 그들은 먼저 로봇이 성공과 실패 사이의 크고 명확한 차이를 인식하도록 가르치는 커리큘럼을 설계했습니다. 로봇이 대략적인 흐름을 이해하고 나면, 시스템은 더 미세한 세부 사항을 도입하여 진전의 미묘한 차이를 구별하도록 도왔습니다. 이러한 단계별 학습은 즉각적인 행동 이력을 살펴보는 능력과 결려, 로봇이 상황이 잘못되더라도 명확한 방향 감각을 유지할 수 있게 해주었습니다. 이 시스템은 마법이나 복잡하고 설명 불가능한 규칙에 의존하지 않습니다. 그것은 단지 로봇에게 목표에 얼마나 가까운지, 그리고 올바른 방향으로 움직이고 있는지에 대한 지속적이고 미묘한 피드백의 흐름을 제공할 뿐입니다. 로봇에게 스스로의 진전 정도를 더 잘 파악하게 함으로써, 이 연구는 인간 노동자와 같은 적응력을 가지고 복잡하고 예측 불가능한 현실 세계를 다룰 수 있는 기계에 한 걸음 더 다가가고 있습니다.

기술 요약: Robo-Dopamine 2.0

문제 정의

Vision-Language-Action (VLA) 모델이 로봇 조작 분야를 발전시켰음에도 불구하고, 이들의 정책은 누적되는 오류, 미학습된 장면 변화, 그리고 궤적 이탈 상태에 여전히 취약합니다. 강화 학습(RL)은 이러한 정책을 정교화할 수 있는 경로를 제시하지만, 그 효용성은 조밀하고 정보가 풍부한 보상(reward)에 달려 있습니다. 현재의 접근 방식들은 세 가지 주요 병목 현상에 직면해 있습니다:

희소 보상 (Sparse Rewards): 성공 시에만 주어지는 신호는 탐색을 비효ential하게 만듭니다.
취약한 수동 설계 보상 (Brittle Handcrafted Rewards): 수동으로 설계된 조밀한 보상은 비용이 많이 들고, 작업별로 특화되어 있으며, 쉽게 깨지기 쉽습니다.
학습된 보상 모델의 한계: 기존의 시각적 보상 모델은 종종 정적인 "전-후(before-after)" 관측에 의존합니다. 이는 **시간적 모호성(temporal ambiguity)**을 초래하는데, 즉 숨겨진 접촉 이벤트, 반복되는 단계, 또는 재정렬된 하위 목표로 인해 시각적으로는 유사한 상태가 서로 다른 잠재적 진행 상태를 나타낼 수 있기 때문입니다. 또한, 이러한 모델들은 의미론적 보존 변이(예: 작업 진행에 영향을 주지 않는 가림 현상)와 작업 부적격 실패(예: 잘못된 물체를 잡는 것)를 Out-of-Distribution (OOD) 실행 상황에서 구분하는 데 어려움을 겪습니다.

방법론

본 논문은 히스토리 조건부(history-conditioned) 및 OOD 인식 프로세스 보상 모델인 Robo-Dopamine 2.0을 소개합니다. 이 모델은 이전 연구의 쌍별 예측(pairwise prediction) 인터페이스를 유지하면서도 다음 세 가지 핵심 구성 요소를 통해 이를 강화합니다.

1. 히스토리 조건부 쌍별 보상 공식화

모델은 지시문 $c$ , 태스크 앵커, 그리고 시간적 문맥 $C_{ba}$ 가 주어졌을 때 두 상태 $(X_b, X_a)$ 사이의 부호가 있는 상대적 진행도를 예측합니다.

문맥 기원 (Context Provenance):
- 표준/온라인 쿼리: 시간적 모호성을 해결하기 위해 관측된 롤아웃 히스토리(쿼리 전 및 상태 간 패널)를 사용합니다.
합성 OOD 쿼리: 성공적인 전문가 에피소드로부터 "소스 정렬된 성공 참조 패널(source-aligned successful-reference panels)"을 사용하여 문맥을 제공하되, 쿼리된 엔드포인트는 편집된(대조적) 관측값으로 유지합니다. 이를 통해 모델은 실제 실패 엔드포인트를 성공적인 것으로 교체하지 않고도 실패의 의미론을 학습할 수 있습니다.
입력 구조: 모델은 시작/목표 앵커 및 특정 상태 쌍과 함께 순서대로 정렬된 시간적 패널(예: 3x3 그리드)을 처리하여 이벤트의 연대기적 순서를 보존합니다.

2. OOD 인식 부호 진행 공간 (OOD-Aware Signed Progress Space)

실패와 강건성을 처리하기 위해, 저자들은 통합된 부호 진행 공간 $\Phi$ 를 정의합니다:

양의 상태 ( $P$ ): 유효한 실행 상태.
강건한 상태 ( $R$ ): 의미론적으로 보존되는 변이(예: 가림, 방해 요소)이며, $\Phi(R) = \Phi(P)$ 를 만족합니다.
음의 상태 ( $N$ ): 작업 부적격 실패(예: 잘못된 물체 상호작용, 미방출). 이들은 음의 진행도 값 $\Phi(N) = -g_i$ 를 할당받으며, 여기서 $g_i$ 는 정렬된 소스 단계에 대한 실패 깊이를 인덱싱합니다.
부호 있는 홉 타겟 (Signed Hop Target): 훈련 타겟 $H_{ba}$ 는 엔드포인트의 브랜치(양 또는 음)를 기준으로 정규화됩니다. 이를 통해 모델은 단일 회귀 프레임워크 내에서 유효한 진행부터 실패 및 회복까지의 연속적인 스펙트럼을 학습할 수 있습니다.

3. 전이 인식 리플레이를 포함한 부호 있는 홉 커리큘럼 (Signed-Hop Curriculum with Transition-Aware Replay)

미세한 진행 순서를 최적화하기 위해 커리큘럼 학습 전략이 채택되었습니다:

단계 1 (전역 기하학): 성공, 강건성, 실패 사이의 거친 수준의 순서를 학습하기 위해 "Large-Hop" 쌍(절대적 진행 차이가 상위 40%인 쌍)을 학습합니다.
단계 2 (국소 교정): 미세한 구분을 정교화하기 위해 "Small-Hop" 및 "Zero-Hop" 쌍을 학습합니다.
리플레이 메커니즘: 단계 2 동안 배치(batch)의 25%는 리플레이된 Large-Hop 예제로 구성됩니다. 이는 모델이 국소 교정을 정교화하는 동안 전역적인 기하학적 이해를 유지하도록 보장합니다.

폐쇄 루프 보상 프레임워크

온라인 RL 추론 중에 모델은 관측된 롤아웃 접두사(미래 정보 없음)로부터 시간적 패널을 구성합니다. 그리고 세 가지 정규화된 예측을 생성합니다:

Forward-anchored: 초기 상태에서 현재 상태까지.
Backward-anchored: 목표 상태에서 현재 상태까지.
Incremental: 이전 상태에서 현재 상태까지.
이들은 포텐셜 함수 $\hat{\Phi}_t$ 를 추정하기 위해 융합되며, 이는 보상 신호를 형성하는 데 사용됩니다: $r_t = r_{task} + \gamma(\hat{\Phi}_{t+1} - \hat{\Phi}_t)$ .

주요 기여

Robo-Dopamine 2.0 프레임워크: 온라인 및 합성 OOD 쿼리를 위한 히스토리 조건부 문맥과 유효한 진행, 강건성, 실패 및 회복을 모델링할 수 있는 부호 진행 공간을 통합한 쌍별 보상 프레임워크를 제공합니다.
부호 있는 홉 커리큘럼: 리플레이 메커니즘을 활용하여 미세한 교정 전에 전역 실행 순서를 점진적으로 학습하는 훈련 전략을 제시합니다.
포괄적 평가: 궤적 수준의 시각적 순서 일관성(Visual Order Consistency, VOC) 평가를 위한 OOD 궤적 데이터셋과 5개 계열 벤치마크(In-Distribution, Temporal, OOD-Negative, OOD-Robust, OOD-Temporal)를 구축했습니다.

결과

오프라인 평가 (시각적 순서 일관성)

시간적 문맥: 사전 구축된 3x3 패널을 사용함으로써 평균 VOC를 0.967(정적)에서 0.986으로 향상시켰습니다.
OOD 강건성: 전체 모델을 사용했을 때 OOD-robust VOC가 0.906에서 0.958로 향상되었습니다.
커리큘럼 효과: 25% 리플레이를 포함한 Signed-Hop 훈련은 평균 VOC 0.9872를 달성하여, 매칭된 풀 셔플 컨트롤(0.9858)과 리플레이 없는 변형(0.9866)을 능가했습니다.
태스크 완료: 모델은 **96.1%**의 태스크 완료 분류 정확도를 달성하여, 강력한 베이스라인인 GPT-5.5(81.1%) 및 RoboBrain 2.0(61.7%)을 상회했습니다.

다운스트림 강화 학습

시뮬레이션 (RoboTwin): 세 가지 조작 태스크에서 전체 모델(C11: OOD + History)은 **86.8%**의 평균 성공률에 도달했습니다. 이는 희소 보상 베이스라인(1,000 에포크 후 85.8%)과 히스토리 전용(75.1%) 또는 OOD 전용(80.6%) 변형 모델을 모두 능가하며 상호 보완적인 이득을 입증했습니다.
실제 환경 (반복 삽입): 4회 연속 시도가 수행되는 듀얼 Franka 암 "Insert Square" 태스크에서, 전체 모델은 71/80 회의 삽입 성공과 15/20 회의 전체 시퀀스 완료를 달성했습니다. 이는 더 적은 훈련 에피소드(300 vs 200)를 사용했음에도 불구하고, Event Sparse 베이스라인(삽입 48/80)과 히스토리 전용 변형(삽입 67/80)을 크게 앞질렀습니다.

의의 및 주장

본 논문은 Robo-Dopamine 2.0이 시간적 모호성을 해결하고 OOD 상황에서 실패 인식 구분을 가능하게 함으로써 프로세스 보상 모델링의 결정적인 격차를 해소한다고 주장합니다. 유효한 진행, 강건성, 실패를 단일 부호 있는 쌍별 인터페이스로 통합함으로써, 모델은 시뮬레이션과 실제 환경 모두에서 정책 학습을 개선하는 조밀하고 신뢰할 수 있는 피드백을 제공합니다. 저자들은 히스토리 조건부 접근 방식이 실행 단계나 태스크 유효성 수준이 서로 다른, 시각적으로 유사한 상태들을 구분하는 데 필수적임을 강조하며, 이는 정적인 엔드포인트 기반 모델이 갖지 못한 능력입니다. 결과는 시간적 문맥과 OOD 인식 감독을 결합하는 것이 각각을 단독으로 사용하는 것보다 상호 보완적인 개선을 가져온다는 것을 시사합니다.