🤖 machine learning

Robometer: Scaling General-Purpose Robotic Reward Models via Trajectory Comparisons

본 논문은 대규모 RBM-1M 데이터셋을 기반으로 다양한 전문가 및 비최적 궤적에서 일반화 가능한 보상 함수를 효과적으로 학습하도록 설계된 프레임 레벨 진행 감독과 궤적 비교 선호도 학습을 결합한 확장 가능한 보상 모델링 프레임워크인 Robometer를 소개합니다.

원저자: Anthony Liang, Yigit Korkmaz, Jiahui Zhang, Minyoung Hwang, Abrar Anwar, Sidhant Kaushik, Aditya Shah, Alex S. Huang, Luke Zettlemoyer, Dieter Fox, Yu Xiang, Anqi Li, Andreea Bobu, Abhishek Gupta, Ste

게시일 2026-05-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Anthony Liang, Yigit Korkmaz, Jiahui Zhang, Minyoung Hwang, Abrar Anwar, Sidhant Kaushik, Aditya Shah, Alex S. Huang, Luke Zettlemoyer, Dieter Fox, Yu Xiang, Anqi Li, Andreea Bobu, Abhishek Gupta, Stephen Tu, Erdem Biyik, Jesse Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 저녁 요리를 가르친다고 상상해 보세요. 과거에는 로봇을 가르치기 위해 당신이 엄격한 심판 역할을 해야 했습니다. 로봇의 움직임을 초 단위로 지켜보며 양파를 썰어내는 정도에 대해 '10 점 만점에 7.5 점'과 같은 정확한 점수를 매겨야 했습니다. 로봇이 칼을 떨어뜨리면, 정확히 언제 점수가 떨어졌는지 그리고 얼마나 떨어졌는지 파악해야 했습니다. 이는 특히 로봇이 실패할 때 수행하기 매우 어렵기 때문에, 실세계에서 로봇이 수천 번이나 시도하는 '실패' 기록들을 너무 지저분하여 채점하기 어렵다는 이유로 활용할 수 없었습니다.

ROBOMETER는 더 지능적이고 인간과 유사한 채점 방식을 통해 로봇을 가르치는 방식을 변화시키는 새로운 시스템입니다.

핵심 아이디어: 채점이 아닌 비교

모든 순간에 완벽한 점수를 매기려는 시도 대신, ROBOMETER 는 동일한 작업에 대한 두 가지 다른 시도를 비교함으로써 학습합니다.

재능 쇼 심판과 같다고 생각하세요. 참가자에게 10 점 만점에 8.2 점을 매기는 대신, 심판은 두 가지 공연을 보고 "A 공연이 B 공연보다 확실히 더 좋았다"라고 말합니다.

과거의 방식: 로봇이 컵을 테이블에 올려놓는 데 실패하는 모습을 지켜보며 그 실패가 정확히 얼마나 '나쁜지' 계산해야 합니다.
ROBOMETER 방식: 로봇에게 완벽하게 수행하는 인간의 영상과 컵을 떨어뜨리는 로봇의 영상을 보여줍니다. 시스템은 학습합니다: "인간 영상이 더 낫다." 시스템은 왜 그런지 알거나 구체적인 숫자를 매길 필요가 없습니다. 그저 '좋음' 대 '나쁨'의 순서만 학습하면 됩니다.

실수의 '거대 도서관' (RBM-1M)

이 시스템을 가르치기 위해 연구자들은 RBM-1M이라는 거대한 도서관을 구축했습니다.

과거의 문제: 대부분의 로봇 훈련 라이브러리는 '완벽한' 영상만 보유하고 있습니다. 로봇이 컵을 떨어뜨리면 그 영상은 채점이 어렵다는 이유로 쓰레기통에 버려집니다.
새로운 해결책: 이 도서관에는 단일 팔부터 인간과 유사한 손까지 21 가지 유형의 로봇에서 나온 100 만 개의 영상이 포함되어 있습니다. 결정적으로, 이 도서관은 실수, 실패, 그리고 서투른 시도로 가득 차 있습니다. ROBOMETER 가 비교를 통해 학습하기 때문에 (예: "이 실패 시도는 그 성공 시도보다 나쁘다"), 실패 영상 더미에서 실제로 학습할 수 있습니다. 이는 실패를 '하지 말아야 할 것'에 대한 귀중한 교훈으로 취급합니다.

작동 방식 (두 단계의 춤)

ROBOMETER 는 두 가지 특정 기법을 동시에 사용하여 학습합니다:

'진행 상황' 확인: 단일 영상을 지켜보며 "이 작업은 얼마나 진행되었는가?" (0% 에서 100%) 를 추측해 봅니다. 이는 로봇의 시간과 진행 상황에 대한 이해를 고정합니다.
'선호도' 확인: 두 영상을 나란히 지켜보며 "어느 것이 작업을 더 잘 수행했는가?"를 결정합니다. 이는 로봇이 완전한 실패라 하더라도 행동의 질을 이해하도록 가르칩니다.

이 두 가지를 결합함으로써 로봇은 이전에 본 적 없는 로봇이 이전에 가본 적 없는 방에서 작업할 때조차 성공에 대한 '감각'을 학습하게 됩니다.

실제 수행 내용 (입증된 결과)

이 논문은 이 시스템이 네 가지 구체적인 실세계 시나리오에서 이전 방법들보다 더 잘 작동함을 보여줍니다:

자동 온라인 학습: 로봇이 실시간으로 작업을 학습할 때 (예: 테이블에 그릇을 올리기), ROBOMETER 는 즉각 "잘못하고 있다"고 알려주고 실수를 수정하도록 안내하는 코치 역할을 합니다. 이는 로봇이 혼잡한 부엌에서 성공률을 **20% 에서 85%**로 높이는 데 기여했으며, 반면 이전 방법들은 55% 에서 멈췄습니다.
지저분한 데이터로부터의 학습 (오프라인 RL): 완벽한 영상과 지저분한 실패 영상이 섞여 있다면, ROBOMETER 는 이를 분류하여 새로운 로봇을 가르칠 수 있습니다. 이는 기존 최고의 도구들과 비교해 성공률을 2.4 배 향상시켰습니다.
좋은 것 찾기 (데이터 필터링): 로봇에게 '냄비 저어주기'를 가르치기 위해 10 개의 최상위 클립을 찾아야 하는 거대한 영상 더미가 있다고 상상해 보세요. ROBOMETER 는 다른 검색 도구들보다 실패를 무시하고 관련성 있는 성공 클립을 찾는 데 훨씬 뛰어납니다. 이로 인해 로봇의 작업 학습 능력이 4.5 배 향상되었습니다.
실패 감지: 로봇이 멈춰 있거나, 진동하며 (앞뒤로 흔들리며 이동하지 않음) 물체를 떨어뜨릴 때, ROBOMETER 는 실패가 어떤 모습인지 미리 알려줄 필요 없이 즉시 이 실패를 감지할 수 있습니다. 이는 다른 시스템들을 능가하는 **81%**의 경우에서 실패를 정확하게 식별했습니다.

결론

ROBOMETER 는 로봇이 자신의 작업 매 초마다 인간에게 채점을 받아야 하는 것을 막아주는 '범용 보상 모델'입니다. 성공과 실패가 모두 포함된 거대한 도서관을 통해 '더 좋음' 대 '더 나쁨'을 비교하는 법을 학습함으로써, 로봇은 더 빠르게 학습하고 실수를 더 잘 처리하며, 처음부터 다시 훈련할 필요 없이 새로운 작업과 새로운 로봇 신체에 적응할 수 있도록 도와줍니다.

기술 요약: ROBOMETER

문제 정의

현재의 범용 로봇 보상 모델은 상당한 확장성과 일반화 도전에 직면해 있습니다. 기존 접근법은 전문가 시연에서 유도된 절대적 진전 레이블(예: 0 에서 1 로 선형 보간된 진전) 에만 의존합니다. 성공적인 궤적에는 효과적이지만, 이 패러다임은 두 가지 주요 이유로 대규모 이질적 데이터셋으로 확장되지 못합니다:

실패한 궤적의 모호성: 실제 데이터 수집에서 풍부하게 존재하는 비최적 또는 실패 시도는 명확하게 정의된 절대적 진전 레이블이 부재합니다. 이러한 경우 진전은 종종 변동하거나 후퇴하여, 포인트별 지도 학습을 비용 효율적으로 만들기 어렵고 정의하기 모호하게 만듭니다.
제한된 일반화: 궤적 국소적 진전 지도 학습만으로 훈련된 모델은 서로 다른 로봇 구현체, 장면, 그리고 다양한 궤적 품질 간에 일반화하는 데 어려움을 겪습니다. 절대적 점수가 모호할 때 종종 성공적인 행동과 비최적 행동을 구별하지 못합니다.

본 논문은 인간 인지가 보정된 진전을 내면화하기 위해 고립된 절대 척도 대신 비교적 판단에 의존한다고 주장합니다. 따라서 로봇 보상 모델은 다양한 궤적 간의 상대적 순서를 활용하여 견고하고 일반화 가능한 보상 함수를 학습할 수 있는 지도 신호가 필요합니다.

방법론

1. ROBOMETER 프레임워크

ROBOMETER는 궤적 내 진전 지도 학습과 궤적 간 선호도 지도 학습을 결합한 확장 가능한 보상 모델링 프레임워크입니다. 이는 이중 목적 훈련 레시피를 활용합니다:

프레임 수준 진전 손실: 밀집된 프레임별 진전 (0 에서 1 로 이산화된 10 개의 구간) 과 이진 성공 레이블을 예측하여 보상 크기를 전문가 데이터에 고정시킵니다. 이를 통해 모델이 작업 완료의 시간적 구조를 학습하도록 보장합니다.
궤적 비교 선호도 손실: 두 궤적 중 어느 것이 언어 지시를 더 잘 충족하는지 예측함으로써 전역적 순서 제약을 부과합니다. 이를 통해 모델은 실패한 궤적에 대한 절대 점수가 필요 없이 상대적 비교로부터 학습할 수 있습니다.

2. 아키텍처

ROBOMETER 는 사전 훈련된 비전 - 언어 모델 (VLM) 백본, 구체적으로 Qwen3-VL-4B-Instruct를 기반으로 구축되었습니다.

토큰화: 모델은 교차된 텍스트 및 시각 토큰을 처리합니다. 사전 훈련된 표현을 방해하지 않으면서 밀집된 보상 추정을 가능하게 하기 위해, 첫 번째 궤적의 각 프레임 뒤에 학습 가능한 진전 토큰(<|prog token|>) 을 삽입하고, 프롬프트 끝에는 단일 선호도 토큰(<|pref token|>) 을 삽입합니다.
인과적 마스킹: 아키텍처는 인과적 마스킹을 사용하여 진전 토큰이 첫 번째 궤적의 현재 및 이전 프레임에만 주의를 기울이도록 함 (온라인 추론 가능) 반면, 선호도 토큰은 상대적 판단을 위해 두 궤적 모두에 주의를 기울이도록 합니다.
헤드: 경량 MLP 헤드가 진전 토큰의 숨겨진 상태 (진전 및 성공 예측용) 와 선호도 토큰 (이진 선호도 분류용) 에 연결됩니다.

3. RBM-1M 데이터셋

이러한 이중 목적 훈련을 대규모로 지원하기 위해 저자들은 21 개 로봇 구현체(단일 암, 양손, 이동형 매니퓰레이터 포함) 와 다양한 장면에 걸친 100 만 개 이상의 궤적으로 구성된 RBM-1M데이터셋을 구축했습니다.

구성: 이 데이터셋은 전문가 시연 (예: Open-X, AGIBotWorld), 인간 비디오 (Epic-Kitchens), 시뮬레이션 데이터 (LIBERO), 그리고 결정적으로 자동 롤아웃 및 실패 감지 데이터셋에서 가져온 레이블 없는 실패 및 비최적 궤적을 통합합니다.
증강 전략: 추가적인 인간 주석 없이 선호도 쌍을 구성하기 위해 저자들은 세 가지 전략을 사용합니다:
1. 진전 기반 비교: 전문가 시연을 레이블 없는 실패 또는 비최적 궤적과 대비합니다.
2. 지시 부정: 보상이 명령에 기반하도록 보장하기 위해 서로 다른 언어 지시와 궤적을 짝짓습니다.
3. 비디오 되감기: 성공적인 궤적의 세그먼트를 역순으로 재생하여 "진전 취소"를 모델링하는 합성 실패를 생성합니다.

주요 기여

이중 목적 훈련 레시피: 이 논문은 성공적인 데이터에 대한 절대적 진전 레이블과 모든 데이터 (실패 포함) 에 대한 쌍별 선호도 레이블을 모두 사용하여 보상 모델을 훈련하는 방법을 제시합니다. 이를 통해 이전에 사용 불가능했던 비최적 데이터를 효과적으로 활용할 수 있게 됩니다.
RBM-1M 데이터셋: 전역적으로 일관된 선호도 관계를 훈련하도록 특별히 설계된, 광범위한 실패 데이터를 포함하는 대규모 다중 구현체 데이터셋을 공개합니다.
확장 가능한 일반화: 이 프레임워크는 선호도 지도 학습이 정규화제 역할을 하여 더 구조화된 내부 보상 표현을 유도하며, 제한된 전문가 데이터로 훈련되더라도 성공적인 궤적과 비최적 궤적을 구별하는 모델의 능력을 향상시킨다는 것을 보여줍니다.

실험 결과

보상 평가

ROBOMETER 는 3 개 기관과 6 개 구현체 (이 중 3 개는 훈련 중 미관측) 로부터의 976 개 궤적로 구성된 RBM-EVAL-OOD에서 평가되었습니다.

보정 정렬: ROBOMETER 는 OOD 데이터에서 값 순서 상관관계 (VOC) 0.94 를 달성하여 최첨단 베이스라인 (예: RoboReward-8B 의 0.88, VLAC-8B 의 0.38) 을 능가했습니다.
궤적 순위 매기기: 성공과 실패 궤적을 구별하는 데 있어 ROBOMETER 는 OOD 데이터에서 Kendall- $\tau_a$ 0.64 를 달성하여 RoboReward-8B(0.47) 와 ReWiND(0.01) 를 크게 능가했습니다.
실패 감지: 제로샷 실패 감지 작업에서 ROBOMETER 는 평균 **F1 점수 (0.81)**를 달성하여 참 양성 및 참 음성률을 효과적으로 균형 잡았으며, 반면 VLAC 과 같은 베이스라인은 높은 위양성으로, 토큰 불확실성 베이스라인은 높은 위음성으로 고통받았습니다.

하위 작업 정책 학습

이 논문은 ROBOMETER 의 밀집되고 잘 보정된 보상이 네 가지 설정에서 하위 작업 로봇 학습을 향상시킨다는 것을 보여줍니다:

자동 온라인 RL: DSRL 에 ROBOMETER 를 사용하여 단일 단계 작업에서 성공률을 **20% 에서 85%**로, 다단계 작업에서 **20% 에서 70%**로 향상시켜 RoboReward 보다 2.5 배 더 우수한 성능을 보였습니다.
오프라인 RL: 혼합 전문성 설정 (전문가 + 노이즈 데이터) 에서 ROBOMETER 는 IQL 정책이 최상위 베이스라인 대비 성공률을 2.4 배 향상시키도록 했습니다.
데이터 필터링 및 검색: 모방 학습을 위한 작업 관련 부분 궤적을 검색하는 데 사용될 때, ROBOMETER 로 필터링된 데이터는 STRAP 및 SigLIP 과 같은 베이스라인 대비 4.5 배 더 높은 성공률을 보였습니다.
모델 기반 RL: DreamZero 에 ROBOMETER 를 통합하여 혼잡한 환경에서 성공률을 20% 에서 70% 로 향상시켰습니다.

제거 실험

선호도 지도 학습: 진전 전용 훈련에 선호도 손실을 추가하면 순위 매기기 지표 (Kendall- $\tau$ ) 와 성공 - 실패 분리가 지속적으로 향상되었습니다.
실패 데이터: 선호도 훈련을 위해 레이블 없는 실패 궤적을 통합하는 것이 보상 구별에서 가장 큰 향상을 제공했습니다.
백본: 사전 훈련된 VLM 백본을 더 작고 사전 훈련되지 않은 아키텍처 (ReWiND 변형) 로 교체하면 심각한 성능 저하가 발생하여 대규모 멀티모달 사전 훈련의 필요성을 확인시켜 주었습니다.

중요성과 주장

이 논문은 ROBOMETER 가 보상 학습을 확장하기 위한 메커니즘으로서 절대적 진전 지도 학습에서 비교적 선호도 지도 학습으로의 전환을 나타낸다고 주장합니다. 상대적 비교를 활용함으로써 이 프레임워크는 실제 로봇 공학에서 보편적이지만 이전에 폐기되었던 방대한 양의 비최적 및 실패 데이터를 효과적으로 활용할 수 있습니다.

저자들은 이 접근법이 다음을 가능하게 한다고 강조합니다:

확장성: 모든 프레임에 대한 밀집된 절대 주석이 필요 없이 수백만 개의 궤적을 포함하는 데이터셋에서 학습합니다.
일반화: 보지 못한 로봇 구현체, 장면, 카메라 뷰포인트 전반에 걸친 견고한 성능.
실용적 유용성: 온라인 RL, 오프라인 RL, 모방 학습 데이터 큐레이션, 자동 실패 감지에서의 즉각적인 적용 가능성.

이 연구는 현재 모델이 실패의 모호함에 직면하여 어려움을 겪고 있지만, 전문가 진전에 기반하되 전역적 선호도에 의해 안내되는 이중 목적 접근법은 보상 모델이 작업 진전의 보정된 척도를 내면화할 수 있게 하여 복잡하고 실제적인 환경에서 로봇 학습을 가속화한다고 결론지었습니다.