기술 요약: RynnValue – 시간적 거리(Temporal Distance)를 통한 로봇 가치 파운데이션 모델의 스케일링

문제 정의

범용 로봇 정책은 강화 학습(RL)을 통해 훈련되는 경우가 늘고 있지만, 이 루프를 확장하는 데 있어 **보상 감독(reward supervision)**이 병목 현상을 일으키고 있습니다. 수동으로 설계된 보상은 개방형 작업에 일반화되지 못하며, 희소한 성공 신호는 장기적인 행동(long-horizon behaviors)을 유도하기에 충분한 가이드를 제공하지 못합니다. 기존의 범용 보상 모델은 인간의 선호도, 참조 데모 또는 정규화된 진행률과 같은 작업 내부의 앵커(anchor)에 의존합니다. 이러한 방식은 감독을 특정 궤적이나 비교 집합에 종속시켜, 이질적인 데이터 소스, 형태(embodiment), 시점 간의 전이를 어렵게 만듭니다. 또한, 정규화된 진행률(예: [0, 1] 스케일)은 목표 조건부 비용-투-고(cost-to-go)가 아닌 궤적 내부의 좌표이므로, 다양한 작업 기간 및 구조 사이에서 일관성을 결여하게 됩니다.

방법론: RynnValue

저자들은 보상 모델링 문제를 재정의하는 오픈 소스 가치 파운데이션 모델인 RynnValue를 소개합니다. RynnValue는 궤적 수준의 앵커를 점수 매기는 대신, 관측값으로부터 언어로 지정된 목표까지의 방향성을 가진 목표 조건부 비용-투-고인 **시간적 거리(temporal distance)**를 예측합니다.

1. 데이터 레시피 및 레이블링

RynnValue는 약 3백만 개의 지시어 조건부 궤적 클립을 포함하여, 약 7,000시간 이상의 방대한 이질적 로봇 데이터 혼합물로 훈련되었습니다. 이 데이터셋은 다양한 형태(단일 팔, 양팔, 이동형, 데릭스 핸드), 시점, 그리고 작업군(실제 환경, 시뮬레이션, 에고센트릭)을 아우릅니다.

• 레이블 도출: 선호도 기반 방식과 달리, RynnValue는 선호도 쌍이나 진행률 주석을 필요로 하지 않습니다. 레이블은 직접적으로 **타임스탬프(timestamps)**로부터 도출됩니다. 서브태스크 분할 및 재레이블링을 통해 완료 시점(completion cutoff)을 식별함으로써, 모델은 임의의 관측값으로부터 완료까지 남은 시간을 학습합니다.
• 감독 신호: 모델은 작업 완료까지의 절대적인 시간적 거리와 연속적인 관측 사이의 부호가 있는 상대적 시간 변위(signed relative temporal displacement)를 예측합니다.

2. 모델 아키텍처

RynnValue는 RynnBrain을 기반으로 구축되었으며, 지시어, 관측값, 쿼리 토큰이 인터리빙된 멀티모달 시퀀스를 처리하는 언어 조건부 시각 모델입니다.

• 그룹화된 시간적 쿼리(Grouped Temporal Queries): 정보 병목 현상을 극복하기 위해, 각 시간적 예측은 $N=8$개의 반복되는 쿼리 토큰 그룹으로 표현됩니다. 이 토큰들은 양방향 어텐션을 통해 상호작용하며, 이후 하나의 견고한 표현을 형성하기 위해 결합됩니다.
• 이중 분포 헤드(Dual Distributional Heads): 모델은 두 개의 특화된 헤드를 사용합니다:
  • 절대 헤드(Absolute Head): 완료까지 남은 시간($v_t$)을 예측합니다.
  • 상대 헤드(Relative Head): 인접한 관측 사이의 부호가 있는 시간 변위($\Delta_t$)를 예측합니다.
    두 헤드 모두 넓은 동적 범위를 처리하기 위해 symlog-spaced binning(256개 빈)과 two-hot 타겟을 사용하여 회귀를 안정적인 분류 문제로 변환합니다.
• 자연어 브랜치: 보조 브랜치는 비디오 설명, 지시어-비디오 일치 여부 판단, 성공 예측을 생성하여, 시간적 가치 헤드에 간섭하지 않으면서도 의미론적 접지(semantic grounding)를 제공합니다.

3. 지름길 억제 전략(Shortcut Suppression Strategies)

모델이 데이터의 규칙성을 악용하는 대신 시각적 증거에 기반하여 예측하도록 보장하기 위해, 저자들은 세 가지 핵심 메커니즘을 도입했습니다.

• 무작위 시간 샘플링(Random Temporal Sampling): 균등 샘플링으로 인해 발생하는 산술적 값 패턴을 깨기 위해 불규칙한 타임스탬프에서 관측값을 샘플링합니다.
• 시간 순서 셔플링(Temporal-Order Shuffling): 샘플링된 관측값의 연대순 순서를 훈련 중에 섞습니다("되감기" 확률 포함). 이는 모델이 단순히 시퀀스 위치만을 기반으로 진행도를 추론하는 것을 방지합니다.
• 가치 격리 어텐션(Value-Isolation Attention): 서로 다른 관측값과 관련된 가치-쿼리 그룹이 서로를 어텐션할 수 없도록 하는 마스킹 전략입니다. 이는 모델이 이전 쿼리로부터 값을 외삽하는 것을 방략하여, 각 예측이 특정 시각적 맥락에 의존하도록 강제합니다.
• 지시어 불일치 증강(Instruction-Mismatch Augmentation): 훈련 샘플의 10%는 불일치하는 지시어를 사용하여, 모델이 불일치를 감지하고 잘못된 목표를 향한 매끄러운 진행을 가정하는 것을 방지하도록 가르칩니다.

4. 추론 및 보상 인터페이스

추론 시, RynnValue는 시간적 거리 추정치 $v_t$를 출력합니다. 이를 보상 신호로 사용하기 위해, 부호 반전을 통해 **잠재 기반 보상(potential-based reward)**으로 변환합니다: $\Phi_t = -v_t$. 이는 상태가 완료에 가까워질수록 높은 잠재력(0에 가까움)을 갖게 하여, 작업을 특정하는 [0, 1] 구간으로 정규화하지 않고도 시간적 척도를 보존하는 조밀한 보상 인터페이스를 생성합니다.

주요 결과

벤치마크 성능 (RBM-EVAL-OOD)

RBM-EVAL-OOD 궤적 순위 지정 스위트(6개의 OOD 데이터셋에 걸친 976개 궤적)에서 평가되었습니다:

• RynnValue-8B는 평균 Kendall's $\tau_a$ 0.675를 달성하여, 완전히 선호도 기반으로 감독된 최신 모델(Robometer, 0.655)을 능가했으며, 진행률만을 사용한 모델(0.292)보다 두 배 이상의 성능을 보였습니다.
• RynnValue-4B 변체조차도(0.670) 선호도 감독 베이스라인보다 우수한 성능을 보여, 이러한 이점이 단순한 모델 규모가 아닌 시간적 거리 공식화에서 기인함을 시사했습니다.
• RynnValue 변체들은 명시적인 궤적 수준의 선호도 감독 없이 훈련된 방법들 중 모든 6개 데이터셋에서 최고의 결과를 달성했습니다.

지시어-궤적 정렬(Instruction-Trajectory Alignment)

혼동 행렬(confusion matrix) 분석에서, RynnValue는 가장 명확한 대각 구조(정규화된 대각 마진 0.79)를 보여주었으며, 이는 베이스라인(0.67)을 크게 상회하는 수치입니다. 이는 RynnValue가 일반적인 시각적 진행도가 아닌, 언어로 지정된 목표에 근거하여 매칭된 지시어-궤적 쌍과 불일치하는 쌍을 효과적으로 구별함을 나타냅니다.

실제 환경 정책 학습

RynnValue는 대상 도메인에 대한 타겟 도메인 미세 조정 없이, 네 가지 도전적인 실제 작업(Bread Basket Placement, Steak Serving, Box-in-Drawer, Bimanual Box Transfer)에 대해 온라인 및 오프라인 RL을 위한 제로샷 보상 어노테이터로 배치되었습니다.

• 온라인 RL: RynnValue는 성공률을 **52.5% (Robometer)**에서 **72.5%**로 개선했습니다.
• 오프라인 RL: RynnValue는 성공률을 **63.8% (Robometer)**에서 **82.5%**로 개선했습니다.
• 특히, RynnValue는 SFT 베이스라인이 0%의 성공률을 보였던 작업(Box-in-Drawer, Bimanual Box Transfer)에서도 성공적인 RL을 가능하게 했습니다.

스케일링 분석

데이터 양과 다양성을 분리한 실험 결과, **작업 다양성(task diversity)**이 에피소드 볼륨보다 일관되게 더 가파른 에러 감소를 가져오는 것으로 나타났습니다. 동일한 작업의 데이터를 단순히 추가하는 것은 조기 포화에 이르는 반 반면, 작업의 다양성을 높이는 것은 지속적인 일반화 개선을 이끌어냅니다.

의의 및 주장

본 논문은 시간적 거리가 이질적인 로봇 데이터를 단일 인터페이스 아래 통합할 수 있는 확장 가능한, 선호도 불필요(preference-free) 감독 타겟이라고 주장합니다. 타임스탬프로부터 레이블을 직접 도출함으로써, RynnValue는 비용이 많이 드는 선호도 주석이나 데이터셋별 진행률 정규화의 필요성을 우회합니다.

저자들은 RynnValue가 범용 로봇 정책을 훈련하기 위한 실질적인 경로를 제시한다고 주장합니다:

1. 확장성: 선호도 레이블링이라는 병목 현상 없이 방대한 이질적 데이터를 활용할 수 있습니다.
2. 강건성: 시간 순서 셔플링과 가치 격리 어텐션을 통해, 시각적 증거에 근거한 가치를 학습하며 실패와 퇴보에 민кси(sensitive)하게 반응합니다.
3. 유용성: 실제 환경에서 온/오프라인 RL 모두를 크게 개선하며, 선호도 감독을 통해 훈련된 강력한 베이스라인들을 능가하는 효과적인 조밀한 보상 인터페이스 역할을 합니다.

결론적으로, 본 연구는 시간적 거리가 전통적인 선호도 기반 또는 진행률 정규화 방식에 비해 범용 로봇 가치 학습을 위한 더 확장 가능한 경로를 제공한다고 밝히고 있습니다.