기술 요약: RoboAlign-R1

1. 문제 제기

기존 로봇 비디오 월드 모델은 주로 재구성 손실 (예: MSE) 과 지각적 유사성 (예: LPIPS, SSIM) 과 같은 저수준 목적 함수를 사용하여 훈련됩니다. 저자들은 이러한 목적 함수가 지시 따르기, 조작 성공, 물리적 타당성 등 로봇 의사결정에 필수적인 능력과 잘 정렬되지 않았다고 주장합니다. 그 결과, 모델은 시각적으로 정확한 프레임을 생성하더라도 작업이 잘못되거나 물리적으로 타당하지 않은 결과를 낳을 수 있습니다.

또한, 이러한 모델들은 장시간 Autoregressive 예측 과정에서 오차 누적으로 고통받습니다. 작은 단계별 오차가 시간이 지남에 따라 누적되어 물리적 현실감과 작업 일관성을 저하시킵니다. 최근 연구들은 강화 학습 (RL) 사후 훈련을 탐구해 왔으나, 대부분 고수준 속성을 포착하지 못하는 저수준 보상 (MSE, LPIPS) 에 의존합니다. 더 강력한 멀티모달 평가자가 존재하지만, 높은 지연 시간과 비용으로 인해 온라인 최적화에는 계산적으로 불가능합니다.

본 논문은 두 가지 주요 과제를 식별합니다:

1. 보상 불일치: 저수준 지표는 확장 가능하지만 약하며, 강력한 멀티모달 평가자는 온라인 RL 에는 너무 비쌉니다.
2. 장시간 드리프트: Autoregressive 생성은 오차를 누적시켜 시간이 지남에 따라 품질이 저하됩니다.

2. 방법론

저자들은 훈련 시간 정렬과 추론 시간 안정성을 모두 해결하는 통합 프레임워크인 RoboAlign-R1을 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

A. RobotWorldBench 및 멀티모달 교사 심판자

고품질이고 작업에 정렬된 감독의 부재를 해결하기 위해, 저자들은 RT-1, BridgeData V2, CALVIN, LIBERO 네 가지 로봇 데이터셋에서 선별된 10,000 개의 주석 달린 비디오–지시 쌍으로 구성된 RobotWorldBench를 구축했습니다.

• 주석: 비디오는 지시 따르기, 조작 성공, 행동–결과 일관성, 시간적 일관성, 접촉 현실감, 물리 준수 등 여섯 가지 차원에 걸쳐 원시 점수 벡터로 주석 처리됩니다.
• 교사 심판자 (RoboAlign-Judge): Qwen3-VL-8B-Thinking에서 미세 조정된 멀티모달 교사 모델이 RobotWorldBench 를 기반으로 훈련되어 생성된 비디오에 대한 세밀한 여섯 차원 평가를 제공합니다. 이 교사는 보상 신호의 진실의 근원 (source of truth) 역할을 하지만, 직접적인 온라인 사용에는 너무 느립니다.

B. RL 사후 훈련을 위한 증류된 학생 보상 모델

효율적인 RL 사후 훈련을 가능하게 하기 위해, 무거운 교사 심판자는 경량화된 학생 보상 모델($g_\psi$) 로 증류됩니다.

• 아키텍처: 학생 모델은 부분적으로 동결 해제된 ViT-Base/16 과 경량 텍스트 Transformer 로 구성된 컴팩트한 시각–텍스트 인코더와 시그모이드 활성화 헤드로 구성되며, 총 약 98M 개의 파라미터를 가집니다.
• 증류 과정: 학생 모델은 회귀를 통해 교사의 정규화된 여섯 차원 점수를 예측하도록 훈련됩니다. 분포 변화로 인한 보상 해킹을 방지하기 위해, 저자들은 온라인 반복 증류를 도입하여 RL 과정에서 교사가 주기적으로 새로운 롤아웃을 재평가하여 학생 모델을 업데이트합니다.
• RL 알고리즘: 증류된 학생 모델은 **그룹 상대적 정책 최적화 (GRPO)**를 위한 복합 보상을 제공합니다. 이 보상은 여섯 차원의 가중 합으로, 월드 모델이 픽셀 유사성뿐만 아니라 작업 성공과 물리적 타당성을 최적화할 수 있게 합니다.

C. 슬라이딩 윈도우 재인코딩 (SWR)

재훈련 없이 장시간 오차 누적을 완화하기 위해, 저자들은 훈련이 필요 없는 추론 전략인 **슬라이딩 윈도우 재인코딩 (SWR)**을 도입합니다.

• 메커니즘: 연속적인 토큰 시퀀스를 생성하는 대신, 롤아웃은 윈도우 크기 $W$의 세그먼트로 분할됩니다. 각 세그먼트의 끝에서 마지막 예측된 프레임이 픽셀 공간으로 디코딩되어 다음 세그먼트를 위한 새로운 컨텍스트 토큰으로 재인코딩됩니다.
• 효과: 이는 생성 컨텍스트를 주기적으로 새로 고침하여 토큰 수준 드리프트의 연결 고리를 끊습니다. 이론적 분석에 따르면 이는 오차 증가를 $O(T)$가 아닌 $O(W)$로 제한합니다. 여기서 $T$는 총 시간 범위입니다.

3. 주요 기여

1. 보상 정렬 훈련 프레임워크: RoboAlign-R1 은 약한 저수준 온라인 보상을 작업 성공에 정렬된 증류된 멀티모달 보상으로 대체합니다. 이는 가장 강력한 베이스라인 대비 집계 도메인 내 평가 점수를 +10.1% 향상시키면서 온라인 보상 계산 비용을 10 배 이상 절감합니다.
2. 벤치마크 및 확장 가능한 보상 증류: RobotWorldBench(10K 쌍) 와 8B 멀티모달 심판자를 약 50 비디오/초로 실행 가능한 98M 보상 모델로 압축하는 교사–학생 증류 파이프라인을 도입했습니다.
3. 안정적인 장시간 추론: 최소한의 오버헤드 (~1% 추가 지연 시간) 로 장시간 예측 품질을 향상시키는 **슬라이딩 윈도우 재인코딩 (SWR)**을 제안하여, SSIM 에서 +2.8% 향상과 LPIPS 에서 -9.8% 감소를 달성했습니다.

4. 실험 결과

이 프레임워크는 RT-1 및 BridgeData V2 데이터셋에서 평가되었습니다.

• 전체 성능: RoboAlign-R1 은 집계 RoboAlign-Judge 점수 8.52를 달성하여 가장 강력한 베이스라인 (iVideoGPT, 7.74) 보다 +10.1% 더 높은 성능을 보였습니다. 파라미터 수가 적음에도 불구하고 모든 폐쇄형 상용 모델 (예: 6.84 점의 Kling 2.6) 을 능가했습니다.
• 구체적 향상:
  • 조작 정확도: 7.5% 향상.
  • 지시 따르기: 4.6% 향상.
  • 저수준 지표: RT-1 에서 LPIPS 를 4.9% 감소시키고, BridgeData V2 에서 MSE 를 8.7% 감소시켜 차기 모델 대비 개선을 보였습니다.
• 검증: 순위 향상은 다음을 통해 검증되었습니다:
  • 외부 VLM 기반 교차 확인 (GPT-4.1 포함 8 가지 대체 심판자와 비교).
  • 소규모 블라인드 인간 연구로, 쌍별 비교에서 RoboAlign-R1 이 베이스라인보다 약 60-66% 에서 선호되었습니다.
• SWR 효율성: 윈도우 크기 $W=6$인 SWR 은 **약 1.1%**의 추가 월클록 시간으로 장시간 품질을 향상시켰습니다 (SSIM +2.8%, LPIPS -9.8%). 또한 최대 시퀀스 길이를 제한하여 표준 Autoregressive 디코딩에서 발생하는 선형 지연 드리프트를 방지하고 피크 메모리 사용량을 4.2% 감소시켰습니다.

5. 중요성 및 주장

본 논문은 보상 정렬 사후 훈련과 안정화된 장시간 디코딩이 로봇 비디오 월드 모델을 개선하는 데 필수적이라고 주장합니다. 구체적으로:

• 작업 일관성 및 물리적 현실감: 픽셀 수준 재구성을 넘어 보상 정렬 목적 함수로 전환함으로써 지시 따르기 능력과 물리적 타당성 유지 (예: 올바른 파지, 접촉 현실감) 능력이 크게 향상됩니다.
• 멀티모달 보상의 확장성: 증류 파이프라인은 대규모 교사 모델을 효율적인 학생 보상 모델로 압축함으로써 고품질 멀티모달 심판이 온라인 RL 에 실용적으로 적용 가능함을 보여줍니다.
• 추론 안정성: SWR 전략은 Autoregressive 생성의 고유한 드리프트를 완화하는 간단하고 훈련이 필요 없는 방법을 제공하여 장시간 계획을 더 신뢰할 수 있게 만듭니다.

저자들은 현재 평가가 단일 암 테이블톱 조작으로 제한되어 있으며, 하위 정책 개선은 아직 검증되어야 한다고 지적합니다. 다양한 구현체로 확장하고 제어 수준 개선을 측정하는 것을 향후 연구의 유망한 방향으로 제시합니다.