기술 요약: 사소한 차이까지 잡아내는 로봇 비평가 (Robot Critics that Sweat the Small Stuff)

문제 정의

대규모 시각-언어 모델(VLM)은 물리적 세계에 대한 광범위한 사전 지식을 보유하고 있어, 추론 과정에서 로봇 정책을 유도하는 "비평가(critic)" 역할을 수행하기에 유망한 후보입니다. 그러나 미세한 시각적 추론(fine-grained visual reasoning) 측면에서는 결정적인 격차가 존재합니다. 범용 VLM과 기존의 진행 탐지 방법들은 초기 상태와 최종 작업 상태를 구분하거나 높은 수준의 하위 작업을 식별할 수는 있지만, 성공과 실패를 가르는 미세한 시각적 차이를 구별하는 데는 어려움을 겪습니다.

예를 들어, 1mm의 그리퍼 정렬 불량은 시각적으로는 성공적인 파지(grasp)와 매우 유사해 보일 수 있지만, 실제로는 작업 실패를 초래합니다. 현재의 방법들은 프레임 사이의 시간 간격이 좁은 이 "미세한 영역(fine-grained regime)"에서 제대로 작동하지 않습니다. 실험 결과, Gemini 3와 같은 베이스라인 모델은 성공과 실패를 구분하는 정확도가 54.7%에 그쳤으며, 특화된 진행 탐지 방법인 ROVER(72.1%)와 ProgressLM(61.0%) 역시 이러한 미세한 시나리오에서는 무작위 확률(50%)을 겨우 상회하는 수준을 보여주었습니다. 이러한 한계는 VLM이 폐쇄 루프(closed-loop) 실행 중에 확률적 로봇 정책을 실패 모드로부터 효과적으로 유도하는 것을 방해합니다.

방법론

저자들은 쌍체 진행 및 실패 판별을 위해 특화된 VLM 미세 조정(fine-tuning) 방식을 제안하며, 이를 액션 조건부 비디오 모델(action-conditioned video model)을 통해 로봇의 폐쇄 루프 정책에 통합합니다.

1. VLM 비평가 학습

핵심 혁신은 로봇 롤아웃(rollout)에서 유도된 **쌍체 진행 감독 데이터셋(pairwise progress supervision dataset)**을 구축하는 것입니다.

• 데이터 구축: 시스템은 동일한 초기 조건으로부터 생성된 쌍을 만듭니다. 하나는 성공($S_s$) 궤적이고, 다른 하나는 실패($S_f$) 궤적입니다 점.
• 성공-성공 쌍: 성공적인 궤적의 연속된 프레임을 쌍으로 묶어, 모델이 점진적인 전진 진행을 학습하도록 합니다 (나중 프레임이 더 많은 진행도를 가진 것으로 라벨링).
• 성공-실패 쌍: 실패 궤적의 프레임을 동일한 타임스텝에서의 성공 궤적 프와 쌍으로 묶습니다. 이때 성공적인 프레임이 더 많은 진행도를 가진 것으로 라벨링됩니다. 이는 비평가가 단순히 일반적인 작업 실패가 아니라, 정책 특유의 실패 모드(예: 특정 정책 하에서 발생하는 구체적인 실패 방식)를 인식하도록 가르치는 데 매우 중요합니다.
• 미세 조정: Qwen2.5-VL-7B를 사용하여, 두 프레임 중 어느 쪽이 목표를 향해 더 큰 진전(progress)을 보이는지 나타내는 이산적 결정 $c(v_i, v_j) \in \{+1, -1\}$를 예측하도록 지도 미세 조정을 수행하며, 크로스 엔트로피 손실을 최소화합니다.

2. 루프 내 정책 유도 (In-the-Loop Policy Steering)

미세 조정된 비평가는 테스트 시 성능을 향상시키기 위해 로봇의 실행 루프에 통합됩니다:

1. 샘플링: 관측값 $x_t$가 주어지면, 기본 확률적 정책(예: Diffusion Policy 또는 GR00T N1.5)이 $N$개의 후보 액션 시퀀스를 샘플링합니다.
2. 다양성 제거 (Diversity Pruning): 그리디 최장점 샘플링(Greedy Farthest-Point Sampling, FPS) 전략을 사용하여 다양한 $K$개의 후보 서브셋을 선택합니다.
3. 미래 합성: 액션 조건부 비디오 모델(Diffusion Transformer인 HunyuanVideo 1.5)이 각 후보 액션 시퀀스에 대한 종단 시각 상태 $x_{t+H}$를 합성합니다.
4. 비평가 선택: 비평가는 생성된 $K$개의 종단 상태들 사이에서 모든 쌍체 비교를 수행합니다. 가장 많은 "표"를 얻은(즉, 더 큰 진전을 나타내는) 후보 액션이 실행 대상으로 선택됩니다.
5. 재계획 (Re-planning): 선택된 액션이 실행되며, 작업이 완료될 때까지 이 과정이 반복됩니다.

주요 기여

• 미세한 비평가 학습: 쌍을 이룬 성공 및 실패 롤아웃을 사용하여 VLM을 미세 조정하는 방법론을 제시하여, 표준 VLM이 놓치는 미세한 시각적 차이(예: 밀리미터 단위의 정렬 불량)를 감지할 수 있게 합니다.
• 정책 특화 실패 학습: 배포된 정책에 특화된 실패 데이터를 학습하는 것이 필수적임을 입증했습니다. 성공적인 시연 데이터로만 학습된 비평가는 특정 실패 모드를 인식하지 못해, 성공과 실패를 구분할 때 성능이 크게 저하됩니다.
• 폐쇄 루프 통합: 확률적 정책 샘플링, 생성형 비디오 예측, VLM 기반 쌍체 비교를 결합한 완전한 파이프라인을 제공합니다.
• 일반화: 제안된 방식은 분포 외(OOD) 객체 및 미학습 작업에도 일반화되어, 향후 작업 학습을 위한 유망한 사전 학습 전략임을 시사합니다.

실험 결과

저자들은 실제 하드웨어와 시뮬레이션 환경 모두에서 해당 방법을 평가했습니다.

정확도 벤치마크

• RoboCasa (시뮬레이션): 미세 조정된 비평가는 인도메인(in-distribution) 작업에서 평균 93.6%의 정확도를, 분포 외(out-of-distribution) 작업에서 **91.4%**를 달 기록하며, Gemini 3(54.7%) 및 ROVER(72.1%)와 같은 베이스라인을 크게 앞질렀습니다.
• LBM (실제 환경): LBM 데이터셋에서 이 방법은 ROVER(62.9%)와 Gemini 3(55.4%)에 비해 훨씬 높은 평균 90.0%의 정확도를 달성했습니다.
• 미세 영역 (Fine-Grained Regime): 비교되는 프레임 간의 시간 간격이 줄어들어 시각적 차이가 미세해질수록, 베이스라인의 성능은 73%에서 56%로 떨어졌습니다. 반면, 제안된 방법은 단 2%의 하락만을 보이며 높은 성능을 유지하여 미세한 구별 능력에서의 견고함을 입증했습니다.

정책 성능 향상

• 실제 작업: 비평가를 루프에 포함함으로써 기본 Diffusion Policy의 성공률이 평균 +11% 향상되었습니다. 구체적으로 "Stacking" 작업에서 18%의 증가가 있었고, "Push-Bowl" 작업에서는 mIoU(mean Intersection over Union)가 2.3배 개선되었습니다.
• 시뮬레이션 작업 (RoboCasa365): GR00T N1.5 정책의 성공률을 43.6%에서 **49.5%**로 높였으며, 이는 평균 **+5.9%**의 이득입니다. 버튼, 문, 레버를 정밀하게 조작해야 하는 작업에서 유의미한 개선이 관찰되었습니다.

의의 및 주장

본 논문은 VLM이 가치 있는 시맨틱 사전 지식을 제공하지만, **미세한 시각적 진행(fine-grained visual progress)**이나 **정책 특유의 실패(policy-specific failures)**를 추론하는 능력의 한계로 인해 로봇 공학에서의 활용도가 제한된다고 주장합니다. 성공과 실패 궤적의 미묘한 차이를 바탕으로 비평가를 명시적으로 학습시킴으로써, 저자들은 VLM을 효과적인 "사소한 차이까지 잡아내는 존재(sweaters of the small stuff)"로 변모시킬 수 있음을 보여주었습니다.

이 연구의 의의는 정책 자체를 재학습하지 않고도 테스트 시점에 확률적 정책을 개선할 수 있다는 점에 있습니다. 이 방법은 일종의 필터 역할을 하여, 가능한 선택지 분포 중에서 가장 유망한 액션 후보를 선택합니다. 저자들은 실패를 인식하는 것이 진행을 인식하는 것만큼 중요하다고 강조합니다. 실패 데이터가 없다면, 비평가는 수많은 실패 모드 속에 숨겨진 성공적인 액션이라는 "건초더미 속의 바늘"을 찾아내어 정책을 올바른 방향으로 유도할 수 없기 때문입니다. 이 접근법은 파운데이션 모델의 고수준 추론 능력과 성공적인 로봇 조작에 필요한 저수준 정밀도 사이의 간극을 메워줍니다.