기술 요약: 로봇 조작의 오프라인 검증을 위한 임계 구간 MSE (Critical Interval MSE)

1. 문제 정의

실제 환경에서의 평가(물리적 하드웨어에서의 정책 롤아웃)는 로봇 조작 정책을 평가하는 골드 스탠다드이지만, 높은 비용, 재현성 문제, 데이터 희소성으로 인해 빠른 모델 반복 학습의 병목 현상이 됩니다. 홀드아웃 데모(held-out demonstrations)를 사용하는 오프라인 검증은 저렴하고 재현 가능한 대안을 제공하지만, 표준 지표인 전체 액션 공간에 대한 평균 제곱 오차(MSE)는 실제 작업 성공률과 상관관계가 낮습니다.

핵심적인 불일치는 궤적(trajectory) 내에 "비임계적(uncritical)" 타임스텝(예: 유휴 안정화, 넓은 범위의 이동 동작)이 많이 포함되어 있어, 액션 오차가 크더라도 작업 완료에는 무관한 경우가 발생한다는 점입니다. 반대로, "임계 구간(critical intervals)"(예: 파지, 접촉, 미세 정렬)은 짧고 민감하며, 작업 성공과 인과적으로 연결되어 있습니다. 전체 궤적에 걸쳐 오차를 평균내는 방식은 정보가 없는 고오차 비임계 구간에 의해 지표가 지배되므로 성능 신호를 흐리게 만듭니다. 또한, 표준 오프라인 지표들은 정책의 행동을 실질적으로 변화시키는 롤아웃 시점의 절차(예: 시간적 앙상블, 액션 청킹)를 무시하는 경우가 많습니다.

2. 방법론: 임계 구간 MSE (CI-MSE)

본 논문은 작업에 결정적인 구간 및 롤아웃 시점의 실행 동작과 오차 계산을 일치시키도록 설계된 오프라인 검증 지표인 **임계 구간 MSE (CI-MSE)**를 제안합니다. 이 방법론은 세 가지 주요 구성 요소로 이루어집니다.

3.1 임계 구간 필터링 (Critical Interval Filtering)

CI-MSE는 전체 궤적에서 오차를 평균내는 대신, 액션 정확도가 작업 결과에 불균형적으로 큰 영향을 미치는 임계 구간(예: 물체 접촉, 삽입)으로 오차 계산을 제한합니다.

• 자동화: VLM(Vision-Language Model)을 사용하여 데모 비디오에 대한 퓨샷 프롬프팅(few-shot prompting)을 통해 임계 구간을 자동으로 식별합니다. 이는 최소한의 인간 노력만 필요한 태스크 불가지론적(task-agnostic) 주석 파이프라인을 생성합니다.
• 필터링: 지표는 식별된 임계 구간($D_{crit}$) 내의 타임스텝에 대해서만 오차를 계산하며, 이를 통해 원시 MSE를 지배하는 정보가 없는 타임스텝을 효과적으로 제거합니다.

3.2 오프라인 검증을 위한 액션 정렬 (Action Alignment for Offline Validation)

롤아웃 시점의 동작과 더 잘 일치시키기 위해, CI-MSE는 추론 시점의 절차를 검증 과정에 직접 포함합니다.

• 시간적 앙상블 및 RTC: 지표는 배포 중에 사용되는 것과 동일한 시간적 앙상블 또는 실시간 청킹(Real-Time Chunking, RTC) 로직을 적용합니다. 이는 중첩된 청크로부터 액션 예측을 평균하거나 중첩된 청크를 사용하여 생성을 유도함으로써, 롤아웃에 의한 평활화(smoothing) 및 분산 감소 효과를 모델링합니다.
• 동적 시간 워핑 (Dynamic Time Warping, DTW): 시간적 불일치(예: 파지 시의 미세한 위상 변화)를 처리하기 위해, CI-MSE는 예측된 액션 시퀀스와 전문가 액션 시퀀스 사이의 단조 증가 정렬 경로(monotone alignment path)를 찾기 위해 DTW를 사용합니다. 이는 해롭지 않은 타이밍 오프셋에 대해 페널티를 부여하지 않으면서 누적 오차를 최소화하며, 과도한 워핑이 실패를 숨길 수 없도록 윈도우 크기 제약을 둡니다.

3.3 Elo를 통한 안정적 순위 산정 (Stable Ranking via Elo)

이진 성공률이 너무 거칠고 시행 횟수가 제한적인 실제 세계 실험을 위해, 저자들은 Elo 스타일의 순위 시스템 사용을 권장합니다. 이 시스템은 시행(trials) 전반에 걸친 쌍별 비교를 통해 정책 점수를 업데이트하여, 스칼라 형태의 부분 성공 점수보다 더 안정적인 리더보드를 제공합니다.

3. 주요 기여

1. CI-MSE 도입: 임계 구간을 필터링하고 롤아웃 시점의 실행 동작(앙상블/DTW를 통해)과 일치시키는 단순하면서도 효과적인 오프라인 지표를 제안했습니다.
2. 경험적 검증: 시뮬레이션 및 실제 환경 모두에서 CI-MSE가 원시 MSE보다 롤아웃 성능을 훨씬 더 잘 예측함을 입증하는 광범위한 실험을 수행했습니다.
3. 강건성 분석: CI-MSE가 다양한 분포 변화(물체 배치, 시각적 변화, 스킬 OOD) 하에서도 효과적이며, 합리적인 범위 내의 하이퍼파라미터 선택에 강건함을 보여주는 체계적인 평가를 수행했습니다.

4. 실험 결과

시뮬레이션 실험

아키텍처, 데이터 규모, 학습 단계, PEFT, 액션 헤드 크기, VLM 백본이 서로 다른 27개의 모델 체크포인트를 사용하여 실험했습니다.

• 상관관계 개선: CI-MSE는 롤아웃 성공률에 대해 -0.87의 스피어먼 서열 상관계수($\rho$)를 달성한 반면, 원시 MSE는 -0.61을 기록했습니다. 피어슨 상관계수($r$)는 원시 MSE의 -0.56에서 CI-MSE의 -0.74로 개선되었습니다.
• 변형 민감도: 원시 MSE는 데이터 규모를 변화시킬 때 성능을 올바르게 예측하지 못했습니다(양의 상관관계 $\rho=0.90$을 보였으며, 이는 낮은 오차가 오히려 나쁜 성능과 상관됨을 의미함). CI-MSE는 모든 변형 패밀리에서 강력한 음의 상관관계($\rho=-0.90$)를 유지하며, 정책이 어떻게 수정되었는지와 관계없이 모델을 정확하게 순위 매겼습니다.

실제 환경 실험

Franka 암을 사용하여 네 가지 작업(물 붓기, 마우스 정렬, 수건 접기, 플러그 뽑기)에 대해 평가했습니다.

• 교차 도메인 성능: "물 붓기"($\rho=-1.00$)와 "마우스 정렬"($\rho=-1.00$) 작업에서 CI-MSE는 교차 환경 검증에서 완벽에 가까운 일치도를 보였습니다.
• 혼란 변수 처리: 검증 및 학습 데이터가 서로 다른 운영자에 의해 수집되어 스타일 불일치가 발생하는 작업의 경우, 두 지표 모두 상관관계가 약해졌으나 CI-MSE가 대부분의 경우 원시 MSE보다 더 강력한 신호를 제공했습니다.

민감도 분석

지표는 다음과 같은 하이퍼파라미터 변화에 대해 강건한 것으로 나타났습니다.

• 앙상블 호라이즌 (Ensemble Horizon): 성능은 $H=8$에서 정점을 찍었으며, 중간 정도의 변화에도 안정적이었습니다.
• DTW 윈도우: 작은 윈도우($W=1$)가 최상의 결과를 제공했으며, 더 큰 윈도우는 상관관계를 저하시켰습니다.
• 구간 주석 (Interval Annotation): 지표는 임계 구간 경계의 변화(최대 40%의 구간 길이)를 허용하면서도 유의미한 성능 저하 없이 견고함을 유지하여, 주석의 부정확함에 취약하지 않음을 보여주었습니다.

5. 의의 및 주장

저자들은 CI-MSE를 실제 롤아웃의 대체재가 아니라, 정책 반복을 가속화하기 위한 신뢰할 수 있는 도구로 포지셔닝합니다. 비임계 타임스텝의 노이즈를 제거하고 배포 시점의 동작을 고려함으로써, CI-MSE는 다음과 같은 검증 신호를 제공합니다.

• 더 높은 예측력: 다양한 모델 변형에 대해 실제 성공률과 강력한 상관관계를 가집니다.
• 강건성: 분포 변화에 효과적이며 합리적인 하이퍼파라미터 튜닝에 민감하지 않습니다.
• 실용성: 물리적 롤아웃의 막대한 비용 없이 연구자들이 인접한 모델 변형(예: 미세한 아키텍처 또는 데이터셋 변경)을 비교할 수 있게 합니다.

결론적으로, 오프라인 검증이 물리적 역학이나 새로운 실패 모드를 완전히 포착할 수는 없지만, CI-MSE는 오프라인 벤치마크의 충실도를 크게 향하여 더 효율적이고 데이터 중심적인 로봇 학습 사이클을 가능하게 합니다.