💻 computer science

Selective Cross-View Consistency for World Action Models: Held-Out Viewpoint Robustness Without Test-Time Camera Information

이 논문은 비디오 프레임과 같은 뷰 공변적(view-covariant) 출력 대신 액션과 같이 뷰 불변적인(view-invariant) 출력에만 일관성 손실을 적용함으로써, 정당한 뷰 특유의 콘텐츠의 축소를 방지하면서도 카메라 라벨이나 외부 정보 없이 홀드아웃 카메라 시점에 대한 월드 액션 모델의 강건성을 향상시키는 훈련 전략인 선택적 교차 뷰 일관성(Selective Cross-View Consistency, SCVC)을 제안한다.

원저자: Bingqi Huang, Bingchuan Wei, Yingkai Cai, Zhaokui Wang

게시일 2026-08-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bingqi Huang, Bingchuan Wei, Yingkai Cai, Zhaokui Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

영상을 보고 배우는 로봇이 현실이 되고 있지만, 이들은 까다로운 문제에 직면해 있습니다. 바로 카메라 각도가 바뀌면 자주 실패한다는 점입니다. 예를 들어, 로봇이 테이블 왼쪽의 카메라를 보며 컵을 집어 올리는 훈련을 했다고 가정해 봅시다. 만약 카메라를 오른쪽으로 옮기면, 컵은 정확히 같은 위치에 있음에도 불구하고 로봇은 동작을 멈추거나 컵을 떨어뜨릴 수 있습니다. 이는 로봇이 물리적인 과업 자체를 이해하기보다는, 훈련 중에 본 특정 시점과 동작을 연관 지어 학습했기 때문에 발생합니다. 이를 해결하기 위해 과학자들은 비디오에서 다음에 일어날 일과 로봇이 수행해야 할 물리적 움직임을 모두 예측하는 인공지능의 일종인 '월드 액션 모델(world action models)'을 개발하고 있습니다. 영상으로부터 학습함으로써 로봇이 세상이 어떻게 돌아가는지에 대한 일반적인 감각을 갖게 하여, 관점이 바뀌더라도 올바르게 행동할 수 있도록 하는 것이 목표입니다. 그러나 이러한 모델들을 카메라 변화에 강인하게 만들려는 이전의 시도들은 한계에 부딪혔는데, 종종 로봇의 내부 논리를 로봇이 잡고 있는 카메라의 안정성과 혼동하곤 했습니다.

칭화 대학교의 연구진은 이러한 모델들이 다양한 카메라 각도를 다루도록 훈련되는 방식에서 근본적인 오류를 발견했으며, 정밀한 교정법을 제안했습니다. 그들은 로봇이 동일한 물리적 상태가 서로 다른 각도에서 다르게 보인다는 것을 이해하도록 훈련할 때, 로봇의 예측 중 모든 부분을 동일하게 취급해서는 안 된다는 것을 발견했습니다. 로봇의 출력값은 두 가지 유형의 정보가 혼합된 것입니다. 즉, 카메라 위치에 따라 변하는 '미래의 장면'과, 카메라 위치와 상관없이 동일해야 하는 '물리적 행동'입니다. 연구진은 모델에게 변화하는 장면의 세부 사항까지 일치하도록 강요하는 것이 오히려 모델을 혼란스럽게 만들어, 미래를 보는 시야를 흐릿하게 만든다는 것을 발견했습니다. 대신, 그들은 '선택적 교차 뷰 일관성(Selective Cross-View Consistency)'이라 불리는 방법을 개발하여, 모델이 물리적 행동에 대해서만 일치하도록 강제하고 예측된 장면은 카메라에 따라 자연스럽게 변하도록 허용했습니다.

이 아이디어를 테스트하기 위해, 연구진은 단순한 암기와 진정한 일반화를 구분하는 엄격하고 새로운 평가 방식을 만들었습니다. 많은 기존 연구에서는 로봇이 훈련 중에 이미 보았던 카메라 각도에서 테스트를 진행하여 잘못된 안정감을 주었습니다. 새로운 방식은 로봇을 광범위한 카메라 각도로 훈련시키되, 특정 각도 대역을 의도적으로 제외하여 테스트로 사용하는 것입니다. 이를 통해 연구진은 로봇이 한 번도 접해보지 못한 카메라 위치를 처리할 수 있는지 확인할 수 있습니다. 또한 그들은 로봇이 일반적으로 테스트되는 주요 결함도 해결했습니다. 많은 시스템이 로봇의 손목에 장착된 카메라를 사용하는데, 이 카메라는 팔과 함께 움직이며 메인 장면 카메라가 움직일 때도 안정적으로 유지됩니다. 이러한 안정성은 시스템이 실제로 강인한 것이 아니라 단지 손목 카메라에 의존하고 있음에도 불구하고, 마치 강인한 것처럼 착각하게 만듭니다. 연구진은 장면 카메라만을 사용하는 버전의 로봇을 테스트함으로써, 환경에 대한 진정한 이해를 측정했음을 보장했습니다.

이러한 선택적 접근 방식의 결과는 명확하고 구체적이었습니다. 로봇이 훈련 범위에서 멀리 벗어난, 한 번도 본 적 없는 카메라 각도에서 테스트되었을 때, 이 새로운 방법은 동일한 데이터로 훈련된 표준 모델에 비해 성공률을 12.2 퍼센트 포인트 향상시켰습니다. 이러한 개선은 카메라를 위아래로 움직이거나 거리를 조절하는 것과 같은 다양한 유형의 카메라 움직임 전반에서 유효했습니다. 그러나 로봇이 이미 본 범위 내의 카메라 각도에서 테스트되었을 때는 이 방법이 별다른 이점을 보이지 않았으며, 이 경우 성능은 표준 모델과 동일했습니다. 이러한 차이는 이 방법이 단순히 로봇을 모든 면에서 더 좋게 만드는 것이 아니라, 새로운 미경험 관점에 대응하는 일반화 능력을 구체적으로 돕고 있다는 점을 입증하는 중요한 대목입니다. 연구진은 또한 통제된 실험을 통해, 모델에게 잘못된 부분(변화하는 장면)에 대해 일치하도록 강요하는 것이 실제로 성능을 저하시키고 미래를 보는 능력을 축소시킨다는 것을 확인했습니다.

이 연구는 로봇을 더욱 적응력 있게 만들기 위한 명확한 경로를 제시합니다. 로봇의 미래 장면 예측은 카메라에 따라 변해야 하는 반면, 무엇을 할지에 대한 결정은 동일해야 한다는 점을 이해함으로써, 개발자들은 진정으로 강인한 시스템을 구축할 수 있습니다. 이 연구는 적절한 제약 조건이 있다면, 세상이 이전에 보았던 것과 다르게 보이더라도 로봇이 올바르게 행동하도록 학습할 수 있음을 보여줍니다. 단, 시각적 예측을 억지로 일치시키려다 보니 발생하는 혼란을 방지할 때 말입니다. 이 연구 결과는 강인한 로봇 제어의 핵심이 로봇에게 모든 것을 똑같이 보게 만드는 데 있는 것이 아니라, 무엇이 변하지 않아야 하고 무엇이 변해도 되는지를 정확히 가르치는 데 있다는 것을 시사합니다.

기술 요약: 월드 액션 모델(World Action Models)을 위한 선택적 교차 뷰 일관성(Selective Cross-View Consistency)

문제 정의
월드 액션 모델(WAM)은 비디오 생성 백본과 로봇 제어 정책을 통합하여 미래의 관측값과 행동을 공동으로 예측한다. 이러한 모델은 일반화를 위해 시각적 사전 지식(visual priors)을 활용하지만, 카메라 시점 변화에 대해 상당한 취약성을 보인다. 이 모델의 강건성(robustness)을 개선하기 위한 핵심 과제는, 모델의 출력이 시점 의존적(view-covariant) 좌표(카메라에 따라 변해야 하는 예측된 미래 장면)와 시점 불변적(view-invariant) 좌표(시점과 관계없이 일정해야 하는 액션 청크, 미래 고유 수용 감각, 가치)의 결합체라는 점을 고려할 때, 어떻게 일관성 학습(consistency training)을 적용할 것인가를 결정하는 것이다.

뷰포인트에 강건한 시각 운동 정책(Viewpoint-Robust Visuomotor Policies)에 관한 기존 연구들은 일관성 손실을 균일하게 적용하거나 손목 카메라(wrist-camera)의 안정성에 의존하는데, 이는 장면의 시점 불변성과 로봇 팔에 장착된 카메라 자체의 내재적 안정성을 혼동하게 만든다. 또한, 기존의 평가 프로토콜은 분포 매칭 성능(distribution-matched performance)과 실제 미학습 시점(held-out viewpoints)에 대한 진정한 분포 외(OOD) 일반화 성능을 구분하지 못하는 경우가 많다.

방법론
저자들은 WAM의 구조화된 디노이징 타겟(denoising targets)에 특화되어 설계된 학습 목적 함수인 **선택적 교차 뷰 일관성(Selective Cross-View Consistency, SCVC)**을 제안한다.

선택적 제약(Selective Constraint): 모든 출력 차원에서 일치함을 강제하는 표준적인 일관성 학습과 달리, SCVC는 불변 블록( $Y_I$ : 행동, 고유 수용 감각, 가치)에 대해서만 일관성 패널티를 부과한다. 의존 블록( $Y_C$ : 미래 장면)은 표준적인 뷰별 감독(per-view supervision)을 통해 학습된다.
- 이론적 근거: 본 논문은 의존 블록(미래 장면)에 일관성을 강제하는 것이 입증 가능한 해로움이 된다는 것을 증명한다(Proposition 1). 이는 모델이 여러 뷰의 "고스트 평균(ghosted average)"을 예측하도록 강제하며, 정당한 뷰 특유의 콘텐츠를 실제 값의 $1/(1 + 4\lambda)$ 수준으로 축소시킨다.
- 노이즈 매칭(Noise Matching): 유효한 일관성 신호를 보장하기 위해, 이 방법은 확산 모델(diffusion models)의 노이즈 조건부 구조에서 도출된 요구 사항에 따라 학습 쌍의 두 브랜치 간에 동일한 노이즈 실현값( $\sigma, n$ )을 공유한다(Proposition 2).
Carve-and-Hold-Out 평가 프로토콜: 저자들은 데이터 누수를 방지하면서 강건성을 엄격하게 평가하기 위해 LIBERO-Plus 벤치마크에서 새로운 평가 프레임워크를 도입한다.
- Carving(조각): 학습 쌍은 카메라 축(방위각, 고도, 달리, 엔드포인트)의 전체 심각도 범위를 다루지만, 의도적으로 특정 "구멍(interpolation gaps)"과 "밴드(extrapolation regions)"를 제외한다.
- Bucketing(버킷팅): 공식 벤치마크 태스크를 인-디스트리뷰션(in-distribution, 학습 범위 내), 보간(interpolation, 학습 범위 내의 구멍), **외삽(extrapolation, 학습 envelopes 외부의 영역)**으로 분할한다.
- Matched Control(매치드 컨트롤): 베이스라인 모델은 동일한 카빙된 데이터셋을 사용하되 일관성 가중치를 0으로 설정( $\lambda=0$ )하여 학습한다. 이를 통해 단순한 다중 뷰 노출 효과로부터 일관성 목적 함수의 효과를 격리한다.
장면 전용 감사(Scene-Only Audit): 손목 카메라의 안정성이 장면-뷰 불변성 문제를 가리는 것을 방기하기 위해, (손목 카메라 입력을 제외한) 장면 전용 정책을 명시적으로 학습하고 평가한다.

주요 결과
실험은 LIBERO-Plus 카메라 트랙을 사용하는 2B 파라미터 규모의 WAM(Cosmos Policy)을 대상으로 수행되었다.

외삽(Held-Out Extrapolation): SCVC는 외삽 시점(학습 범위를 벗어난 시점)에서 폐쇄 루프 성공률을 유의미하게 향상시킨다.
- 궤도 방위각(orbital azimuth) 축에서, SCVC는 매치드 컨트롤 대비 성공률을 +12.2 포인트(95% CI [7.4, 17.0]) 향상시켰다.
- 이 이득은 두 번째 학습 시드(+15.5 포인트)와 다른 두 개의 카메라 축(달리 및 고도)에서도 재현되었다.
보간 및 인-디스트리뷰션: 이 방법은 학습 범위 내의 보간 태스크에서는 이득이 없었으며(약간의 부정적 경향성 포함), 이는 이득이 샘플링된 분포을 넘어 일반화하는 데 특화되어 있음을 확인시켜 준다. 인-디스트리뷰션 역량은 유지되었다(변화량 $-0.6 $및$ -0.2$ 포인트).
수축 법칙 검증(Shrinkage Law Verification): 통제된 실험을 통해 잘못된(의존적) 좌표에 일관성을 적용하면 예측된 미래 장면이 뷰 평균화된 "고스트" 이미지로 붕괴된다는 이론적 예측을 확인하였으며, 이를 통해 선택성의 필요성을 입증하였다.
손목 혼재(Wrist Confound): 감사 결과, 발표된 카메라 강건성 수치들이 손목 카메라의 자세 안정성에 의해 크게 혼동되고 있음이 드러났다. 손목 카메라가 장착된 정책은 장면 카메라가 차단되어도 높은 성공률을 유지한 반면, 장면 전용 정책은 손목이 없으면 붕괴되었다. 이는 기존 벤치마크가 장면-뷰 불변성이 아닌 손목 안정성을 측정하고 있음을 나타낸다.

의의 및 주장
본 논문은 네 가지 주요 기여를 주장한다:

구조적 원칙: WAM의 경우, 교차 뷰 일관성은 선택적이어야 함을 확립한다. 의존적 출력(미래 장면)에 일관성을 강제하는 것은 특정 수축 법칙으로 정량화되는 현상처럼, 뷰 특유의 콘텐츠를 축소시켜 성능을 능동적으로 저하시킨다.
평가 엄밀성: 분포 매칭 성능과 진정한 OOD 일반화를 분리하여, 커버리지와 강건성을 혼동하는 것을 방지하는 carve-and-hold-out 프로토콜을 도입한다.
경험적 검증: 선택적 일관성이 인-디스트리뷰션 성능을 유지하면서도 외삽 영역(학습 범위를 벗어난 영역)에서 측정 가능한 강건성 이득을 제공함을 입증한다.
현재 관행에 대한 감사: 현재의 카메라 강건성 벤치마크가 손목 카메라의 자세 안정성이라는 혼재 요인 때문에 장면-뷰 불변성을 측정하기에 부적절할 수 있음을 보여주는 크로스-백본 감사를 제공한다.

저자들은 SCVC가 WAM의 제로샷 갭(zero-shot gap) 중 "시점 방향 상실(viewpoint-disorientation)" 구성 요소를 해결하며, 학습 또는 테스트 시점에 카메라 라벨, 외부 파라미터(extrinsics) 또는 깊이 정보가 필요 없는 타겟팅된 수리책을 제공한다고 결론짓는다. 또한, 동일 상태의 교차 뷰 쌍(현재 시뮬레이션에서는 가능)이 필요하다는 점과 평가 범위가 특정 LIBERO-Plus 벤치마크 및 시뮬레이션 환경에 국한된다는 한계점을 언급한다.

유사한 논문