💻 computer science

Cross-View Action Consistency for Camera-Robust Vision-Language-Action Policies

본 논문은 RGB 이미지와 고유 수용 감각만을 사용하여 카메라 시점 변화에 대한 강건함을 달성하기 위해 플로우 기반 시각-언어-행동 정책을 정규화하는 교차 뷰 행동 일관성 방법을 제안하며, 이는 카메라 레이블이나 깊이 입력을 요구하지 않고도 시뮬레이션 및 실제 로봇 작업 모두에서 성능을 크게 향상시킨다.

원저자: Bingqi Huang, Bingchuan Wei, Xuan Wang, Yingkai Cai, Zhaokui Wang

게시일 2026-09-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bingqi Huang, Bingchuan Wei, Xuan Wang, Yingkai Cai, Zhaokui Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인간의 시연으로부터 학습하는 로봇들은 점점 더 유능해지고 있지만, 종종 독특한 취약성을 겪곤 합니다. 바로 자신이 학습되었던 특정 관점에 묶여 있다는 점입니다. 상단 선반에 카메라가 놓인 상태에서 로봇이 컵을 집는 법을 배웠다고 가정해 봅시다. 만약 이 카메라가 부딪히거나, 옆으로 이동하거나, 더 높이 올려진다면, 컵과 탁자, 그리고 로봇 자신의 몸은 전혀 움직이지 않았음에도 불구하고 로봇은 갑자기 실패할 수 있습니다. 이는 로봇의 '두뇌', 즉 무엇을 보는지와 무엇을 해야 하는지를 연결하는 일종의 인공지능이 원래 카메라의 정확한 각도를 기준으로 작업을 인식하도록 학습되었기 때문입니다. 현실 세계에서는 카메라가 부딪히기도 하고, 로봇이 움직이기도 하며, 조명이 변하기도 하므로, 시점이 바뀐 것에 적응하지 못하는 시스템은 진정으로 유용하다고 할 수 없습니다. 연구자들은 로봇에게 3D로 보는 깊이 카메라와 같은 더 복잡한 센서를 부여하거나, 공간의 기하학적 구조를 이해하도록 가르치는 방식으로 이를 해결하려 노력해 왔지만, 이러한 솔루션들은 종-종 값비싼 하드웨어나 유지 관리가 어려운 복잡한 보정 과정을 필요로 합니다.

칭화 대학교와 암스테르담 대학교의 연구팀은 새로운 센서를 추가하거나 실제 세계에서 로봇의 작동 방식을 변경하지 않고도 카메라 움직임에 강한 로봇 정책을 만드는 방법을 찾아냈습니다. 그들은 단순히 다음 동작을 추측하는 것이 아니라, 마치 물이 목적지를 향해 흐르는 것처럼 동작의 '흐름(flow)'을 예측하며 학습하는 특정 종류의 로лот 컨트롤러에 집중했습니다. 그들 발견의 핵심은 로봇이 스스로와 일치하도록 강제하는 학습 방법입니다. 연구진은 동일한 물리적 장면을 두 가지 다른 각도에서 보여주는 한 쌍의 훈련 이미지를 만들었습니다. 하나는 원래의 카메라 위치에서 본 것이고, 다른 하나는 약간 이동된 위치에서 본 것입니다. 결정적으로, 그들은 두 이미지에 대해 로봇이 정확히 동일한 동작을 수행하도록 지시했습니다. 두 가지 뷰에 대해 동일한 움직임의 흐름을 예측하도록 로봇을 훈련함으로써, 카메라 위치의 변화를 무시하고 오직 과업 자체에만 집중하도록 가르친 것입니다.

연구진은 이 아이디어를 카메라 시점 변화를 처리하는 능력을 전문적으로 테스트하기 위해 설계된 벤치마크인 LIBERO-Plus를 사용하여 시뮬레이션 환경에서 테스트했습니다. 그들은 이 새로운 방법을 표준 훈련 기법들과 비교했습니다. 카메라가 이동했을 때, 표준 방식으로 훈련된 로봇은 약 17%의 시도에서만 성공했습니다. 다양한 카메라 각도로 훈련받되 이들의 특별한 일관성 규칙을 적용하지 않은 로봇은 약 75%의 성공률로 개선되었습니다. 그러나 이들의 교차 뷰 일관성(cross-view consistency) 규칙으로 훈련된 로봇은 87.2%의 성공률에 도달했습니다. 이 향상은 다양한 무작위 훈련 시작 지점에서도 일관되게 나타났습니다. 또한 연구진은 이 성공이 두 이미지가 동일한 물리적 상태를 보여준다는 사실에 전적으로 의존한다는 것을 증명했습니다. 그들이 훈련 데이터를 뒤섞어 로봇이 특정 상태를 위한 동작을 다른 뷰와 매칭하도록 했을 때, 성능은 25.8%로 급락했습니다. 이는 로봇이 단순히 답변을 매끄럽게 만든 것이 아니라, 서로 다른 뷰를 동일한 동작에 연결하는 법을 진정으로 학습했다는 것을 보여줍니다.

이것이 단지 컴퓨터 시뮬레이션의 결과가 아님을 확인하기 위해, 연구팀은 이 방법을 실험실의 실제 로봇 팔에 적용했습니다. 그들은 동일한 탁자를 관찰하는 세 개의 동기화된 카메라를 사용하여 훈련 데이터를 수집함으로써, 실제 세계로부터 필요한 뷰의 쌍을 만들 수 있었습니다. 그 후, 훈련 과정에서 한 번도 본 적 없는 위치에 배치된 단일 카메라를 사용하여 로봇을 테스트했습니다. 새로운 방법으로 훈련된 로로봇은 이러한 미학습 카메라 테스트에서 74.4%의 성공률을 보인 반면, 표준 방식은 53.3%에 그쳤습니다. 개선 효과는 헤드폰을 스탠드에서 제거하는 것과 같은 어려운 과업에서 가장 극적으로 나타났는데, 표준 방식은 새로운 카메라 위치에서 완전히 실패했지만, 새로운 방식은 시도의 거의 절반 가까이 성공했습니다. 이 연구는 로봇에게 서로 다른 각도에서 자신의 동작에 대한 일관성을 가르침으로써, 추가적인 카메라, 깊이 센서, 또는 복잡한 기하학적 지도 없이도 로봇이 실제 세계에서 훨씬 더 신뢰할 수 있게 될 수 있음을 확인시켜 줍니다. 로봇은 단순히 그림이 바뀌더라도 과업은 동일하다는 것을 학습하게 됩니다.

기술 요약: 카메라 강건성을 위한 교차 뷰 액션 일관성 (Cross-View Action Consistency)

문제 정의

고정된 장면 카메라에서 수집된 데모로 파인튜닝된 시각-언어-행동(Vision-Language-Action, VLA) 정책은, 물리적 작업 상태, 언어 지시문, 로봇의 고유 수용 감각(proprioception)이 동일하더라도 장면 카메라가 이동, 충돌 또는 재장착되었을 때 성능이 저하되는 경우가 많습니다. 이러한 강건성 문제를 해결하기 위한 기존 방식들은 깊이 센서, 포인트 클라우드, 보정된 멀티 뷰 입력, 카메라 라벨 또는 기하학적 인식을 갖춘 아키텍처를 요구함으로써 추론 계약(inference contract)을 변경합니다. 이러한 접근 방식은 배포 시 하드웨어 의존성이나 계산 오버헤드를 발생시킵니다.

본 논문은 추론 시에 오직 단일 장면 RGB 이미지, 언어 지시문, 그리고 고유 수용 감각 상태만을 사용하여 플로우 기반(flow-based) VLA의 장면 카메라 뷰포인트 강건성을 달성하는 문제를 다룹니다. 목표는 깊이 데이터, 카메라 외적 파라미터(extrinsics), 또는 새로운 뷰 렌더링에 의존하지 않고도 카메라 포즈가 변경될 때 성능 저하를 방지하는 것입니다.

방법론: 교차 뷰 액션-플로우 일관성 (Cross-View Action-Flow Consistency)

제안된 방법은 중간 특징 표현(feature representation)이 아닌 **액션-플로우 속도장(action-flow velocity field)**을 직접 정규화하는 훈련 시 목적 함수를 도입합니다. 핵심 통찰은 플로우 기반 정책의 경우, 액션이 학습된 속도장 $v_\theta$ 를 적분하여 생성된다는 점입니다. 만약 두 개의 서로 다른 카메라 뷰가 동일한 물리적 상태를 관측한다면, 정책은 동일한 플로우 좌표에서 일관된 속도 벡터를 예측하여 일관된 액션 청크(action chunks)를 생성해야 합니다.

1. 액션 등가 쌍 (Action-Equivalent Pairs)

이 방법은 다음과 같은 훈련 쌍 $(o_0, o_p, l, q, a)$ 을 구성하는 것에 기반합니다:

$o_0$ 와 $o_p$ 는 명목상 카메라 $c_0$ 와 섭동(perturbed)된 카메라 $c_p$ 로부터 렌더링된 동일한 물리적 상태 $s$ 의 RGB 관측치입니다.
$l$ (언어), $q$ (고유 수용 감각), $a$ (시연된 액션 청크)는 두 뷰에 대해 동일합니다.
시뮬레이션에서는 저장된 상태로 MuJoCo 환경을 리셋하고 다시 렌더링함으로써 이러한 쌍을 생성합니다. 실제 로봇의 경우, 동일한 타임스탬프를 관측하는 동기화된 멀티 카메라 설정을 사용하여 수집합니다.
결정적으로, 정책이 섭동되지 않은 시각적 지름길(visual shortcut)을 사용하는 것을 방지하기 위해 훈련과 추론 모두에서 손목 카메라(wrist-camera) 스트림을 마스킹합니다.

2. 손실 함수 (Loss Function)

두 뷰의 쌍에 대해, 정책은 샘플링된 플ow 좌표 $(t_k, \epsilon_k)$ 에서 속도장 $v_0$ 와 $v_p$ 를 예측합니다. 전체 손실 $\mathcal{L}$ 은 두 항의 결합으로 구성됩니다:

표준 플로우 매칭 ( $\mathcal{L}_{FM}$ ): 두 뷰 모두 시연된 액션 타겟 $u_{t_k}$ 와 일치하도록 감독됩니다.
$\mathcal{L}_{FM} = \frac{1}{2} (\|v_0 - u_{t_k}\|^2 + \|v_p - u_{t_k}\|^2)$
교차 뷰 일관성 ( $\mathcal{L}_{CV}$ ): 두 뷰의 예측된 속도가 활성화된 액션 차원(active action dimensions)에 대해 일치하도록 권장됩니다.
$\mathcal{L}_{CV} = \|v_p[\cdot, : A_{act}] - v_0[\cdot, : A_{act}]\|^2$

전체 목적 함수는 $\mathcal{L} = \frac{1}{K}\sum \mathcal{L}_{FM} + \lambda_{CV} \frac{1}{K}\sum \mathcal{L}_{CV}$ 입니다.

3. 이론적 근거

본 논문은 특징 수준의 불변성(feature-level invariance)이 액션 수준의 불변성을 보장하지 않는다고 주장합니다. 속도장 자체를 정규화함으로써, 이 방법은 적분된 액션 청크의 발산을 직접적으로 제한합니다. 국소 리프시츠(local Lipschitz) 가정 하에, 명목 뷰와 섭동된 뷰로부터 생성된 액션 청크 간의 기대 제곱 차이는 적분 경로를 따르는 속도 예측의 기대 제곱 차이에 의해 유계(bounded)됩니다.

4. 제어 메커니즘 (Control Mechanisms)

이득이 일반적인 스무딩(smoothing)이 아닌 액션 등가 쌍으로부터 오는 것임을 검증하기 위해, 저자들은 **셔플된 쌍 제어(shuffled-pair control)*를 사용합니다합니다. 이 절제 실험(ablation)에서, 교차 뷰 손실은 (액션 등가성을 깨뜨리는) 서로 다른 물리적 상태의 속도를 비교하는 반면, 플로우 매칭 라벨은 올바르게 유지합니다. 이 제어 실험은 성능이 붕괴되는 결과를 초래하며, 이는 본 방법이 진정한 상태 대응 관계에 의존함을 확인시켜 줍니다.

주요 기여

정식화: 본 논문은 플로우 기반 VLA를 위한 장면-카메라 강건성을 액션 등가 뷰 간의 국소 액션-플로우 일관성 문제로 정식화합니다.
목적 함수: 속도장을 직접 정규화하는 교차 뷰 액션-플로우 일관성 목적 함수를 제안합니다. 이 접근 방식은 추론 시에 추가적인 센서, 보정 또는 카메라 특화 입력을 요구하지 않습니다.
실험적 검증: 통제된 절제 실험을 통해 다음을 입증했습니다:
- 개선 효과는 액션 등가 쌍에 의존합니다 (셔플된 쌍은 실패함).
- 이득은 훈련 쌍에서 다루지 않은 카메라 포즈(방위각, 거리, 회전)로 확장됩니다 (외삽).
- 본 방법은 명목 뷰 성능을 희생하지 않으면서 강건성을 향상시킵니다.

실험 결과

시뮬레이션 (LIBERO-Plus)

카메라 섭동 벤치마크(C1: 거리/스케일, C2: 구형 위치, C3: 엔드이펙터 방향)에서 평가되었습니다:

제안된 방법: 카메라 섭동 트랙에서 **87.2 ± 0.4%**의 성공률을 달성했습니다.
베이스라인:
- 동일한 데이터를 사용하되 교차 뷰 손실만 제외한 "same-data" Flow Matching (FM) 전용 제어 모델(79.8%)보다 7.4 퍼센트 포인트(pp) 높았습니다.
- 표준 혼합 카메라 지도 학습(SFT) (74.7%)보다 12.5 pp 높았습니다.
- 명목 전용 베이스라인 (16.8%)보다 70.4 pp 높았습니다.
명목 성능: 본 방법은 표준 명목 카메라 벤치마크에서 높은 성공률(94.2% vs. FM-only 제어 모델의 93.6%)을 유지하여, 명목 성능에서의 트레이드오프가 없음을 보여주었습니다.
절제 실험: 셔플된 쌍은 성능을 25.8%로 붕괴시켰으며, 이는 액션 등가 대응의 필요성을 증명합니다.

실제 로봇 평가

동기화된 멀티 카메라 훈련 및 홀드아웃(held-out) 카메라 배포를 사용하여 세 가지 테이블탑 작업(Pick & Place, Contact Rich, Dexterous Operation)에서 평가되었습니다:

홀드아웃 카메라 성공률: (FM-only) **53.3%**에서 (제안된 방법) **74.4%**로 향상되었습니다.
작업별 특이사항: 노트북 뚜껑(Laptop lid) 작업은 제안된 방법 사용 시 홀드아웃 카메라에서 100% 성공률을 기록했습니다. 헤드폰 스탠드(Headphone stand) 작업은 가장 큰 상대적 이득(16.7%에서 46.7%로)을 보였으나, 절대적 성능은 관측성 문제(얇은 물체의 가려짐)에 의해 제한되었습니다.
일반화: 이득은 기하학적으로 공격적인 홀드아웃 배치(예: 더 높거나 탑다운 뷰)에서 가장 두드러졌습니다.

의의 및 주장

본 논문은 특징 수준의 불변성보다 액션 수준의 일관성이 카메라 강건성을 위한 더 효과적인 목표라고 주장합니다. 액션을 직접 생성하는 속도장을 정규화함으로써, 이 방법은 서로 다른 뷰가 동일한 상태에 대해 동일한 의도된 행동을 생성하도록 보장합니다.

본 연구의 의의는 추론 계약을 변경하지 않고 강건성을 개선할 수 있다는 점에 있습니다. 깊이 센서, 카메라 라벨 또는 3D 재구성을 요구하는 방식과 달리, 이 접근 방식은 단일 RGB 카메라만으로도 뷰포인트 변화에 강건한 VLA를 배포할 수 있게 합니다. 저자들은 이 방법이 시뮬레이션 리셋이나 동기화된 카메라를 통해 관측된 액션 등가 뷰를 활용하여, 정책이 불필요한 뷰포인트 변화를 무시하도록 가르치는 훈련 시 레시피이며, $\pi_{0.5}$ 와 같은 기존의 플로우 기반 VLA 아키텍처에 적용 가능하다는 점을 강조합니다.

논문은 한계점에 대해서도 솔직하게 기술하고 있습니다: 이 방법은 카메라에 의해 가려진 정보(예: 얇은 물체 근처의 깊이 단서)를 복구하지 못하며, 훈련을 위해 진정한 액션 등가 쌍이 필요하므로 표준 단일 카메라 데이터셋에는 적용하기 어렵습니다. 그러나 본 연구는 표준 RGB 전용 추론과 호환되는, 카메라 강건한 VLA 훈련을 위한 새로운 기준을 제시합니다.