💻 computer science

Probabilistic Reachable-Action Verification of Visuomotor Policies via Set-Based Training

본 논문은 효율적인 집합 전파를 위해 시각적 인코더를 동결하고 보정된 저차원 인터페이스를 활용함으로써, 집합 기반 학습과 등각 보정(conformal calibration)을 통해 기존 베이스라인보다 더 작고 확률적으로 보장된 도달 가능 동작 반경을 달성하는 시각-운동 정책 검증 방법을 소개한다.

원저자: Yanliang Huang, Zhuocheng Zhang, Peng Xie, Zhen Zhang, Wenyuan Wu, Majid Khadiv, Zhuoqi Zeng, Amr Alanwar

게시일 2026-08-04

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yanliang Huang, Zhuocheng Zhang, Peng Xie, Zhen Zhang, Wenyuan Wu, Majid Khadiv, Zhuoqi Zeng, Amr Alanwar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 달걀처럼 깨지기 쉬운 물건을 집어 그릇에 담는 섬세한 작업을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 인간이 그 일을 하는 수천 개의 영상을 보여주고, 로봇은 보이는 것에 따라 팔을 어떻게 움직일지에 대한 규칙인 '정책(policy)'을 학습합니다. 하지만 여기에는 함정이 있습니다. 로봇의 카메라는 머리에 완벽하게 고정되어 있지 않습니다. 시간이 흐르면서 진동, 열, 또는 나사 하나가 풀리는 등의 이유로 카메라가 아주 미세하게 움직일 수 있습니다. 로봇에게 세상은 갑자기 조금 다르게 보입니다. 화면 중앙에 있던 그릇이 이제는 약간 왼쪽으로 치우쳐 보일 수 있습니다. 만약 로직이 너무 민감하다면, 그 작은 변화 때문에 로봇은 달걀 대신 허공을 잡거나, 최악의 경우 달걀을 탁자에 내리쳐 깨뜨릴 수도 있습니다.

이것이 바로 시각적 정보로 움직임을 배우는 **시각-운동 정책(visuomotor policies)**의 세계입니다. 과학자들이 던지는 핵심 질문은 이것입니다: "카메라가 얼마나 흔들려야 로봇이 위험한 행동을 하기 시작할 것인가?" 이 질문에 답하기 위해 연구자들은 **도달 가능성 분석(reachability analysis)**이라는 개념을 사용합니다. 이것은 로봇의 가능한 행동 주위에 '안전 버블(safety bubble)'을 그리는 것이라고 생각하면 됩니다. 카메라가 이동하더라도 로봇의 행동은 변할 수 있지만, 우리는 그 새로운 행동이 여전히 안전 구역 안에 머물기를 원합니다. 문제는 현대의 로봇 뇌는 거대한 규칙의 도서관처럼 매우 크고 복잡하다는 점입니다. 로봇의 뇌 전체에 대해 안전 버블을 계산하려고 시도하는 것은 계산량이 너무 많아 사실상 불가능하며, 결과로 나오는 버블은 너무 크고 모호해서 쓸모가 없는 경우가 많습니다.

이 논문은 로봇의 뇌를 망가뜨리지 않으면서도 그 안전 버블을 줄이는 영리한 방법을 소개합니다. 시뮬레이션된 주방에서 로봇을 가지고 작업한 저자들은 로봇의 '눈(visual encoder)'은 고정시키고, 오직 '근육(downstream policy)'에 대해서만 무거운 수학적 계산을 수행하는 방법을 찾아냈습니다. 그들은 눈과 근육 사이에 작고 정밀하게 조정된 '병목 지점(choke point)'을 만들었습니다. 이 병목 지점에서 안전 버블을 타이트하게 유지하도록 로봇을 훈련함으로써, 카메라가 이동하더라도 로봇의 손이 너무 멀리 벗어나지 않는다는 것을 증명할 수 있었습니다. 그들은 이 방법이 '적대적 훈련(adversarial training, 로봇을 속이려는 나쁜 예시를 보여주는 방식)'과 같은 다른 방법들과 비교했을 때, 훨씬 더 작고 정밀한 안전 버블을 만들어내면서도 로봇이 과업을 성공적으로 완수할 수 있게 한다는 것을 입증했습니다.

문제점: 흔들리는 카메라

당신이 약간 헐거운 안경을 쓰고 있다고 상상해 보세요. 고개를 돌릴 때마다 안경이 1mm씩 미끄러집니다. 당신에게는 세상이 괜찮아 보이겠지만, 만약 당신이 공을 잡으려는 로봇이라면, 그 1mm의 변화가 완전히 실패를 불러올 수 있습니다. 현실 세계에서 로봇의 카메라는 열, 진동, 또는 충격으로 인해 드리프트(drift) 현상이 발생합니다. 이는 안전 측면에서 악몽입니다. 만약 로봇이 카메라가 이동했기 때문에 문이 열려 있다고 판단한다면, 벽에 충돌할 수 있습니다.

과학자들은 로봇을 '강건하게(robust)', 즉 이러한 변화를 견딜 수 있게 만들어 문제를 해결하려 노력해 왔습니다. 한 가지 인기 있는 방법은 **적대적 훈련(adversarial training)**으로, 의도적으로 왜곡된 이미지를 보여주어 로лото가 이를 무시하도록 가르치는 것입니다. 또 다른 방법은 **관측 일관성(observational consistency)**으로, 이미지가 선명하든 흐릿하든 로봇이 동일한 답을 내놓도록 만드는 것입니다. 하지만 문제가 있습니다. 우리는 이 로봇들이 실제로 '얼마나 안전한지'를 알 수 없습니다. 카메라가 움직였을 때 로봇이 취할 수 있는 행동의 정확한 범위를 쉽게 계산할 수 없기 때문입니다. 이는 마치 도로의 마찰력을 모르는 상태에서 자동차가 빙판길에서 정확히 얼마나 미끄러질지 예측하려는 것과 같습니다.

해결책: "병목 지점" 전략

이 논문의 저자들은 로봇의 뇌 전체(시각 인코더와 정책)에 대해 안전 버블을 계산하는 것이 해변의 모든 모래알을 세어서 조수의 높이를 예측하려는 것과 같다는 사실을 깨달았습니다. 그것은 너무 많은 작업이며, 결과 또한 너무 모호합니다.

그들의 아이디어는 **병목 지점(choke point)**을 구축하는 것이었습니다. 로봇의 뇌에 두 부분이 있다고 상상해 보세요: 이미지를 보는 '눈(Eyes)'과 어떻게 움직일지 결정하는 '손(Hands)'입니다. '눈'은 거대하고 복잡하지만, '손'은 더 작고 단순합니다. 저자들은 '눈'을 절대 변하지 않도록 고정하기로 했습니다. 그런 다음, 눈과 손 사이에 아주 작고 좁은 터널(저차원 인터페이스)을 삽입했습니다.

카메라의 변화가 거대한 뇌 전체로 퍼져나가게 두는 대신, 그 변화가 이 작은 터널만을 통과하도록 만들었습니다. 그들은 약간 이동된 카메라 데이터를 사용하여 이 터널을 교정했습니다. 그런 다음, **조노토프(zonotope)**라고 불리는 수학적 형태(다차원의 늘어나는 풍선이라고 생각하세요)를 사용하여 이 터널을 통ผ่าน하는 안전 버블을 추적했습니다.

마법의 기술: 집합 기반 훈련(Set-Based Training)

여기에 진짜 혁신이 있습니다. 보통 로봇을 훈련할 때, 당신은 그저 "옳은 일을 해라"라고 말합니다. 이 논문은 두 번째 규칙을 추가합니다: "옳은 일을 하되, 동시에 당신의 안전 버블을 가능한 한 작게 유지하라."

이것을 **집합 기반 훈련(set-based training)**이라고 부릅니다. 당신이 학생에게 원을 그리도록 가르친다고 상상해 보세요. 일반적인 선생님은 "원을 그려라"라고 말합니다. 하지만 집합 기반의 선생님은 "원을 그리되, 목표물을 맞히면서도 그 원의 크기를 최대한 작게 만들어라"라고 말합니다. 로봇에게 훈련 과정에서 이 안전 버블을 최소화하도록 강제함으로써, 로봇은 카메라의 흔들림에 덜 민감해지는 법을 배웁니다.

저자들은 만약 로봇이 이 병목 지점에서 안전 버블을 최소화한다면, 로봇의 실제 물리적 움직임이 예측 가능한 범위 내에 머물 것임을 수학적으로 증명했습니다. 그들은 단순히 추측한 것이 아니라, **분할 공리적 교정(split conformal calibration)**이라는 통계적 방법을 사용하여 안전 반경이 정확히 어느 정도인지 측정했습니다. 이것은 200번의 테스트 실행 샘플을 채취하여 "카메라가 이동하더라도 로봇이 X cm 이상 움직이지 않을 것이라고 99% 확신한다"라고 말하는 것과 같습니다.

결과: 더 타이트한 버블, 더 나은 로봇

연구팀은 로봇이 그릇을 서랍에 넣거나 가스레인지를 켜는 등의 작업을 수행하는 LIBERO-10 벤치마크에서 이 방법을 테스트했습니다. 그들은 자신들의 '집합 기반 훈련'을 다음 세 가지 방법과 비교했습니다:

행동 전용(Behavior-only): 안전 버블을 무시하고 오직 과업 수행에만 집중하여 훈련함.
관측 일관성(Observational consistency): 서로 다른 시점에서도 로봇이 동일한 답을 내도록 유도함.
PGD 적대적 훈련(PGD Adversarial Training): 최악의 카메라 변화로 로봇을 속이려고 시도함.

결과는 명확했습니다. 집합 기반 훈련은 표준 행동 전용 훈련보다 2.09배 더 작은(타이트한) 안전 반경을 만들어냈습니다. 이는 로봇이 훨씬 더 예측 가능하다는 것을 의미합니다. 더욱 인상적인 것은, 보통 매우 강력한 성능을 보이는 적대적 훈련 방법이 오히려 더 크고 정보 가치가 낮은 안전 반경을 만들어냈다는 점입니다. 집합 기반 방법은 로봇이 과업을 수행하는 데 실패하지 않으면서도 안전 버블을 줄이는 데 성공했습니다. 실제로 어떤 과업에서는 다른 방법들이 로봇을 완전히 실패하게 만들었지만, 집합 기반 방법은 로봇이 계속 작동할 수 있게 유지했습니다.

이것이 왜 중요한가

이 논문은 단순히 "우리 로봇이 더 안전하다"라고 말하는 데 그치지 않습니다. 수학적 보증을 통해 그 안전성을 측정하는 방법을 제시합니다. 무거운 시각적 부분을 고정하고, 안전 수학을 작고 교정된 인터페이스에 집중함으로써, 이전에는 해결하기 너무 어려웠던 문제를 해결 가능한 문제로 만들었습니다.

그들은 로봇에게 '안전 버블'을 타이트하게 유지하도록 훈련함으로써, 로봇이 맡은 일을 잘 수행할 뿐만 아니라 문제가 생겼을 때도 예측 가능하다는 것을 보여주었습니다. 만약 카메라가 이동한다면, 이제 당신은 99%의 확신을 가지고 "로봇의 손이 0.111 단위 이상 움직이지 않을 것이다"라고 말할 수 있습니다. 그러한 확실성은 안전이 가장 중요한 곳인 우리의 집이나 작업장에 로봇을 배치하는 데 있어 거대한 진전입니다. 저자들은 이 접근 방식이 로봇이 안전하다는 막연한 희망을 딱딱하고 계산 가능한 숫자로 바꾸어, 로봇을 신뢰할 수 있는지 검증하는 핵심 열쇠가 될 수 있다고 제안합니다.

기술 요약: 집합 기반 학습을 통한 시각-운동 정책의 확률적 도달 가능 행동 검증

문제 정의

조작 로봇에 배치된 시각-운동(visuomotor) 정책은 캘리브레이션 잔차, 장착 위치 변화, 열 변형으로 인한 카메라 포즈 드리프트로 인해 심각한 안전 위험에 직면해 있습니다. 카메라 포즈의 미세한 변화조차 관측된 이미지를 변경하여, 학습된 정책이 동일한 장면에서 완전히 다른 행동 시퀀스를 생성하게 만들 수 있습니다. 이로 인해 발생하는 최대 행동 편차는 중요한 안전 문제입니다. 이는 말단 장치(end-effector)를 안전하지 않은 영역으로 몰아넣거나 충돌을 유발할 수 있기 때문입니다.

강건성 벤치마크는 카메라 시점의 섭동(perturbation)이 시각-운동 정책에 상당한 영향을 미친다는 점을 확인해주지만, 배포 전 이러한 효과의 범위를 검증하는 것은 어렵습니다. 기존 방식들은 다음과 같은 트레이드오프에 직면합니다:

엔드 투 엔드 집합 전파(End-to-end set propagation): 거대한 시각 인코더와 다운스트림 정책을 통해 불확실성 집합을 전파하는 것은 계산 비용이 많이 들며, 많은 층을 거치면서 완화 오차(relaxation errors)가 누적되어, 검증에 유용하지 않은 지나치게 보수적인(느슨한) 행동 집합을 생성합니다.
점 단위 적대적 학습(Pointwise adversarial training): PGD 적대적 학습과 같은 방법은 특정 최악의 지점들에 대해서는 최적화하지만 전체 출력 집합을 구속하지는 못하며, 종종 타이트한 결정론적 포위 영역(deterministic enclosures)이나 도달 가능한 행동 공간에 대한 확률적 보장을 제공하는 데 실패합니다.

핵심 문제는 카메라 포즈 불확실성 하에서 엔드 투 엔드 집합 전파의 계산적 불가능성을 초래하지 않으면서, 시각-운동 정책의 도달 가능한 행동 반경을 검증하고 줄이는 방법입니다.

방법론

저자들은 캘리브레이션된 저차원 인터페이스를 사용하여 시각 인코더와 다운스트림 정책을 분리함으로써, 계산 가능한 집합 기반 학습 및 검증이 가능한 프레임워크를 제안합니다.

1. 아키텍처 및 인터페이스 설계

고정된 시각 인코더(Frozen Visual Encoder): 딥 비전 네트워크를 통한 집합 전파와 관련된 완화 오차의 누적을 방지하기 위해 사전 학습된 시각 인코더(예: ResNet18)를 고정합니다.
캘리브레이션된 병목 구간(Calibrated Bottleneck): 고정된 인코더와 다운스트림 정책 사이에 학습 가능한 저차원(32-D) 선형 병목 구간을 삽로합니다. 이 병목 구간은 시각적 특징을 압축합니다.
인터페이스 집합(Interface Set): 카메라 포즈 섭동으로부터 발생하는 불확실성을 이 병목 공간 내의 유계 집합(구체적으로는 등방성 존토토프 $B_\epsilon(z) = \langle z, \epsilon I_m \rangle$ )으로 매핑합니다. 반경 $\epsilon$ 은 표현 변화(representation shift)의 95% 한계 분위수를 나타내도록 홀드아웃 카메라 포즈 섭동을 사용하여 캘리브레이션됩니다.

2. 집합 기반 학습

다운스트림 정책(VITA 변형 모델인 Vision-to-Action Flow Matching Policy)은 모방 성능을 유지하면서 전파된 출력 집합의 크기를 최소화하도록 학습됩니다.

전파(Propagation): 인터페이스 집합은 존토토프 추상 변환기(affine maps 및 ReLU relaxation)를 통해 다운스트림 정책을 통과하여 전파됩니다. 이를 통해 인터페이스 집합으로부터 도달 가능한 모든 행동을 포함하는 출력 존토토프 $Z_{out}$ 을 생성합니다.
목적 함수(Objective): 학습 손실은 표준 모방 손실과 터미널 출력 존토토프에 대한 **너비 손실(width loss)**을 결합합니다. 너비는 명목 행동 크기로 정규화된, 출력 존토토프의 최대 스케일된 생성기 행 합(maximum scaled generator row sum)으로 정의됩니다.
제약 최적화(Constraint Optimization): 학습은 평균 미니배치 너비가 목표 반경 $r_{target}$ 을 초과하지 않도록 하는 조건 하에서 평균 모방 손실을 최소화합니다. 이는 투영된 승수(projected multiplier, dual variable)를 사용하는 적응형 힌지 손실(adaptive hinge loss)을 통해 달성됩니다.

3. 공형 캘리브레이션을 통한 확률적 검증

배포 중 도달 가능한 행동 반경에 대한 엄격한 보장을 제공하기 위해, 저자들은 **분할 공형 캘리브레이션(split conformal calibration)**을 사용합니다.

샘플링: 평가 시, 규정된 분포(예: 유계된 6D 섭동 박스 상의 균등 분포)에서 카메라 포즈를 샘플링합니다.
점수 계산: 각 롤아웃 초기화에 대해, 점수는 샘플링된 포즈에 의해 유도된 모든 상태에서의 명목 중심 행동 편차의 최댓값입니다.
캘리브레이션: 캘리브레이션 그룹 세트를 사용하여 이러한 점수들의 $(1-\alpha)$ 분위수를 계산합니다. 이를 통해 유한 샘플 커버리지 보장(즉, 실제 편차가 적어도 $1-\alpha$ 의 확률로 $q_\theta$ 보다 작음)을 갖는 확률적 도달 가능 행동 반경을 얻습니다.
이론적 연결: 저자들은 훈련된 포위 영역의 터미널 너비가 샘플링된 섭동에 의해 유도된 물리적 행동 편차를 상한선으로 가짐을 증명하여, 훈련 목적 함수를 캘리브레이션된 반경과 직접 연결합니다.

주요 기여

계산 가능한 집합 기반 검증: 저자들은 고정된 시각 인코더를 캘리브레이션된 저차원 인터페이스를 통해 다운스트림 정책과 분리하는 방법을 도입했습니다. 이를 통해 복잡한 시각-운동 시스템에서도 집합 기반 검증을 적용 가능하게 하여, 엔드 투 엔드 전파가 불가능한 상황에서도 집합 기반 학습을 실현했습니다.
이론적 보장: 저자들은 훈련된 포위 영역의 너비가 샘-플링된 카메라 섭동에 의해 유도된 물리적 행동 편차를 상한선으로 한다는 것을 증명했습니다. 이는 훈련 목적 함수(존토토프 너비 최소화)와 배포 메트릭(확률적 도달 가능 행동 반경) 사이의 공식적인 연결 고리를 확립합니다.
경험적 우월성: LIBERO-10 조작 벤치마크에서, 집합 기반 학습은 행동 전용 미세 조정(behavior-only fine-tuning) 및 관측 일관성(observational consistency), 점 단위 적대적(PGD) 학습에 비해 도달 가능한 행동 반경을 유의미하게 감소시키면서도 폐쇄 루프 작업 능력을 유지함을 보여주었습니다.

실험 결과

LIBERO-10 벤치마크에서 유계된 6차원 카메라 외적 섭동 하에 실험이 수행되었습니다.

반경 감소: 집합 기반 학습은 99% 커버리지 수준에서 행동 전용 미세 조정 대비 중앙값 도달 가능 행동 반경을 2.09배 감소시켰습니다.
베이스라인과의 비교:
- 행동 전용(Behavior-only): 베이스라인 역할을 하며, 가장 큰 반경을 생성합니다.
- 관측 일관성(Observational Consistency): 깨끗한 뷰와 섭동된 뷰 사이의 예측을 일치시키지만, 반경을 행동 전용 수준 미만으로 줄이지 못합니다.
- PGD 적대적 학습: 반경을 줄이지만, 종종 모든 시드(seed)에 대해 폐쇄 루프 작업 능력(behavior-validity)을 유지하는 데 실패합니다. 또한, PGD는 샘플링된 반경을 줄이지만 타이트한 결정론적 포위 영역을 생성하지 못합니다. PGD의 경우 집합 내부의 가장 강한 공격에 대한 존토토프 너비 비율이 500 이상이었던 반면, 집합 기반 학습은 약 16이었습니다.
작업 폭(Task Breadth): 10개의 작업 전반에 걸쳐, 집합 기반 학습은 베이스라인이 실패한 두 가지 작업에서도 작업 능력을 유지했으며, 두 방법 모두 유효한 작업에서도 더 타이트한 반경을 달립했습니다.
커버리지: 방법론은 홀드아웃 테스트 초기화에 대해 0.99에서 1.00의 경험적 커버리지를 달성하여 공형 캘리브레이션을 검증했습니다.

의의 및 주장

본 논문은 센서 불확실성 하에서 정책의 행동 집합 기하학이 인식을 다운스트림 집합 추론과 분리함으로써 훈련 중에 효과적으로 형성될 수 있다고 주장합니다. 주요 의의는 집합 기반 학습과 점 단위 적대적 학습 사이의 기계적 차이에 있습니다:

집합 기반 학습은 전체 출력 포위 영역을 구속하여, 더 작은 확률적 도달 가능 행동 반경과 더 타이트하고 정보력이 있는 결정론적 포위 영역을 모두 생성합니다.
점 단위 공격(PGD와 같은)은 그들이 찾아낸 특정 지점만을 구속하므로, 샘플링된 반경은 작을 수 있으나 느슨하고 정보력이 없는 결정론적 포위 영역을 생성하는 경우가 많습니다.

저자들은 자신들의 접근 방식이 시각-운동 정책에 대해 완전한 집합 훈련 신호를 감당 가능한 수준으로 만들어, 배포 전 안전 마진을 검증할 수 있는 실질적인 경로를 제공한다고 결 결론짓습니다. 현재 방법은 확률적 반경을 제공하지만, 이를 완전한 엔드 투 엔드 보장으로 업그레이드하려면 포즈 집합에서 인터페이스 집합으로의 결정론적 매핑이 필요하다고 언급했습니다.