💻 computer science

One Demo is Worth a Thousand Trajectories: Action-View Augmentation for Visuomotor Policies

이 논문은 새로운 어안 적응형 가우시안 스플래팅(fisheye-adapted Gaussian Splatting) 정식화와 궤적 최적화를 활용하여 실제 시연으로부터 현실적인 새로운 시점과 충돌 없는 행동 궤적을 생성함으로써, 익숙한 환경과 장애물이 많은 환경 모두에서 시각-운동 정책의 강건성과 성공률을 크게 향상시키는 데이터 증강 프레임워크를 제시한다.

원저자: Chuer Pan, Litian Liang, Dominik Bauer, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Shuran Song

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chuer Pan, Litian Liang, Dominik Bauer, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Shuran Song

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 커피 머그컵을 집어 탁자 위에 놓는 법을 가르치려고 한다고 상상해 보세요. 당신은 로봇의 손에 달린 카메라(이를 "eye-in-hand" 뷰라고 합니다)를 이용해 이 작업을 한 번 보여줍니다. 로봇은 이 단 하나의 영상으로부터 학습합니다.

문제는 무엇일까요? 만약 로봇의 시작 위치를 아주 조금만 옮기거나, 실수로 원래 없던 책을 탁자 위에 올려두기라도 하면, 로봇은 패닉에 빠집니다. 본 적 없는 것을 보게 되면 혼란에 빠져 머그컵을 떨어뜨리고 맙니다. 이는 로봇이 단 하나의 특정한 방식만을 배웠기 때문에 발생하는 매우 취약한 결과입니다.

논문의 핵심 아이디어: "1001 데모(1001 Demos)"
스탠퍼드, 컬럼비아, 그리고 토요타 리서치 인스티튜트(Toyota Research Institute)의 연구진들은 1001 데모라는 영리한 트릭을 고안해 냈습니다. 그들의 목표는 인간이 보여준 그 단 하나의 시연을, 인간이 실제로 1,001번을 수행할 필요 없이 마법처럼 1,001개의 서로 다른 훈련 예시로 바꾸는 것입니다.

그들이 이 일을 해내는 방법은 다음과 같은 창의적인 비유를 통해 설명할 수 있습니다.

1. "3D 사진첩" (장면 재구성)

먼저, 시스템은 로봇의 어안 렌즈(거의 모든 주변을 볼 수 있는 광각 렌즈)에서 찍힌 영상을 가져와 방의 3D 디지털 트윈을 구축합니다.

비유: 이것은 마치 방의 사진들을 찍은 뒤, 이를 이용해 그 방과 똑같은 가상 레고 모델을 만드는 것과 같습니다. 하지만 일반적인 레고 블록 대신, **3D 가우시안 스플래팅(3D Gaussian Splatting)**이라는 특수한 하이테크 소재를 사용합니다. 이를 통해 새로운 각도에서 보더라도 실제 사진처럼 보이도록 장면을 매우 사실적으로 재현할 수 있습니다.
반전: 카메라가 어안 렌즈(곡선형)이기 때문에 표준 3D 모델은 왜곡될 수 있습니다. 저자들은 3D 모델이 정확하게 유지되도록 이러한 곡선 이미지를 처리하는 새로운 방법을 발명했습니다.

2. "가상 리허설" (궤적 최적화)

3D 모델을 구축한 후, 시스템은 단순히 인간의 움직임을 복사하는 데 그치지 않습니다. 수학 기반의 "코치"(궤적 최적화)를 사용하여 로봇 팔이 움직이는 새로운 방식들을 만들어냅니다.

비유: 인간이 로봇에게 문으로 가기 위해 커피 탁자를 돌아가는 법을 보여주었다고 가정해 봅시다. 그러면 "코치"는 이렇게 말합니다. "좋아, 이제 탁자가 왼쪽으로 2피트 이동했다고 상상해 봐. 다시 그 주변을 돌아가 봐." 그다음에는 "이제 거대한 꽃병이 길을 막고 있다고 상상해 봐. 대신 그것을 피해 돌아가 봐."
안전 점검: 이 시스템은 탁자나 꽃병을 통과해서 지나갈 수 없다는 것을 알 만큼 똑똑합니다. 시스템은 로봇이 가상 연습 중에 절대 충돌하지 않도록 매끄럽고 물리적으로 가능한 경로를 계획합니다.

3. "마법 카메라" (뷰 렌더링)

이제 로봇은 이러한 새로운 각도에서 자신이 무엇을 하고 있는지 보아야 합니다.

비유: 과거에는 로봇에게 새로운 각도를 가르치려면 로봇을 실제로 움직여서 다시 촬영해야 했습니다. 하지만 여기서는 시스템이 3D 모델을 가져와서, 만약 로봇이 실제로 그 새로운 위치에 있다면 어안 렌즈 카메라에 어떻게 보일지를 "렌더링(그리기)"합니다. 즉, 실제로 일어나지 않았지만 실제처럼 보이는 완전히 새로운 영상 클립을 만들어내는 것입니다.

4. 결과: 초강력한 회복 탄력성을 가진 로봇

인간의 원래 영상과 이 생성된 수천 개의 "만약에(what-if)" 시나리오를 결합함으로써, 로봇은 훨씬 더 넓은 범위의 교훈을 얻게 됩니다.

이 방법이 없다면: 로봇은 특정 수학 문제의 정답 하나만을 암기한 학생과 같습니다. 숫자가 조금만 바뀌어도 실패합니다.
1001 데모를 사용한다면: 로봇은 수백 가지의 서로 다른 방식으로 문제의 개념을 연습한 학생과 같습니다. 로봇은 "설령 장애물이 움직이더라도, 나는 여 still 머그컵을 집을 수 있다"는 것을 배웁니다.

그들은 무엇을 증명했는가?
연구진은 두 가지 방식으로 테스트를 진행했습니다:

시뮬레이션 (비디오 게임 세계): 1,001개의 생성된 데모로 훈련받은 로봇이 원래의 영상으로만 훈련받은 로봇보다 새로운 시작 위치를 다루는 데 훨씬 더 뛰어나다는 것을 보여주었습니다.
실제 환경: 로봇을 실제 방에 배치했습니다. 로봇이 본 적 없는 예상치 못한 장애물(컵이나 책 등)을 추가했을 때, "1001 데모"로 훈련받은 로봇들은 성공적으로 장애물을 피하며 과업을 완수했습니다. 반면, 이 방법 없이 훈련받은 로봇들은 충돌하거나 실패하는 모습을 보였습니다.

요약하자면: 이 논문은 로봇이 과업을 수행하는 단 하나의 간단한 영상을 사용하여, AI를 통해 해당 과업의 수천 가지 변형(움직이는 장애물, 변화하는 시작 지점 등)을 시뮬레이션하는 방법을 제시합니다. 이를 통해 쉽게 망가지는 "취약한" 로봇을, 놀라운 상황에서도 대처할 수 있는 "유연한" 로봇으로 탈바క합니다. 이는 인간이 새로운 영상을 기록하기 위해 며칠을 보낼 필요 없이 가능하게 합니다.

기술 요약: 하나의 데모는 천 개의 궤적만큼의 가치가 있다: 시각-행동 증강을 통한 시각-운동 정책(Visuomotor Policies)

문제 정의

모방 학습을 통해 훈련된 시각-운동 정책은 실제 환경에 배치될 때 종종 취약성을 보입니다. 로봇의 초기 구성이 미세하게 변하거나 보이지 않던 장애물이 나타나면 분포 외(Out-of-Distribution, OOD) 관측값이 발생할 수 있습니다. 이러한 OOD 상태는 실행 오류와 작업 실패로 이어지는 연쇄 반응을 일으킵니다. 다양한 공간적 구성 하에서 광범위한 인간의 데모를 수집함으로써 이를 완화할 수 있지만, 그 과정은 지루하고 비용이 많이 들며 실질적으로 불가능한 경우가 많습니다. 기존의 컴퓨터 비전 데이터 증강 기술(예: 컬러 지터링, 크로핑)은 로보틱스의 고유한 요구사항, 즉 **행동-시점 일관성(action-view consistency)**을 유지하면서 동시에 물리적 제약(3D 충돌 및 접촉 역학)을 준수해야 하는 문제를 해결하지 못합니다. 또한, 표준적인 상태 기반 증강은 시각적 불변성을 상태 추정에 위임하는 반면, 기존의 시각-행동 증강 방법들은 정적인 3인칭 핀홀 카메라 뷰나 단일 단계 수정에 국한되어 있어 매끄러운 궤적 수준의 장애물 회피를 생성할 수 없습니다.

방법론: 1001 DEMOS 프레임워크

저자들은 단 하나의 실제 인간 데모로부터 수천 개의 시각적으로 현실적이고 물리적으로 실행 가능한 행동-시점 궤적을 생성하는 오프라인 데이터 증강 프레임워크인 1001 DEMOS를 제안합니다. 이 시스템은 단일 광각(Wide FoV) 어안 카메라가 장착된 휴대용 병렬 그리퍼를 사용합니다. 프레임워크는 세 가지 주요 모듈을 통해 작동합니다:

1. Eye-in-Hand 어안 비디오로부터의 3D 장면 재구성

시스템은 장면 스캐닝 및 작업 데모 중에 캡처된 어안 이미지 시퀀스를 처리하여 두 가지 표현을 생성합니다:

장면 포인트 클라우드(Scene Point Cloud): 모션 플래닝 및 충돌 체크를 위해 COLMAP을 사용하여 재구성되었습니다.
어안 3D 가우시안 스플래팅(Fisheye-3DGS): 광각 어안 카메라를 처리하기 위한 3D 가우시안 스플래팅(3DGS)의 새로운 적응형 모델입니다.
- 어안 레이 샘플러(Fisheye Ray Sampler): 저자들은 표준 핀홀 레이 샘플러를 대신하여 KB8 기반의 어판 레이 샘플러를 도입했습니다. 각 어안 픽셀 $(u, v)$ 에 대해, 레이 방향 $r_d$ 는 KB8 모델을 통해 계산된 후 카메라 내부 파라미터 $K$ 를 통해 핀홀 좌표 $(u_p, v_p)$ 로 투영됩니다.
- 최적화: 3DGS의 효율성(CUDA 블록-스레드 구조)을 보존하기 위해, 시스템은 핀홀 레이에서 어판 레이로 타일 할당을 재배치하며, 어판 레이를 원래의 256-레이-퍼-타일 레이아웃으로 분할합니다. 이를 통해 어판 왜곡을 정확하게 모델링하면서도 빠른 래스터화를 가능하게 합니다.

2. 궤적 최적화를 통한 행동 생성

재구성된 3D 포인트 클라우드와 원래의 데모 궤적을 사용하여, 시스템은 궤적 최적화를 통해 두 가지 유형의 새로운 궤적을 생성합니다:

자유 공간 궤적(Free-Space Trajectories): 원래의 시점 주변 쿼터니언 원뿔 내에서 샘플링된 서로 다른 초기 카메라 포즈를 사용하여 생성됩니다.
장애물 회피 궤적(Obstacle-Avoidance Trajectories): 장면에 장애물 포인트 클라우드(Objaverse에서 샘플링됨)를 도입하고 이를 피하는 경로를 계획하여 생성됩니다.

최적화 문제는 다음의 복합 손실 함수를 최소화합니다:
$\mathcal{L} = \mathcal{L}_{funnel} + \mathcal{L}_{collision} + \mathcal{L}_{render} + \mathcal{L}_{smooth}$

$\mathcal{L}_{funnel}$ : 델타 퍼널(delta funnel) 손실로, 원래 데모와 동일한 접촉 전 포즈로 궤적이 수렴하도록 하여 접촉 역학을 보존합니다.
$\mathcal{L}_{collision}$ : 장면(증강된 장애물 포함)의 절단된 부호 거리 함수(TSDF)를 사용하여 충돌을 방지합니다.
$\mathcal{L}_{render}$ : 시각적 일관성 손실로, 생성된 포즈가 원래의 스캐닝 및 데모 뷰의 분포와 가깝게 유지되도록 하여, 새로운 시점에서 렌더링할 때 3DGS에서 흔히 발생하는 "플로터(floater)" 아티팩트나 흐릿한 재구성을 방지합니다.
$\mathcal{L}_{smooth}$ : 속도의 저크(jerkiness)를 방지하여 매끄러운 궤적을 보장합니다.

3. 뷰 생성 및 정책 훈련

뷰 생성: 최적화된 6D 궤적은 훈련된 Fisheye-3DGS를 사용하여 렌더링되어 그에 대응하는 시각적 관측값을 생성합니다. 장애물 시나리오의 경우, 원래 장면의 3DGS에 훈련된 장애물의 3DGS가 추가됩니다.
데이터 컴파일: SAM2를 사용하여 그리퍼를 분할하고 렌더링된 이미지 위에 겹쳐 놓음으로써 증강된 데이터를 컴파일합니다. 그리퍼의 개방 너비는 원래 데모를 유지하며, 6D 말단 장치(end-effector) 포즈는 최적화된 궤적에서 가져옵니다.
훈련: 원래의 전문가 데모와 생성된 증강 데이터셋의 합집합을 사용하여 디퓨전 정책(Diffusion Policy)을 훈련합니다.

주요 기여

행동-시각 증강 프레임워크: 시각적 관측과 행동 궤적을 결합하여 증강함으로써, 물리적 제약을 준수하면서 두 요소 사이의 일관성을 보장하는 방법론을 제시했습니다.
Fisheye-3DGS: 광각 어안 카메라를 위해 3D 가우시안 스플래팅을 확장한 새로운 정식화로, Eye-in-hand 시스템을 위한 빠르고 고충실도인 새로운 뷰 렌더링을 가능하게 합니다.
궤적 수준의 장애물 회피: 보이지 않는 장애물을 피해 항해하는 매끄럽고 충돌 없는 궤적을 생성하는 능력으로, 이는 기존의 단일 단계 또는 3인칭 증강 방법에는 결여된 기능입니다.
접촉 인지 증강(Contact-Aware Augmentation): 접촉 이벤트를 감지하고 접촉 전 단계로 증강을 제한함으로써, 원래 데모의 핵심적인 접촉 역학을 보존하는 메커즘을 제공합니다.

실험 결과

본 프레임워크는 시뮬레이션(RoboMimic "square" 태스크)과 실제 환경(컵 서빙 태스크) 모두에서 평가되었습니다.

시뮬레이션 (RoboMimic):
- 성능 향상: 행동-시각 증강은 증강 없이 훈련된 정책에 비해 태스크 성공률을 평균 56% 향상시켰습니다.
- 베이스라인과의 비교: 본 방법은 "Aug Action Only"(행동은 변화시키되 시각은 고정하는 방식)보다 최대 35%, 단일 단계 NeRF 기반 방식인 SPARTN보다 평균 성공률에서 15% 더 높은 성능을 보였습니다.
- 상한선(Upper Bound): 성능은 그라운드 트루스(ground-truth) 뉴 뷰 렌더링으로 훈련된 "오라클(oracle)" 정책과 8-11%의 차이만을 보이며 매우 근접하게 따라갔습니다.
실제 환경 평가:
- OOD 구성에 대한 강건성: 자유 공간 증강은 보이지 않던 초기 로봇 구성에 직면했을 때, 비증강 정책보다 성공률을 55% 개선했습니다.
- 장애물 회피: 장애물 인지 증강으로 훈련된 정책은 보이지 않는 장애물이 있는 태스크에서 **100%**의 성공률을 달주하였으며, 이는 자유 공간 증강(10%)과 증강 없음(5%)을 크게 압도했습니다. 이는 정책이 원래의 인간 데모에는 없던 충돌 회피 행동을 학습할 수 있음을 입증했습니다.

의의 및 주장

논문은 1001 DEMOS가 로봇에게 명시적으로 보여주지 않은 기술, 즉 장애물 회피와 새로운 초기 구성에 대한 강건성을 효과적으로 부여한다고 주장합니다. 단 하나의 인간 데모로부터 물리적으로 실행 가능한 궤적 수준의 eye-in-hand 데모를 생성함으로써, 이 프레임워크는 시각-운동 정책 학습의 고질적인 문제인 데이터 부족과 취약성을 해결합니다. 저자들은 자신들의 접근 방식이 시각적 불변성과 물리적 일관성 사이의 간극을 메워, 광범위한 수동 데이터 수집 없이도 정책이 OOD 뷰포인트와 환경에 일반화될 수 있도록 한다고 강조합니다.

저자들은 현재의 파이프라인이 단일 이동 카메라의 시야 범위로 인해 정적인 장면에 국한된다는 점과, 생성된 궤적이 다운스트림 배포 로봇의 기구학적 한계를 본질적으로 고려하지는 않지만(단, 태스크 공간의 실행 가능성을 보장하도록 제한됨) 등의 한계점을 겸허히 인정했습니다. 향-후 연구로는 멀티 카메라 설정과 체형 인식(embodiment-aware) 궤적 최적화를 탐구할 것을 제안했습니다.