🤖 machine learning

CLAMP: Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining

본 논문은 시뮬레이션 및 실제 환경의 로봇 조작 정책의 샘플 효율성과 성능을 향상시키기 위해 다중 뷰 포인트 클라우드와 로봇 동작에 대한 대비 학습을 활용하는 새로운 3D 사전 학습 프레임워크인 CLAMP를 소개합니다.

원저자: I-Chun Arthur Liu, Krzysztof Choromanski, Sandy Huang, Connor Schenck

게시일 2026-05-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: I-Chun Arthur Liu, Krzysztof Choromanski, Sandy Huang, Connor Schenck

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 컵을 접시에 올리거나 서랍을 여는 것과 같은 집안일을 가르치는 상상을 해보세요. 과거에 과학자들은 로봇에게 인간이 이러한 작업을 수행하는 수천 개의 영상을 보여줌으로써 가르치려 했습니다. 로봇은 움직임을 따라 하려고 시도했지만, 세상을 "2 차원"(평면 사진과 같이) 으로만 바라보았기 때문에 종종 어려움을 겪었습니다. 로봇은 컵이 깊이를 가진 고체 물체라는 사실이나, 무언가를 잡기 위해 그 주위로 손을 뻗어야 한다는 점을 제대로 이해하지 못했습니다.

이 논문은 로봇이 구체적인 집안일을 배우기 시작하기 전에 그들에게 "3 차원 뇌"를 부여하는 새로운 훈련 방법인 CLAMP를 소개합니다.

다음은 이를 간단한 개념으로 나누어 설명한 것입니다:

1. 문제: 평면 대 3 차원 시야

표준 로봇 카메라를 인간이 그림을 보는 것과 같다고 생각해보세요. 당신은 색과 형태를 볼 수는 있지만 깊이는 느낄 수 없습니다. 로봇이 나사를 잡으려 할 때, 물체 주변의 3 차원 공간을 완전히 파악하지 못해 놓칠 수 있습니다.

CLAMP 의 해결책: 평면 사진만 보는 대신, CLAMP 는 3 차원 포인트 클라우드를 구축합니다. 로봇이 보는 모든 표면을 나타내기 위해 백만 개의 작은 점들을 찍어낸다고 상상해보세요. 이는 로봇에게 사물의 가장자리와 모서리가 3 차원 공간에서 정확히 어디에 있는지 아는, 세상을 "고체"로 이해하는 능력을 부여합니다.

2. "체육관" 훈련 (사전 학습)

로봇이 서랍을 여는 것과 같은 구체적인 작업을 시도하기 전에, 컴퓨터 시뮬레이션 내에서 거대한 "체육관" 세션을 거칩니다. 이를 **사전 학습 (Pre-training)**이라고 합니다.

운동: 로봇은 수백만 개의 시뮬레이션된 로봇 움직임을 관찰합니다.
교훈: 로봇은 세 가지 요소를 서로 연결하는 법을 배웁니다.
1. 보는 것 (사물의 3 차원 형태).
2. 행동 (팔 움직임의 기록).
3. 지시 ("왼쪽 구멍에 캔 오프너를 넣으세요"와 같은 텍스트 설명).
마법의 트릭 (대조 학습): "기억력" 게임을 상상해보세요. 로봇은 장면의 사진과 행동 목록을 제시받습니다. 올바른 사진과 올바른 행동을 매칭해야 합니다. 나사 사진과 "나사 집기" 행동을 매칭하면 점수를 얻고, 나사 사진과 "가위 집기" 행동을 매칭하면 점수를 잃습니다. 수백만 번의 시도 끝에 로봇은 사물을 보는 것과 그것을 잡기 위해 어떻게 움직여야 하는지 알는 것 사이의 깊은 연결을 학습합니다.

3. "손목 카메라"의 이점

이 논문의 주요 발견 중 하나는 로봇이 천장에 고정된 카메라가 아닌, 자신의 손에서 사물을 봐야 한다는 것입니다.

비유: 누군가가 벽에 손전등을 비추고 있을 때 바늘에 실을 꿰는 상상을 해보세요. 어렵습니다. 하지만 당신이 직접 손전등을 들고 있다면 ("손목 시야"), 무엇을 하고 있는지 정확히 볼 수 있습니다.
CLAMP 의 접근: 로봇의 손목에 부착된 카메라를 시뮬레이션합니다. 이는 로봇의 팔이 시야를 가릴 때도 사물을 선명하게 보게 해주며, 이는 고정밀 작업에 필수적입니다.

4. "선제적 이점" (미세 조정)

로봇이 "체육관" 훈련을 마친 후, 실제 작업을 배우기 준비가 됩니다.

기존 방식: 보통은 새로운 작업의 수백 가지 예시를 보여주고 처음부터 시작해야 하므로 학습에 오랜 시간이 걸립니다.
CLAMP 방식: 로봇이 이미 3 차원 공간과 행동이 사물과 어떻게 연관되는지 이해하고 있기 때문에, 새로운 작업을 마스터하기 위해 매우 적은 수의 예시(약 4,500 개의 시연) 만 보이면 됩니다. 이는 이미 읽고 쓰는 법을 배운 학생이 새로운 과목의 특정 어휘만 배우면 되지, 처음부터 펜을 잡는 법을 배울 필요가 없는 것과 같습니다.

5. 결과

저자들은 CLAMP 를 캔 오프너를 선반에 넣는 것과 같은 6 가지 다른 시뮬레이션 작업과 서랍을 열거나 캔을 재활용하는 것과 같은 5 가지 실제 세계 작업에서 테스트했습니다.

결과: CLAMP 는 다른 최상위 방법들보다 학습 속도가 훨씬 빠르고 성능이 뛰어났습니다. 실제 세계에서는 3 차원 사전 학습 없이 훈련된 로봇들보다 서랍을 열고 컵을 접시에 올리는 데 훨씬 더 성공적이었습니다.

요약

CLAMP는 로봇을 위한 기수 훈련소와 같습니다. 로봇에게 하나의 구체적인 일을 하는 법만 보여주는 대신, 로봇에게 3 차원으로 세상을 보는 법과 그 공간에서 자신의 몸이 어떻게 움직이는지 가르칩니다. 로봇이 3 차원 사물과 움직임에 대한 일반적인 "상식"을 갖추게 되면, 새로운 구체적인 집안일을 놀랍도록 빠르고 정확하게 배울 수 있습니다.

기술 요약: CLAMP

문제 제기

로봇 조작 분야에서 행동 복제 (behavior cloning) 를 위해 사전 훈련된 2D 이미지 표현을 활용하는 것이 표준이 되었지만, 이러한 접근 방식은 종종 물체와 장면과의 정밀한 상호작용에 필수적인 3D 공간 정보를 포착하지 못합니다. 로봇 분야의 기존 사전 훈련 방법들은 대규모 로봇 데이터의 제한된 가용성, 최적의 모달리티 (예: RGB 대 포인트 클라우드) 에 대한 불확실성, 그리고 고차원 상태 및 행동 공간의 복잡성 등의 도전에 직면해 있습니다. 또한, 3D-MVP 와 같은 기존 3D 사전 훈련 노력들은 종종 로봇 행동 데이터를 포함하지 않은 채 마스킹 오토인코더를 통한 이미지 재구성에 의존하여, 3D 지각과 행동 패턴 간의 관계를 학습하는 데 있어 간극을 남겼습니다.

방법론

저자들은 대규모 시뮬레이션 로봇 궤적에 대한 대비 학습을 통해 견고한 3D 이미지 및 행동 표현을 학습하도록 설계된 CLAMP(Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining, 3D 다중 뷰 행동 조건부 로봇 조작을 위한 대비 학습) 프레임워크를 제안합니다.

1. 데이터 표현 및 렌더링

포인트 클라우드 구성: 시스템은 RGB-D 이미지와 카메라 외향 파라미터로부터 장면 포인트 클라우드를 구성하며, 외관 일반화를 개선하기 위해 RGB 색상을 생략합니다.
다중 뷰 재렌더링: 표준 직교 뷰 대신 CLAMP 는 장면 Depth, X, Y, Z 좌표의 4 채널 이미지를 5 개의 가상 시점에서 재렌더링합니다. 이는 3 개의 고정 뷰 (상단, 전방 - 좌측, 후방 - 우측) 와 2 개의 동적 손목 뷰 (그리퍼에 부착됨) 로 구성됩니다. 동적 손목 뷰는 가려짐을 줄이고 고정밀 작업을 위한 더 명확한 관측을 제공하도록 특별히 설계되었습니다.
텍스트 입력: 텍스트 입력에는 고수준 작업 설명, 물체 이름, 정규화된 전역 위치, 작업 진행 정수 등이 포함됩니다. 이들은 시뮬레이터의 정답 (ground truth) 에서 파생되어 사전 훈련 중 표현을 고정 (grounding) 시키기 위해 exclusively 사용됩니다.

2. 모델 아키텍처

CLAMP 는 대비 학습을 통해 훈련되는 세 가지 인코더를 사용합니다:

이미지 인코더: STRING 상대적 위치 인코딩을 활용하는 비전 트랜스포머 (ViT) 입니다. 표준 위치 인코딩과 달리 STRING 은 포인트 클라우드에서 파생된 3D 좌표 (가시점들의 질량 중심) 를 사용하여 서로 다른 뷰 간의 토큰을 상관시킵니다. 이를 통해 모델은 암묵적으로 3D 구조를 학습하고, 유사한 3D 영역에 해당하는 서로 다른 2D 뷰의 토큰을 상관시킬 수 있습니다.
행동 인코더: 이전 행동 청크의 히스토리를 처리하는 트랜스포머 인코더입니다.
텍스트 인코더: 작업 및 물체 설명을 처리하는 CLIP 기반 텍스트 인코더입니다.

3. 대비 사전 훈련 목적 함수

인코더들은 이미지 - 텍스트, 이미지 - 행동, 텍스트 - 행동의 세 가지 모달리티 쌍에 대해 SigLIP 스타일의 손실 함수를 최소화하도록 훈련됩니다. 이 목적 함수는 일치하는 삼중항 $(I, T, A)$ 의 임베딩을 서로 가깝게 당기고, 불일치하는 삼중항은 멀게 밀어냅니다. 이는 모델이 공간적 및 시간적 작업 설명에 조건부로 미래 상태를 추론할 수 있는 행동 패턴과 행동 히스토리를 추론할 수 있는 이미지 표현을 학습하도록 장려합니다.

4. 확산 정책 (Diffusion Policy) 사전 훈련 및 미세 조정

병렬 사전 훈련: 시각 - 운동 제어기인 확산 정책 (Diffusion Policy) 은 동일한 시뮬레이션 데이터셋에서 인코더와 병렬로 사전 훈련됩니다. 이 정책은 하류 작업의 샘플 효율성을 향상시키기 위해 사전 훈련된 가중치로 초기화됩니다.
미세 조정: 하류 작업을 위해 정책은 제한된 수의 작업별 데모에 대해 미세 조정됩니다. 이 단계에서 CLAMP 인코더는 고정되어 이미지 및 행동 임베딩을 추출하며, 이는 RGB 특징 (ResNet-50 에서 유래) 과 고유 감각 (proprioceptive) 데이터와 연결됩니다. 이들은 다음 50 단계의 행동을 위한 노이즈를 예측하기 위해 트랜스포머 인코더 - 디코더에 입력됩니다.

주요 기여

새로운 3D 사전 훈련 프레임워크: 로봇 행동과 동적 손목 뷰를 활용한 3D 대비 사전 훈련을 위한 CLAMP 의 도입.
3D 좌표를 위한 STRING: 포인트 클라우드 (깊이 지도가 아닌) 에서 직접 파생된 3D 좌표를 사용하여 다중 뷰 관측 간의 토큰을 상관시키는 STRING 상대적 위치 인코딩의 첫 번째 적용.
동적 뷰의 중요성: 동적 손목 뷰가 고정밀 조작 작업에 필수적임을 입증.
연결된 인코더 및 정책 사전 훈련: 인코더와 확산 정책 모두를 사전 훈련하는 것이 인코더만 사전 훈련하는 것보다 훨씬 더 나은 성능을 낸다는 증거.

결과

저자들은 ALOHA 로봇 플랫폼을 사용하여 6 개의 시뮬레이션 작업과 5 개의 실제 세계 작업에 걸쳐 CLAMP 를 평가했습니다.

시뮬레이션: CLAMP 는 6 개 모든 작업에서 ALOHA Unleashed, ACT, VLA 백본을 포함한 최첨단 베이스라인을 크게 능가했습니다. 예를 들어, "Can Opener in Caddy" 작업에서 CLAMP 는 94.0% 의 성공률을 기록한 반면, 사전 훈련된 ALOHA Unleashed 는 70.0%, VLA 백본은 7.3% 의 성공률을 보였습니다.
실제 세계: 실제 세계 실험에서 CLAMP 는 5 개 작업 중 4 개에서 베이스라인을 능가했으며, 서랍 열기/닫기 및 머그잔을 접시에 올리는 작업에서 눈에 띄는 개선을 보였습니다.
애블레이션 연구:
- 가상 손목 뷰를 제거하면 성능이 크게 저하되었습니다 (예: "Mug on Plate"에서 -28.6%).
- ViT 를 PointNet 스타일 백본 (DP3) 으로 대체하면 성능이 저하되었습니다.
- 텍스트 인코더를 제거하면 시뮬레이션에서는 미미한 영향만 있었으나 실제 세계 환경에서는 눈에 띄는 부정적인 영향을 미쳤으며, 이는 시각적 노이즈를 다룰 때 텍스트 고정 (grounding) 이 더 가치 있음을 시사합니다.
- 인코더와 함께 정책을 사전 훈련하는 것이 높은 샘플 효율성에 필수적임이 입증되었습니다.

의의

이 논문은 CLAMP 가 3D 기하학적 정보와 로봇 행동 패턴을 효과적으로 활용함으로써 보이지 않는 작업에 대한 학습 효율성과 정책 성능을 크게 향상시킨다고 주장합니다. 대규모 시뮬레이션 데이터로 사전 훈련하고 이러한 학습된 표현으로 정책을 초기화함으로써, 이 프레임워크는 제한된 실제 세계 데모에 대한 미세 조정에 필요한 샘플 복잡성을 줄입니다. 이 연구는 기존 2D 또는 재구성 기반 방법들에 비해 3D 지각과 행동 조건부 대비 학습을 통합하는 것이 로봇 조작 사전 훈련을 위한 실현 가능하고 우월한 접근법임을 확립합니다.