UniLACT: Depth-Aware RGB Latent Action Learning for Vision-Language-Action Models

이 논문은 RGB 관찰만으로는 부족할 수 있는 3D 기하학적 구조를 보완하기 위해 깊이 정보를 활용한 잠재 행동 학습 프레임워크 UniLARN 과 이를 기반으로 한 비전 - 언어 - 행동 모델 UniLACT 를 제안하여, 다양한 시뮬레이션 및 실제 환경에서 기존 RGB 기반 방법보다 우수한 조작 성능을 입증했습니다.

핵심

1. 문제: 로봇은 왜 '눈'만 믿다가 넘어질까요?

지금까지 로봇을 가르칠 때는 주로 **2D 사진 (RGB)**만 보여주며 학습시켰습니다.

• 비유: 마치 흑백 TV나 평면 그림만 보고 3D 공간을 이해하려는 것과 같습니다.
• 한계: 로봇은 사물의 '색깔'이나 '무늬'는 잘 알아내지만, "그 사물이 내 손으로부터 얼마나 떨어져 있는지?", "얼마나 두꺼운지?" 같은 깊이 (3D 구조) 정보를 놓칩니다.
• 결과: 로봇이 사과를 잡으려다 사과를 밀어버리거나, 컵에 물을 부으려다 컵을 엎어치는 실수를 자주 합니다. (논문의 예시: 당근을 그릇에 넣으려다 그릇을 밀어내는 상황)

2. 해결책: UNILACT (유니랙트) 의 등장

이 논문은 로봇에게 **"깊이감"**을 가르쳐서 더 똑똑하게 만들었습니다. 핵심은 두 단계로 나뉩니다.

1 단계: '유니랙 (UNILARN)' - 로봇의 감각 훈련

먼저, 로봇에게 **RGB(색상)**와 Depth(깊이) 영상을 동시에 보여주며 훈련시킵니다.

• 비유: 로봇에게 2D 사진과 3D 스캔 데이터를 동시에 보여주고, "이 두 정보가 어떻게 연결되는지"를 스스로 추리하게 만드는 것입니다.
• 작동 원리:
  1. 로봇은 "이 사물이 앞으로 움직이면 어떻게 될까?" (역동학)와 "이렇게 움직였을 때 다음 장면은 어떨까?" (정역학) 를 학습합니다.
  2. 이때 색상 정보와 깊이 정보를 섞어서 **'공통된 언어 (잠재 행동)'**로 만듭니다.
  3. 마치 양쪽 눈을 모두 열어 3D 입체감을 느끼는 것처럼, 로봇은 사물의 모양뿐만 아니라 공간적 위치까지 완벽하게 이해하게 됩니다.

2 단계: 'UNILACT' - 실제 로봇 제어

이제 훈련된 로봇이 실제 일을 하도록 만듭니다.

• 중요한 점: 훈련 때는 깊이 정보를 썼지만, 실제 작동할 때는 다시 2D 카메라 (RGB) 만 봅니다.
• 비유: 마치 3D 영화를 보다가 안경을 벗고 평면 TV 를 봐도, 뇌가 3D 구조를 기억하고 있어 정확한 동작을 할 수 있는 것과 같습니다.
• 로봇은 훈련 과정에서 배운 '깊이감 지식'을 머릿속에 간직하고, 평범한 카메라 영상만 보고도 "아, 저 물체는 내 손에서 10cm 떨어져 있구나"라고 추론하며 정확한 행동을 합니다.

3. 성과: 얼마나 잘해냈을까요?

이 방법을 적용한 로봇은 기존 로봇보다 훨씬 똑똑해졌습니다.

• 시뮬레이션 (가상 현실): 기존 로봇보다 약 29% 더 많은 일을 성공적으로 해냈습니다.
• 실제 실험 (실제 로봇):
  • 과제 1 (당근을 그릇에 넣기): 기존 로봇은 당근을 그릇에 넣으려다 그릇을 밀어냈지만, UNILACT 는 깊이를 정확히 파악해 부드럽게 넣었습니다.
  • 과제 2 (계란을 바나나 옆으로 옮기기): 기존 로봇은 계란을 잡으려다 바닥에 부딪혔지만, UNILACT 는 정확히 잡아서 이동시켰습니다.

4. 요약: 왜 이 연구가 중요한가요?

• 기존 방식: "무늬만 보고 움직여라." (색깔은 잘 보지만, 깊이감은 없음)
• 이 논문 (UNILACT): "무늬도 보고, 깊이감도 배워서 움직여라." (훈련 때는 깊이 정보를 활용하여 3D 구조를 체득함)
• 핵심 메시지: 로봇이 접촉이 필요한 정교한 작업 (잡기, 넣기, 피하기) 을 잘 하려면, 단순히 '보는 것'을 넘어 '깊이 (3D 구조)'를 이해하는 것이 필수적입니다.

한 줄로 정리하자면:

"로봇에게 3D 입체감을 가르쳐주니, 평범한 카메라만으로도 더 똑똑하고 정확한 손놀림을 할 수 있게 되었다!"

이 기술은 앞으로 로봇이 우리 집이나 공장에서 더 안전하고 정교하게 일하는 데 큰 도움을 줄 것입니다.

기술 요약

1. 문제 정의 (Problem)

최근 Vision-Language-Action (VLA) 모델은 로봇이 새로운 작업과 객체에 대해 일반화되는 능력을 보여주었지만, 대규모 로봇 데이터 (주로 인간 원격 조종으로 수집된 데이터) 에 대한 의존도가 높아 사전 학습 비용이 크고 확장성이 제한적입니다. 이를 해결하기 위해 레이블이 없는 인터넷 규모의 비디오를 활용한 잠재 행동 (Latent Action) 표현 학습이 주목받고 있습니다.

그러나 기존 잠재 행동 학습 방법들은 RGB(색상) 관찰만을 기반으로 하여, 외관 (appearance) 에 기반한 역학을 학습하는 데 그칩니다. 이로 인해 **3D 기하학적 구조 (깊이, 거리, 충돌 등)**에 대한 정보가 결여되어, 정밀한 그리핑, 배치, 충돌 회피와 같은 접촉이 많은 조작 작업 (contact-rich manipulation) 에서 로봇의 성능이 제한됩니다. 기존 VLA 모델들이 깊이를 입력으로 사용하더라도, 이를 행동 추상화 (action abstraction) 자체에 통합하지는 못했습니다.

2. 제안 방법 (Methodology)

저자들은 이 문제를 해결하기 위해 **UNILACT (Unified Latent Action Transformer)**를 제안하며, 이는 크게 두 단계의 프레임워크로 구성됩니다.

A. UNILARN (Unified Latent Action leaRNing)

• 목적: RGB 와 깊이 (Depth) 정보를 공유된 잠재 공간에서 통합하여 학습하는 프레임워크입니다.
• 구조:
  1. 역동성 모델 (IDM & FDM): 각 모달리티 (RGB, Depth) 에 대해 역동성 모델 (Inverse Dynamics Model, IDM) 을 사용하여 연속적인 잠재 임베딩을 생성하고, 이를 벡터 양자화 (Vector Quantization, VQ) 를 통해 이산적인 잠재 행동 토큰으로 변환합니다.
  2. 통합 잠재 표현: 각 모달리티의 잠재 표현을 결합하여 선형 프로젝터를 거친 후, 다시 VQ 를 통해 **통합된 잠재 행동 (Unified Latent Action)**을 생성합니다.
  3. 재구성 목적: 생성된 통합 잠재 행동이 각 모달리티의 미래 관찰을 예측하는 순방향 역동성 모델 (Forward Dynamics Model, FDM) 의 조건으로 사용되도록 하여, 통합 표현이 각 모달리티의 역동적 패턴 (시각적 의미 + 3D 기하학) 을 모두 포착하도록 강제합니다.

B. UNILACT (Unified Latent Action Transformer)

• 목적: UNILARN 에서 학습된 잠재 행동을 기반으로 VLA 모델을 사전 학습 (Pretraining) 하고 미세 조정 (Fine-tuning) 합니다.
• 학습 단계:
  1. 잠재 사전 학습 (Latent Pretraining): UNILARN 에서 추출한 모달리티별 (RGB, Depth) 및 통합 잠재 행동 토큰을 사용하여 VLA 를 학습합니다. 텍스트 명령과 시각 관찰을 입력받아 다음 잠재 행동 토큰을 예측하는 자기회귀 (Autoregressive) 방식으로 훈련됩니다. 이 과정에서 RGB 와 깊이의 상호작용을 통해 공간적 우선순위 (Spatial Priors) 를 학습합니다.
  2. 행동 미세 조정 (Action Fine-tuning): 제한된 로봇 데모 데이터 (실제 행동 레이블) 를 사용하여 학습된 잠재 토큰을 실제 로봇 제어 명령 (End-effector delta, 그리퍼 명령) 으로 매핑합니다.
• 추론 (Inference) 특징: 중요하게도, UNILACT 는 추론 시 RGB 관찰과 텍스트 명령만 입력받습니다. 깊이 정보는 학습 과정 (UNILARN 및 UNILACT 사전 학습) 에서만 사용되어 잠재 공간에 기하학적 지식을 주입할 뿐, 실제 실행 시에는 불필요합니다.

3. 주요 기여 (Key Contributions)

1. UNILARN 프레임워크: 역동성 모델 (IDM/FDM) 을 기반으로 RGB 와 깊이를 공유 잠재 공간에서 통합 학습하여, 시각적 의미와 3D 기하학적 구조를 모두 포착하는 통합 잠재 행동 표현을 생성합니다.
2. UNILACT 모델: 통합 및 모달리티별 잠재 표현을 활용하여 VLA 를 사전 학습함으로써, 더 정밀하고 일반화 가능한 로봇 조작 정책을 가능하게 합니다.
3. 실험적 검증: 시뮬레이션 및 실제 환경에서 RGB 기반 잠재 행동 방법론보다 우수한 성능을 입증하였으며, 특히 깊이 정보를 잠재 행동 표현에 통합함으로써 3D 공간 이해도가 향상됨을 보였습니다.

4. 실험 결과 (Results)

• 시뮬레이션 (CALVIN 벤치마크):
  • In-domain (동일 환경): 기존 RGB 기반 잠재 행동 모델 (Moto) 보다 평균 시퀀스 길이 (Avg. Len.) 에서 더 높은 성능을 보였습니다.
  • Out-of-domain (OXE 데이터셋 사전 학습): Moto 대비 29.2% 향상된 평균 시퀀스 길이를 기록하여, 다양한 데이터로 학습된 통합 잠재 표현의 일반화 능력을 입증했습니다.
  • 작업별 분석: 외관 기반 작업에서는 유사한 성능을 보였으나, 기하학적 구조가 중요한 작업 (슬라이더 이동, 전구 켜기 등) 에서 통합 잠재 표현이 압도적인 우위를 보였습니다.
• 실제 환경 (Real-world, xArm7 로봇):
  • 4 가지 조작 작업 (당근을 그릇에 넣기, 물체 이동, 가지 넣기, 블록 들어 올리기) 에서 Moto 대비 평균 성공률 10% 향상 (52.5% → 62.5%) 을 기록했습니다.
  • 정성적 평가: Moto 는 깊이 예측 오류로 인해 그릇과 충돌하거나 물체를 놓치는 반면, UNILACT 는 정확한 깊이 이해를 바탕으로 충돌 없이 성공적으로 작업을 수행했습니다.
• 계산 복잡도: 학습 시 깊이 정보를 사용하지만, 추론 시에는 RGB 만 사용하므로 모델 크기와 지연 시간 (Latency) 은 기존 RGB 기반 모델 (Moto) 과 동일하게 유지됩니다 (89.8M 파라미터, 27ms).

5. 의의 및 결론 (Significance)

이 연구는 깊이 정보를 잠재 행동 표현 (Latent Action Representation) 자체에 통합하여 VLA 모델의 사전 학습 효율을 극대화한 최초의 시도 중 하나입니다.

• 핵심 통찰: 레이블이 없는 비디오 데이터에서 깊이 정보를 활용하여 학습된 잠재 공간은 로봇이 3D 기하학적 구조를 내재적으로 이해하도록 돕습니다.
• 실용성: 추론 시 추가적인 깊이 센서나 계산 자원이 필요하지 않으므로, 기존 RGB 카메라만 장착된 로봇에도 적용 가능하면서도 기하학적 이해도가 높은 정책을 구현할 수 있습니다.
• 미래 영향: 비용 효율적인 대규모 데이터 기반 로봇 학습을 가속화하고, 정밀한 접촉 조작 작업을 수행하는 로봇의 신뢰성과 일반화 능력을 크게 향상시킬 수 있는 방향을 제시합니다.