Ada3Drift: Adaptive Training-Time Drifting for One-Step 3D Visuomotor Robotic Manipulation

이 논문은 추론 시간의 계산 부하를 줄이면서도 다중 행동 모드를 보존하기 위해 훈련 시간의 적응형 드리프트 메커니즘을 도입하여, 3D 점구름 관측을 기반으로 한 1 단계 3D 비전 - 모션 로봇 조작에서 기존 확산 모델 대비 10 배 적은 함수 평가로 최첨단 성능을 달성하는 'Ada3Drift'를 제안합니다.

핵심

로봇이 '한 번에' 정확하게 움직이는 비결: Ada3Drift

이 논문은 로봇이 복잡한 작업을 할 때, 매우 빠르면서도 정확하게 움직일 수 있게 해주는 새로운 기술 'Ada3Drift'에 대해 설명합니다.

기존의 로봇 학습 방식은 마치 안개 낀 날에 길을 찾는 것과 비슷했습니다. 로봇은 목표 지점 (정확한 손의 위치) 을 향해 나아가야 하는데, 처음엔 안개 (노이즈) 가 짙어서 방향을 잘 모릅니다. 그래서 로봇은 "조금 전진해, 다시 확인해, 조금 더 전진해..."라고 수십 번을 반복하며 (이론상 10~100 번의 계산) 서서히 안개를 걷어내고 정확한 길에 도달했습니다.

하지만 문제는 속도입니다. 로봇이 실시간으로 움직이려면 1 초에 10~50 번 명령을 내려야 하는데, 이 '수십 번의 반복'은 너무 느려서 로봇이 멈칫거리거나 제자리에서 맴돌게 만들었습니다.

최근에는 이 반복 과정을 생략하고 한 번에 정답을 내는 방법들이 나왔습니다. 하지만 여기서 새로운 문제가 생겼습니다.

🚗 비유: "가운데로 모이는 로봇" vs "정확한 길로 가는 로봇"

여러 가지 방법이 가능한 상황 (예: 장애물을 피할 때 왼쪽으로 돌아가거나 오른쪽으로 돌아가는 것) 을 상상해 보세요.

1. 기존의 한 번에 끝내는 방법 (Flow Matching 등):
   이 방법들은 "왼쪽"과 "오른쪽" 두 가지 정답을 모두 학습했지만, 한 번에 결론을 내릴 때 두 길의 '중간'을 선택하는 경향이 있습니다.

   • 결과: 로봇은 장애물을 피할 때 왼쪽도 아니고 오른쪽도 아닌, 정면으로 장애물과 부딪히는 이상한 경로를 선택하게 됩니다. 마치 두 가지 의견을 모두 수용하려다 보니 아무것도 제대로 안 되는 '평균'을 택하는 것과 같습니다.

2. Ada3Drift (이 논문의 제안):
   이 방법은 **"훈련할 때는 여러 번 고민하고, 실제 작동할 때는 한 번에 결정하자"**는 아이디어를 제안합니다.

   • 핵심 비유: 로봇이 훈련할 때 (오프라인), 전문가의 시연 영상을 보며 "아, 이럴 때는 왼쪽으로 가야 해, 저럴 때는 오른쪽으로 가야 해"라고 수십 번을 연습합니다. 이때 로봇의 뇌 (모델) 가 "왼쪽"과 "오른쪽"이라는 두 개의 명확한 길을 확실히 기억하도록 훈련시킵니다.
   • 실제 작동 시: 훈련이 끝난 로봇은 실제 일을 할 때, 이 기억된 '명확한 길' 중 하나를 순간적으로 (한 번에) 선택해서 움직입니다. 중간에 서서히 안개를 걷는 과정이 필요 없기 때문에 매우 빠르고, 중간에 부딪히는 실수도 없습니다.

🎯 Ada3Drift 의 3 가지 핵심 기술

이 논문은 로봇이 적은 데이터로도 잘 학습할 수 있도록 세 가지 '요리법'을 추가했습니다.

1. 훈련 중 '끌고 밀고' 하기 (Drifting Field):
   로봇이 예측한 동작이 전문가의 시연 (정답) 에 가까워지도록 끌어당기고, 다른 잘못된 예측들 사이로 떨어지도록 밀어냅니다. 마치 마그네트처럼 정답 쪽으로 붙잡고, 엉뚱한 곳으로 가지 못하게 막는 것입니다.

2. 단계별 학습 스케줄 (Sigmoid Schedule):
   로봇이 처음에는 '대략적인 방향'을 먼저 익혀야 합니다. 너무 일찍 '정밀한 길'을 잡으려 하면 혼란이 옵니다. 그래서 훈련 초반에는 **대략적인 지도 (MSE 손실)**를 보고 익히고, 훈련이 70% 정도 진행될 때쯤 **정밀한 길잡이 (Drift 손실)**를 켜서 마지막까지 다듬는 방식을 사용합니다.

3. 다양한 크기의 렌즈 (Multi-scale Aggregation):
   로봇의 작업은 손가락 하나를 미세하게 움직이는 것부터 두 팔을 크게 움직이는 것까지 다양합니다. Ada3Drift 는 **작은 렌즈 (미세한 움직임)**와 **큰 렌즈 (거친 움직임)**를 동시에 사용하여 어떤 상황에서도 최적의 길을 찾도록 합니다.

🏆 실험 결과: 얼마나 잘할까?

• 속도: 기존에 10~100 번 계산이 필요했던 로봇이 단 1 번의 계산으로 똑같은 성능을 냅니다. (약 10 배 빠름)
• 정확도: 시뮬레이션과 실제 로봇 (Agilx Cobot Magic) 실험에서, 복잡한 장애물 피하기나 정밀한 물건 쌓기 작업에서 기존 방법들보다 성공률이 훨씬 높았습니다.
• 실제 로봇: 실제 로봇이 컵을 받침대에 올리거나, 접시를 쌓는 작업에서 **79%**의 성공률을 보이며 1 위를 차지했습니다. 특히 다른 방법들은 중간에 흔들리거나 실패하는 경우가 많았는데, Ada3Drift 는 확신에 찬 부드러운 움직임을 보여주었습니다.

💡 결론

이 논문은 **"훈련은 꼼꼼하게, 실행은 빠르게"**라는 철학을 실현했습니다. 로봇이 복잡한 상황을 판단할 때, '중간값'을 선택해 실수하는 대신, 훈련 중에는 여러 가능성을 명확히 구분해 두었다가, 실제 작동할 때는 가장 적절한 한 가지 길을 순간적으로 선택하게 함으로써, 빠르고 안전한 로봇 제어를 가능하게 했습니다.

이제 로봇은 더 이상 안개 속에서 헤매지 않고, 훈련된 기억을 바탕으로 한 번에 정확히 목표를 달성할 수 있게 되었습니다!

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 로봇 제어 분야에서 확산 모델 (Diffusion Models) 기반의 비전 - 운동 정책 (Visuomotor Policy) 은 다중 모드 (Multimodal) 행동 분포를 효과적으로 포착하여 복잡한 작업 수행에 탁월한 성능을 보입니다. 그러나 확산 모델은 반복적인 탈노이즈 (Iterative Denoising) 과정을 거치기 때문에 추론 시 10~100 회 이상의 함수 평가 (NFE, Number of Function Evaluations) 가 필요합니다.
• 문제점:
  • 지연 시간 (Latency): 실시간 로봇 제어 (10~50Hz) 에 필요한 저지연 요구사항과 확산 모델의 높은 추론 비용 사이의 모순이 존재합니다.
  • 단일 단계 생성의 한계: 최근 Flow Matching(흐름 매칭) 이나 Consistency(일관성) 기반의 단일 단계 (One-step) 생성 방법들은 추론 속도를 획기적으로 개선했지만, 반복적 정제 과정이 부재하여 모드 평균화 (Mode Averaging) 문제가 발생합니다.
  • 로봇 작업에서의 치명적 결과: 이미지 생성에서는 평균화가 흐릿한 결과를 낳지만, 로봇 조작에서는 두 가지 유효한 전략 (예: 장애물 좌우 우회) 의 평균이 물리적으로 불가능하거나 충돌을 유발하는 위험한 궤적 (예: 장애물 정면 충돌) 을 만들어냅니다. 이는 단순한 품질 저하가 아닌 안전 문제로 직결됩니다.

2. 제안 방법: Ada3Drift (Methodology)

저자들은 로봇 시스템의 연산 예산 비대칭성 (Compute Budget Asymmetry) 에 주목했습니다. 즉, 훈련 (오프라인) 은 지연 시간 제약이 없으나 추론 (온라인) 은 엄격한 실시간 제약을 가진다는 점입니다. 이를 바탕으로 반복적 정제 과정을 추론 시가 아닌 훈련 시로 이동시키는 새로운 패러다임을 제안합니다.

핵심 구성 요소:

1. 훈련 시간 드리프트 필드 (Training-Time Drifting Field):

   • 모델이 예측한 행동이 전문가 시연 (Expert Demonstration) 의 모드 (Mode) 쪽으로 끌려가도록 (Attract) 하고, 다른 생성된 샘플들로부터는 밀어내도록 (Repel) 하는 벡터 필드를 학습합니다.
   • 이를 통해 추론 시 1 단계 (1 NFE) 만으로도 다중 모드 분포의 충실도 (Fidelity) 를 유지할 수 있습니다.
   • 양방향 친밀도 (Bidirectional Affinity): 예측값과 전문가 시연을 매칭할 때, 행/열 정규화를 통해 특정 모드가 모든 예측을 독점하거나 예측이 먼 모드를 무시하는 것을 방지합니다.

2. 다중 스케일 필드 집계 (Multi-scale Field Aggregation):

   • 로봇 작업마다 행동 분포의 기하학적 구조 (밀집된 그리핑 각도 vs 넓은 암 구성) 가 다릅니다.
   • 고정된 온도 (Temperature) 파라미터 대신, {0.02, 0.05, 0.2}와 같은 여러 온도 (Multi-temperature) 에서 드리프트 필드를 계산하고 집계하여 다양한 공간적 세분성 (Granularity) 의 모드를 포착합니다.

3. 시그모이드 스케줄링 손실 전환 (Sigmoid-Scheduled Loss Transition):

   • Few-shot 학습 환경 (10~50 개 시연) 에 대한 적응: 초기 학습 단계에서는 데이터 모드가 명확하지 않아 드리프트 손실이 오히려 학습을 방해할 수 있습니다.
   • 2 단계 학습 전략:
     • 초기 단계: MSE 손실이 우세하여 행동 분포의 대략적인 구조 (Coarse structure) 를 학습합니다.
     • 후기 단계 (학습 70% 지점): 시그모이드 함수를 통해 점진적으로 드리프트 손실의 가중치를 높여 모드 분리 (Mode Sharpening) 를 정교하게 수행합니다.

4. 아키텍처 (Architecture):

   • 3D 포인트 클라우드 인코더: DP3 를 기반으로 PointNet 을 사용하여 3D 점 구름과 로봇의 고유 상태 (Proprioceptive state) 를 인코딩합니다.
   • 타임스텝 프리 (Timestep-Free) 생성기: 추론 시 반복이 없으므로 노이즈 레벨 (Timestep) 을 조건으로 받는 것이 불필요합니다. 이를 제거하여 단순화된 1D U-Net 구조를 사용합니다.
   • 피드포워드 실행: 1 회 순전파 (1 NFE) 로 전체 행동 시퀀스를 생성하며, 재계획 (Receding-horizon) 방식을 통해 실시간 제어를 수행합니다.

3. 주요 기여 (Key Contributions)

1. 문제 분석: 확산 기반 정책을 단일 단계로 가속화할 때 발생하는 '모드 평균화' 문제가 이미지 생성보다 로봇 행동 공간에서 훨씬 치명적임을 분석하고, 훈련 시 정제를 통해 이를 해결할 수 있음을 제시했습니다.
2. Ada3Drift 제안: 로봇의 Few-shot 및 Multi-task 특성에 맞춘 적응형 드리프트 메커니즘 (시그모이드 스케줄링, 다중 온도 집계, 타임스텝 프리 아키텍처) 을 포함한 단일 단계 3D 비전 - 운동 정책을 제안했습니다.
3. 성능 입증: 시뮬레이션 (Adroit, Meta-World, RoboTwin) 및 실제 로봇 실험을 통해, 기존 확산 모델 (10 NFE) 과 동등하거나 더 나은 성능을 내면서 추론 비용을 10 배 줄였음을 증명했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 벤치마크:
  • Adroit & Meta-World: Ada3Drift 는 1 단계 생성 방법 중 최고 평균 성공률 (78.9%) 을 기록했으며, 10 단계가 필요한 기존 DP3(Diffusion Policy 3) 의 성능 (78.0%) 을 10 배 적은 계산량으로 능가했습니다.
  • RoboTwin: 3D 공간 추론이 필요한 8 가지 작업에서 평균 71.2% 성공률을 기록하여 기존 단일 단계 방법 (FlowPolicy, MP1) 및 다중 단계 방법 (DP3) 을 모두 능가했습니다.
• 추론 속도:
  • 기존 확산 모델 (DP3) 은 약 18.7Hz 였으나, Ada3Drift 는 233.9Hz(약 4.3ms) 로 실시간 제어에 적합한 속도를 달성했습니다.
• 실제 로봇 실험 (Agilx Cobot Magic):
  • 5 가지 실제 조작 작업 (컵 놓기, 블록 쌓기 등) 에서 평균 79% 성공률을 기록하여 모든 베이스라인 (DP3: 68%, FlowPolicy: 57%, MP1: 69%) 을 압도했습니다.
  • 특히 정밀한 위치 제어가 필요한 작업에서 모드 평균화로 인한 불안정한 동작을 보이지 않고, 매끄럽고 결정적인 궤적을 생성했습니다.

5. 의의 및 결론 (Significance)

• 실시간성과 정밀도의 균형: 로봇 제어의 핵심 난제인 "실시간 추론 (저지연)"과 "다중 모드 행동의 정확한 표현 (고정밀도)" 사이의 트레이드오프를 혁신적으로 해결했습니다.
• 안전성 확보: 물리적으로 불가능하거나 위험한 평균화된 궤적을 방지하여, 실제 로봇 배포 시 안전성을 크게 향상시켰습니다.
• Few-shot 학습 효율성: 소량의 시연 데이터만으로도 복잡한 3D 조작 작업을 학습할 수 있는 적응형 메커니즘을 제공하여, 실제 로봇 학습의 데이터 효율성을 높였습니다.

이 논문은 Ada3Drift를 통해 훈련 시간의 계산 자원을 활용하여 추론 시간을 획기적으로 단축하면서도 확산 모델의 정밀도를 유지하는 새로운 패러다임을 제시함으로써, 실시간 3D 로봇 조작 분야에서 중요한 이정표가 되었습니다.