$\pi$, But Make It Fly: Physics-Guided Transfer of VLA Models to Aerial Manipulation

1. 문제 정의 (Problem Statement)

• 배경: 비전 - 언어 - 행동 (VLA) 모델 (예: $\pi_0$) 은 고정된 베이스 (fixed-base) 를 가진 로봇 팔에서 자연어 명령을 통해 다양한 조작 작업을 수행하는 뛰어난 일반화 능력을 입증했습니다.
• 핵심 과제: 이러한 VLA 모델을 공중 조종 (aerial manipulation) 플랫폼, 즉 6 자유도 (6-DoF) 의 비구동 (underactuated) 비행체 (드론) 로 이전하는 것은 여전히 해결되지 않은 난제입니다.
• 도전 요인:
  1. 동역학 불일치: 고정형 로봇 팔은 준정적 (quasi-static) 인 반면, 드론은 중력을 이겨내며 비행해야 하므로 동역학이 매우 역동적이고 비선형적입니다.
  2. 하중 변화 (Payload Dynamics): 물체를 잡으면 드론의 질량이 순간적으로 변하여 높이 (altitude) 가 떨어지는 'sag' 현상이 발생하며, 이는 고정형 로봇에는 존재하지 않는 문제입니다.
  3. 데이터 부족: 드론 조작을 위한 실제 데이터 수집은 비용이 많이 들고 위험하여 학습 데이터가 부족합니다.
  4. 센서 환경: 드론의 자체 운동 (ego-motion) 으로 인한 모션 블러, 시점 변화, 스케일 변화 등이 테이블탑 환경과 다릅니다.

2. 방법론 (Methodology: AirVLA)

저자들은 사전 훈련된 VLA 모델 ($\pi_0$) 을 드론에 적용하기 위해 AirVLA 시스템을 제안했습니다. 이는 모델 재학습 없이 물리 법칙을 고려한 가이드를 추가하는 방식입니다.

가. 시스템 아키텍처

• 하드웨어: ModalAI Starling 2 Max 드론에 커스텀 UMI (Universal Manipulation Interface) 그리퍼와 전방/하방 카메라를 탑재했습니다.
• 정책 (Policy): 사전 훈련된 $\pi_0$ 모델을 기반으로 하며, 흐름 매칭 (flow-matching) 생성 모델을 사용하여 관찰 (이미지, 언어, 프로프리오셉션) 에서 행동 (드론 위치, 요우, 그리퍼 제어) 을 생성합니다.
• 실시간 청킹 (Real-Time Chunking, RTC): 추론 지연을 줄이고 행동의 연속성을 유지하기 위해, 다음 청크의 일부는 고정하고 나머지를 채우는 비동기 추론 방식을 사용합니다.

나. 물리 인식 가이드 (Physics-Aware Guidance)

VLA 모델의 생성 과정에 물리 제약을 직접 주입하여 드론의 동역학 불일치를 해결합니다.

• 하중 인식 수직 가이드 (Payload-Aware Vertical Guidance):
  • 드론이 물체를 잡았을 때 발생하는 중량 증가로 인한 높이 하강을 보상하기 위해, 그리퍼가 닫힌 상태 (물체 보유) 를 감지하면 목표 높이를 약간 상향 조정합니다.
  • 이는 생성 모델의 샘플링 과정에서 그라디언트 보정 항 (gradient correction term) 을 추가하여 구현됩니다. 즉, VLA 가 학습한 조작 기술을 유지하면서 동시에 비행의 물리적 실현 가능성 (동역학 제약) 을 만족하도록 행동을 유도합니다.
• 일반 추적 가이드: 참조 궤적과의 오차를 최소화하도록 행동을 보정합니다.

다. 가우시안 스플래팅 기반 데이터 증강 (Gaussian Splatting Data Pipeline)

데이터 부족 문제를 해결하기 위해 3D 가우시안 스플래팅 (3DGS) 을 활용한 합성 데이터 파이프라인을 구축했습니다.

• 장면 재구성: 드론의 카메라로 촬영한 영상을 기반으로 정적 환경을 3DGS 로 재구성합니다.
• 그리퍼 합성: 하방 카메라 영상에서 그리퍼가 가리는 배경을 제거하고, 3DGS 로 생성된 깨끗한 배경 위에 실제 그리퍼 이미지를 합성하여 편향 (bias) 을 제거합니다.
• 동역학 시뮬레이션: 드론의 동역학 모델을 3DGS 환경에 결합하여, 정상 궤적뿐만 아니라 장애물 근처에서의 복구 (recovery) 행동까지 포함하는 다양한 합성 궤적을 생성합니다.

3. 주요 기여 (Key Contributions)

1. AirVLA 시스템: 고정형 로봇 팔용 VLA 모델을 공중 조작 플랫폼으로 이전한 최초의 체계적인 연구입니다.
2. 물리 인식 추론 가이드: 재학습 없이 추론 시 (inference-time) 하중 변화를 보상하는 가이드 메커니즘을 도입하여, 드론의 동역학적 특성을 VLA 모델에 주입했습니다.
3. 3DGS 기반 합성 데이터: 소량의 실제 시연 데이터만으로 다양한 항법 및 복구 시나리오를 생성하는 파이프라인을 구축했습니다.
4. 오픈 소스 데이터: 270 개의 공중 조작 및 항법 텔레오퍼레이션 (teleoperation) 데이터셋을 공개합니다.

4. 실험 결과 (Results)

총 460 회의 실제 비행 실험을 통해 다음과 같은 결과를 도출했습니다.

• 단일 작업 성능 (Single Task):
  • 항법 (Navigation): 합성 데이터 (3DGS) 를 추가한 경우, 텔레오퍼레이션 데이터만 사용한 경우 (81%) 보다 100% 성공률을 달성했습니다.
  • 피크 앤 플레이스 (Pick-and-Place):
    • 기본 $\pi_0$ (Naive): 0% 성공 (하중 변화로 인한 실패).
    • RTC 적용: 23.5% 성공.
    • 물리 인식 가이드 적용 (AirVLA): 50% 성공률로 크게 향상되었습니다.
• 구성 작업 (Compositional Task):
  • "게이트 통과 후 물체 잡기"와 같은 복합 작업을 제로샷 (zero-shot) 으로 수행했습니다.
  • 합성 데이터와 물리 가이드를 모두 적용했을 때, 62.5% 의 전체 성공률을 기록했습니다.
• OOD (Out-of-Distribution) 일반화:
  • 새로운 물체 (샌드위치 등) 에 대해서는 57% 성공률을 보였으나, 기하학적 형태가 다른 물체 (칩 가방 등) 에 대해서는 적응에 실패했습니다.
  • 항법 영역 (앞, 왼쪽, 오른쪽) 에 따라 성능 편차가 있었으나, 오른쪽 영역에서 40% 성공률을 보이며 부분적인 일반화 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

• 교차 형태체 전이 (Cross-Embodiment Transfer) 의 한계와 가능성: VLA 모델의 시각 및 의미적 표현 (visual/semantic representations) 은 드론 환경으로 잘 이전되지만, 비행의 동역학적 특성 (underactuated dynamics) 은 별도의 물리 기반 개입이 없으면 해결되지 않음을 입증했습니다.
• 효율적인 적응 전략: 대규모 데이터를 다시 학습할 필요 없이, 물리 지향 가이드 (Physics-Aware Guidance) 와 합성 데이터 증강을 결합함으로써 저비용으로 고성능 공중 조작 시스템을 구축할 수 있음을 보였습니다.
• 미래 응용: 의료 물품 배달, 붕괴된 구조물 내 잔해 제거, 고가 인프라 조작 등 인간이 접근하기 어려운 환경에서의 언어 기반 공중 로봇 제어에 대한 실용적인 토대를 마련했습니다.

이 연구는 VLA 모델이 고정형 로봇을 넘어 동적이고 비구동적인 공중 플랫폼에서도 작동할 수 있음을 보여주었으며, 이를 위해 물리 법칙을 추론 과정에 통합하는 것이 핵심임을 강조합니다.