기술 요약: LingBot-VLA 2.0

문제 정의

최근 시각-언어-행동(Vision-Language-Action, VLA) 파운데이션 모델의 발전에도 불구하고, 실험실 벤치마크와 실제 로봇 배포 사이에는 여전히 상당한 격차가 존재합니다. 현재의 VLA 시스템은 실제 응용 분야로 전환될 때 다음과 같은 세 가지 주요 한계점으로 인해 어려움을 겪는 경우가 많습니다:

1. 제한된 일반화 능력: 기존 모델은 다양한 로봇 형태(이종 구성) 및 데이터 소스에 대해 일반화하는 데 자주 실패하며, 이는 종종 좁은 작업 집합이나 특정 하드웨어에 맞춰 학습되었기 때문입니다.
2. 제한된 행동 공간: 많은 시스템이 표준적인 양팔 조작에 국한되어 있어, 복잡한 실세계 작업을 수행하는 데 필수적인 모바일 베이스, 허리, 머리, 정교한 손과 같은 전신 자유도(DoF)를 제어하는 능력이 부족합니다.
3. 취약한 시간적 추론: 현재의 모델들은 미래의 장면 진화와 행동의 결과를 예측하기보다는 즉각적인 관측에 반응하는 경傾向이 있어, 동적인 환경에서의 효과성이 제한됩니다.

방법론

저자들은 파운데이션 수준의 역량과 실제 배포 사이의 간극을 메우기 위해 설계된 개선된 VLA 시스템인 LingBot-VLA 2.0을 제시합니다. 이 방법론은 세 가지 기능적 영역에 집중합니다:

1. 대규모, 다중 형태(Multi-Embodiment) 데이터 큐레이션

일반화 능력을 향상시키기 위해, 저자들은 약 60,000시간의 프리트레이닝 코퍼스를 큐레이션하도록 데이터 처리 파이프라인을 재설계했습니다:

• 로봇 데이터: 다양한 DoF(팔, 손, 허리, 모바일 베이스)를 가진 20가지 서로 다른 로봇 구성(단일 팔, 양팔, 하프 휴머노이드, 풀 휴머노이드 플랫폼 포함)에 걸친 약 50,000시간의 궤적 데이터.
• 에고센트릭(Egocentric) 데이터: 약 10,000시간의 인간 비디오.
• 처리 파이프라인: 파이프라인은 다음과 같은 엄격한 필터링을 적용합니다:
  • 품질 제어: 궤적 불연속성, 비정상적인 속도/가속도(jerk), 또는 정적 신호(지속 시간의 >95%)가 있는 에피소드를 제거합니다.
  • 정렬 검증: 비디오 프레임과 상태 신호 사이의 일관성을 보장하기 위해 URDF 투영 및 인간 주석을 사용합니다.
  • 에고센트릭 재구성: 행동 정보가 없는 인간 비디오의 경우, 시스템은 SLAM을 사용하여 카메라 포즈를 추정하고 손 포즈 추정(MANO 파라미터)을 통해 세계 좌표계에서의 연속적인 손 궤적을 재구성합니다.
• 통합 표현: 이종 제어(팔, 그리퍼, 손, 허리, 머리, 이동성)를 단일 행동 공간으로 통합하기 위해 55차원의 정형 벡터 표현을 사용하며, 누락된 차원에 대해서는 패딩을 적용합니다.

2. 확장된 행동 공간 및 아키텍처

모델은 표준 양팔 설정을 넘어 더 넓은 행동 공간을 수용하도록 확장되었습니다:

• 전신 제어(Whole-Body Control): 머리(2D), 허리(4D), 모바일 베스(3D), 정교한 손(6D/12D), 그리고 팔(6D/7D).
• 혼합 전문가(Mixture-of-Experts, MoE) 아키텍처: 저자들은 행동 전문가 내에 토큰 수준의 무손실 희소 MoE를 도입했습니다.
  • 구조: 표준 피드포워드 네트워크(FFN)를 하나의 공유 전문가(보편적 사전 지식용)와 여러 라우팅된 전문가(특화된 모델링용)의 조합으로 대체합니다.
  • 라우팅: 토큰이 소프트맥스(softmax) 유도 경쟁 없이 독립적으로 여러 전문가를 활성화할 수 있도록 시그모이드 기반 라우팅 메커니즘(DeepSeek-V3에서 영감)을 활용합니다.
  • 부하 분산: 명시적인 부하 분산 손실을 기본 목적 함수에 주입하지 않고도 균형 잡힌 전문가 활용을 보장하기 위해 라우팅 수정 바이어스를 사용하는 보조 손실 없는 전략을 채택합니다.

3. 이중 쿼리 증류(Dual-Query Distillation)를 통한 예측 역학

시간적 추론을 개선하기 위해, 시스템은 이중 쿼리 증류 프레임워크를 사용하여 미래 예측을 프록시 태스크로 공식화합니다:

• 이 dual 쿼리: 두 개의 학습 가능한 쿼리, $Q_t$(현재)와 $Q_{t+T}$(미래)가 시각 및 텍스트 토큰에 추가됩니다.
• 교사 모델(Teachers):
  • LingBot-Depth: 현재 및 미래 프레임에 대한 깊이 표현을 증류하여 기하학적 감독을 제공합니다.
  • DINO-Video: 인과적 시간 주의(causal temporal attention)를 갖춘 DINOv3 기반의 로보틱스 특화 비디오 표현 모델로, 의미론적 사전 지식과 모션 인식 시각 특징을 제공합니다.
• 목적: 모델은 현재와 미래의 타임 스텝 모두에 대해 깊이와 비디오 특징을 예측하도록 훈련되어, VLA가 미래의 장면 진화와 행동의 결과를 추론하도록 유도합니다.

주요 기여

1. 데이터 규모 및 다양성: 20가지 다양한 로봇 형태와 에고센트릭 인간 비디오를 포함하며, 새로운 파이프라인을 통해 이종 데이터 소스를 통합한 60,000시간의 프리트레이닝 데이터셋 구축.
2. 전신 행동 모델링: 통합된 행동 표현을 통해 복잡한 전신 자유도(머리, 허리, 모바일 베이스, 정교한 손)를 제어할 수 있도록 VLA 역량 확장.
3. 아키텍처 혁신: 효율적으로 모델 용량을 확장하면서도 균형 잡힌 전문가 활용을 유지하는 토큰 수준의 무손실 희소 MoE 아키텍처 구현.
4. 시간적 추론: 깊이 및 비디오 표현 모델을 활용하여 미래 상태를 예측하고 인과적으로 추론하는 능력을 강화하는 이중 쿼리 증류 프레임워크 도입.

실험 결과

저자들은 GM-100 벤치마크(9가지 양팔 조작 작업)와 두 가지 장기(long-horizon) 모바일 조작 작업에서 LingBot-VLA 2.0을 평가했습니다.

• 양팔 조작 (GM-100):

  • Agilex Cobot Magic 플랫폼에서 LingBot-VLA 2.0은 진행 점수 **66.2%**와 성공률 **34.4%**를 달성하여, LingBot-VLA 1.0(58.2%/30.0%) 및 $\pi_{0.5}$(59.1%/32.2%)를 능가했습니다.
  • Galaxea R1 Pro 플랫폼에서 **34.6%**의 진행도와 **15.6%**의 성공률을 기록하며 $\pi_{0.5}$(27.4%/8.9%)를 앞질렀습니다.
  • 개선은 정밀한 객체 그라운딩과 목표 지향적 실행이 필요한 작업(예: "열쇠고리 회수"는 Agilex에서 100% 성공)에서 가장 두드러졌습니다.

• 장기 모바일 조작:

  • Astribot S1(냉장고 정리) 및 Cobot Magic-ARX X5(가스레인지 청소)에서 평가되었습니다.
  • LingBot-VLA 2.0은 인도메인(in-domain) 및 분포 외(OOD) 설정 모두에서 $\pi_{0.5}$를 지속적으로 능가했습니다.
  • OOD 설정(섭동된 초기 포즈 및 미학습 객체)에서 LingBot-VLA 2.0은 성공률에서 명확한 우위를 유지하며 전체 작업 궤적을 완료하는 견고함을 보여주었습니다.

• 절제 연구(Ablation Studies):

  • 행동 타겟: 상대적 관절 행동(Relative joint actions)이 절대적 행동(Absolute actions)보다 크게 우세했습니다 (55.0% vs 33.7% 성공률).
  • 정규화: MeanStd 정규화가 MinMax 또는 Q01-Q99에 비해 가장 좋은 결과(55.0%)를 냈으며, 이는 상대적 행동 분포의 롱테일 구조를 잘 보존했기 때문입니다.
  • 손실 함수: 전반적으로 L2 손실이 가장 우수했으나, "케첩 짜기"와 같이 접촉이 많은 작업에서는 L1이 더 우수했습니다.

의의 및 주장

본 논문은 Ling-Bot-VLA 2.0이 VLA 파운데이션 모델을 실험실의 성공에서 실제 적용 가능한 단계로 진전시키는 실용적인 발걸음이라고 주장합니다. 저자들은 실제 세계의 요구 사항을 해결하기 위해 단순히 모델과 데이터 크기를 키우는 것을 넘어 다음과 같은 구체적인 접근이 필요하다고 강조합니다:

• 더 넓은 형태 지원: 이종 로봇 구성 처리.
• 풍부한 행동 공간: 전신 역학 제어 가능.
• 예측적 이해: 동적인 장면 변화를 예측하기 위한 시간적 추론 강화.

결과적으로, 일반화, 행동 공간 커버리지, 그리고 예측 역학 모델링을 결동적으로 향상시키는 것이 실제 로봇 역량의 지속적인 개선으로 이어진다는 점이 입증되었습니다. 이 연구는 LingBot-VLA 2.0을 단순한 모델 개선을 넘어, 파운데이션 수준의 VLA 역량을 실제 세계의 복잡한 환경에 정렬시키기 위한 프레임워크로 포지셔닝합니다.