ABot-N0: 다양한 신체적 항해를 위한 통합 VLA 기반 모델 기술 요약

이 보고서는 알리바바 그룹의 AMAP CV Lab 에서 제안한 ABot-N0에 대한 기술 보고서입니다. ABot-N0 는 5 가지 핵심 항해 작업을 단일 아키텍처로 통합한 최초의 통합 비전 - 언어 - 행동 (VLA) 기반 모델 (Foundation Model) 입니다.

1. 문제 정의 (Problem)

기존의 신체적 항해 (Embodied Navigation) 연구는 작업별 특수 아키텍처에 의존하여 파편화되어 있었습니다.

• 작업 분리: 포인트 목표 (Point-Goal), 객체 목표 (Object-Goal), 지시 따르기 (Instruction-Following), POI 목표, 사람 추종 (Person-Following) 등 각 작업마다 별도의 모델이 사용되었습니다.
• 일반화 부족: 이러한 접근 방식은 작업 간 일반화를 제한하고, 대규모 이질적인 데이터에서 통합된 물리적 사전 지식 (Physical Prior) 을 추출하는 것을 방해했습니다.
• 실제 배포의 한계: 복잡한 사회적 환경과 동적 개체가 존재하는 현실 세계에서의 장기간 임무 수행 능력이 부족했습니다.

2. 방법론 (Methodology)

2.1. 계층적 "Brain-Action" 아키텍처

ABot-N0 는 고수준 인지 추론과 저수준 운동 제어를 연결하는 계층적 구조를 채택합니다.

• 범용 멀티모달 인코더 (Universal Multi-Modal Encoder):
  • 유연한 비전 인터페이스: 현재 관측치 (RGB) 와 시각적 기억 (Episodic Memory) 을 처리하며, 파노라마 또는 전방 뷰 등 다양한 로봇 형태에 적응 가능합니다.
  • 이종 목표 인코더: 자연어 지시, 객체 카테고리, POI 이름 (시맨틱 목표) 과 좌표 (기하학적 목표) 를 모두 통합된 토큰 시퀀스로 변환합니다.
  • 추론 태스크 인코더: 특정 작업 설명을 주입하여 LLM 내의 관련 추론 회로를 활성화합니다.
• 인지적 두뇌 (Cognitive Brain):
  • 사전 훈련된 대형 언어 모델 (LLM, Qwen3-4B) 을 기반으로 합니다.
  • 추론 헤드 (Reasoning Head): 장면 가행성 분석, 사회적 규범 준수, POI 위치 파악 등 고수준 의미 이해를 담당합니다.
  • 행동 헤드 (Action Head): 운동 계획 및 의사결정을 지원합니다.
• 행동 전문가 (Action Expert):
  • Flow Matching 기반: 결정론적 회귀 대신 Flow Matching 을 사용하여 연속적이고 정밀한 궤적 분포를 생성합니다.
  • 다중 모드 모델링: 유사한 입력 조건에 대해 여러 유효한 전문가 행동 (예: 장애물을 좌우로 우회) 을 모델링하여 충돌 위험을 줄이고 매끄러운 제어를 가능하게 합니다.

2.2. ABot-N0 데이터 엔진 (Data Engine)

대규모 학습을 지원하기 위해 구축된 방대한 데이터 인프라입니다.

• 고충실도 3D 장면 생태계: 7,802 개의 장면 (실내 6.25km², 실외 4.42km²) 을 포함하며, 3D 가우시안 스플래팅 (3DGS) 기술과 실제 스캔 데이터를 활용했습니다.
• 1,690 만 개의 전문가 궤적 (Trajectories): 5 가지 항해 패러다임 (Point, Object, Instruction, POI, Person-Following) 을 통합한 표준화된 데이터셋입니다. 인터넷 비디오, 3D 시뮬레이션, 실제 로봇 데모를 결합하여 생성되었습니다.
• 500 만 개의 추론 샘플 (Reasoning Samples): 장면 이해, 사회적 규범, 지시 추론, 객체 찾기, POI 위치 파악, 일반 VQA 등을 포함하는 대규모 CoT(Chain-of-Thought) 데이터셋입니다.

2.3. 학습 레시피 (Training Recipe)

• 1 단계: 인지 워밍업 (Cognitive Warm-up): 추론 데이터셋을 사용하여 비전 - 언어 표현과 인지 기반을 최적화합니다.
• 2 단계: 통합 센서모터 SFT: 궤적 데이터와 추론 데이터를 혼합하여 학습하며, 고수준 계획과 저수준 행동을 통합합니다.
• 3 단계: SAFE-GRPO 를 통한 가치 정렬: 사회적 준수 (Social Compliance) 를 강화하기 위해 강화학습 (RL) 을 적용합니다. 보행로 준수, 충돌 회피, 효율성 등을 고려한 보상 함수를 통해 모델이 사회적 규범을 내면화하도록 합니다.

2.4. 에이전트 항해 시스템 (Agentic Navigation System)

기반 모델을 실제 시스템에 적용하기 위한 프레임워크입니다.

• 에이전트 플래너 (Agentic Planner): 사용자의 모호한 지시를 CoT 추론을 통해 하위 작업 (Point-Goal, Object-Goal 등) 으로 분해합니다.
• 위계적 토폴로지 메모리 (Topo-Memory): "지도 = 메모리" 개념으로, 블록, 도로, 기능, 객체/POI 레이어를 가진 계층적 공간 지식을 저장하고 동적으로 업데이트합니다.
• 자기 반성 (Self-Reflector): 작업 실패 시 원인을 진단하고 재계획 (Re-planning) 을 수행하는 폐쇄 루프 메커니즘을 제공합니다.

3. 주요 기여 (Key Contributions)

1. 포괄적인 SOTA 달성: 단일 아키텍처에서 5 가지 핵심 항해 작업을 통합하여 "대통합 (Grand Unification)"을 이루었으며, 7 가지 벤치마크에서 새로운 State-of-the-Art(SOTA) 성능을 기록했습니다.
2. 가장 큰 신체적 항해 데이터 엔진: 1,690 만 개의 궤적과 500 만 개의 추론 샘플, 7,802 개의 3D 장면을 포함한 방대한 데이터셋을 구축하여 모델의 일반화 능력을 뒷받침했습니다.
3. 배포 가능한 에이전트 시스템: Unitree Go2 4 발 로봇에 성공적으로 배포되었으며, 복잡한 동적 환경에서 2Hz VLA 추론과 10Hz 폐쇄 루프 제어를 통해 장기간 임무를 수행했습니다.

4. 평가 결과 (Evaluation Results)

ABot-N0 는 7 가지 주요 벤치마크에서 기존 특수 모델들을 압도적으로 능가했습니다.

• Point-Goal (CityWalker & SocNav):
  • 오픈 루프 (CityWalker): 평균 MAOE 11.2 (기존 SOTA 15.2 대비 향상).
  • 클로즈드 루프 (SocNav): 성공률 (SR) 88.3% (기존 47.8% 대비 약 2 배), 사회적 준수율 (DCR) 85.1% (기존 36.1% 대비 대폭 향상).
• Instruction-Following (VLN-CE R2R/RxR):
  • R2R-CE Val-Unseen: SR 66.4%, SPL 63.9% (이전 SOTA 대비 SR 4.7%p, SPL 8.6%p 향상).
  • RxR-CE Val-Unseen: SR 69.3%, SPL 60.0%.
• Object-Goal (HM3D-OVON):
  • Val-Unseen (보지 못한 카테고리) 에서 SR 54.0%, SPL 30.5% 달성. 기존 모델 대비 일반화 격차가 현저히 감소했습니다.
• POI-Goal (BridgeNav):
  • 0.1m 정밀도 기준 성공률 32.14% (기존 13.79% 대비 70.1% 향상).
• Person-Following (EVT-Bench):
  • 단일 목표 추적 (STT) 에서 SR 86.9%, 혼란 추적 (DT) 및 모호성 추적 (AT) 에서도 최상위 성능 기록.

5. 의의 및 결론 (Significance)

ABot-N0 는 신체적 AI 분야에서 다음과 같은 중요한 의의를 가집니다:

• 파편화된 패러다임의 종식: 다양한 항해 작업을 통합된 단일 모델로 해결함으로써, 작업 간 전이 학습과 일반화를 가능하게 했습니다.
• 인지와 제어의 통합: 고수준의 언어적 추론과 저수준의 연속적인 운동 제어를 "Brain-Action" 아키텍처로 성공적으로 연결했습니다.
• 실제 세계 적용 가능성: 대규모 데이터 엔진과 사회적 규범 정렬 (SAFE-GRPO) 을 통해, 복잡한 도시 환경과 실내 공간에서 인간과 안전하게 상호작용하며 장기간 임무를 수행할 수 있는 시스템을 입증했습니다.

이 연구는 범용 신체적 에이전트 (General-purpose Embodied Agents) 의 개발에 있어 중요한 이정표가 되었으며, 향후 로봇의 자율성과 사회적 적응성을 크게 향상시킬 것으로 기대됩니다.