SocialNav: Training Human-Inspired Foundation Model for Socially-Aware Embodied Navigation

이 논문은 700 만 개의 대규모 데이터셋과 모방 학습 및 사회적 인식 흐름 탐색 강화 학습 (SAFE-GRPO) 을 기반으로 한 계층적 '뇌 - 행동' 아키텍처를 통해 사회적 규범을 준수하는 지능형 내비게이션을 가능하게 하는 'SocialNav'라는 새로운 기초 모델을 제안합니다.

핵심

🤖 사회적 지능을 갖춘 로봇: '소셜네비 (SocialNav)' 이야기

이 논문은 로봇이 사람들과 함께 살아가는 세상에서, 단순히 목적지까지 가는 것뿐만 아니라 사람들이 지켜야 할 예절과 규칙을 지키며 이동하는 방법을 가르치는 새로운 기술을 소개합니다.

기존의 로봇들은 "가장 짧은 길"만 찾다가, 사람들이 걷지 않는 잔디밭을 밟거나, 횡단보도 없이 도로를 건너는 등 매우 비효율적이고 무례한 행동을 하곤 했습니다. 이 논문은 그 문제를 해결하기 위해 **'소셜네비 (SocialNav)'**라는 새로운 로봇 두뇌를 개발했다고 말합니다.

이 기술을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 로봇의 두뇌 구조: "철저한 계획가"와 "실전 운전사"

소셜네비는 로봇을 움직이는 두 가지 핵심 역할을 분리했습니다. 마치 명상하는 철학자와 실전 운전사가 팀을 이루는 것과 같습니다.

• 🧠 '브레인 (Brain)': 철학자 역할

  • 이 부분은 거대한 언어 모델 (VLM) 을 기반으로 합니다.
  • 역할: 로봇이 눈으로 보는 장면을 보고 "저기 잔디밭은 사람이 걷지 않는 곳이야", "저 횡단보도는 신호가 초록색이니까 건너도 돼", "사람들이 많으니 우회해서 가자"라고 생각하고 설명합니다.
  • 비유: 마치 운전할 때 "저기 차가 많으니 조심해야지", "신호등이 빨간색이니까 멈춰야지"라고 스스로 말하며 상황을 분석하는 운전석의 조수 같은 존재입니다.

• 🚗 '액션 전문가 (Action Expert)': 운전사 역할

  • 이 부분은 철학자의 지시를 받아 실제로 바퀴를 굴리고 방향을 잡습니다.
  • 역할: 철학자가 "잔디밭은 피해서 가자"라고 말하면, 운전사는 그 지시를 받아 실제로 잔디밭을 피해 부드럽게 우회하는 경로를 만들어냅니다.
  • 비유: 조수의 지시를 듣고 핸들을 돌리는 실전 운전사입니다.

이 두 명이 완벽하게 협력하면, 로봇은 단순히 목적지만 향해 달리는 게 아니라 사람들이 자연스럽게 걷는 길을 찾아 이동하게 됩니다.

---

2. 학습 방법: "700 만 개의 사례"와 "현실적인 훈련"

로봇이 이렇게 똑똑해지려면 엄청난 양의 데이터가 필요합니다. 연구팀은 700 만 개의 데이터로 로봇을 훈련시켰는데, 이를 세 가지 단계로 나누어 설명할 수 있습니다.

• 📚 1 단계: 다양한 경험 쌓기 (인터넷 영상 + 시뮬레이션)

  • 인터넷에 있는 수많은 도시 탐험 영상과 컴퓨터 속 가상 도시를 보며, "사람들은 보통 어디를 걷지?"라는 기본 상식을 배웁니다.
  • 비유: 운전 면허 시험을 보기에 앞서, 수많은 교통 상황을 담은 드라마와 다큐멘터리를 보며 교통 법규를 암기하는 과정입니다.

• 🤖 2 단계: 실전 연습 (실제 로봇 데이터)

  • 가상 세계가 아닌, 실제 세상에서 움직인 로봇들의 데이터를 통해 현실의 물리 법칙을 배웁니다.
  • 비유: 이론 공부를 마치고 실제 도로에서 운전 강사의 지도를 받으며 운전하는 과정입니다.

• 🏆 3 단계: 예절 교육 (강화 학습 - SAFE-GRPO)

  • 이것이 이 기술의 핵심입니다. 로봇이 "가장 빠른 길"을 선택하려 할 때, "사회적 예절"을 지키는 행동을 하면 점수를 주고, "잔디밭을 밟는" 행동을 하면 벌점을 줍니다.
  • 비유: 운전사에게 "가장 빠른 길로 가라"고만 하면 차를 타고 잔디밭을 뚫고 갈 수도 있습니다. 하지만 **"사람들이 걷는 길만 다니면 상금을 주고, 무단 횡단하면 벌금을 내라"**고 가르치는 엄격한 예절 교실을 거치는 것입니다.

---

3. 결과: "사람처럼 생각하는 로봇"

이 기술을 적용한 로봇은 기존 로봇들과 어떤 차이가 있을까요?

• 기존 로봇: "목적지까지 10 초 단축!"이라며 잔디밭을 밟거나, 차도를 가로지르거나, 유리벽에 부딪히는 무모한 행동을 합니다. (가장 짧은 길만 쫓음)
• 소셜네비 로봇: "저기 횡단보도가 있네. 신호를 기다렸다가 건너자. 잔디밭은 밟지 말고 보도블록을 따라가자."라고 생각하며 사람들이 자연스럽게 걷는 길을 선택합니다.

실제 성과:

• 성공적인 도착률: 기존 최고 기술보다 38% 더 높아졌습니다.
• 사회적 예절 준수율: 46% 더 높아졌습니다. (잔디밭을 밟지 않고, 사람들과 자연스럽게 어울려 이동함)

---

🌟 한 줄 요약

이 논문은 **"로봇이 단순히 '빠르게' 이동하는 것을 넘어, 사람들과 함께 살아가는 '예의 바른' 이동 방식을 배우게 하는 기술"**을 개발했다고 말합니다.

마치 운전 면허를 딸 때 '가장 빠른 길'만 가르치는 게 아니라, '교통 법규와 예절'까지 가르쳐서 안전하고 매너 있는 운전자가 만드는 과정과 같습니다. 이제 로봇도 우리 사회의 일원으로서, 사람들과 함께 더 안전하고 자연스럽게 이동할 수 있게 되었습니다! 🚶‍♂️🤖✨

기술 요약

SocialNav: 사회적 인식을 갖춘 신체화된 항법을 위한 인간 영감의 파운데이션 모델 기술 요약

이 논문은 로봇이 실제 사회적 환경에서 이동할 때 효율성뿐만 아니라 **사회적 규범 (Social Norms)**을 준수하는 것이 필수적임을 지적하며, 이를 해결하기 위한 새로운 파운데이션 모델인 SocialNav를 제안합니다. 기존 방법들이 최단 경로 계획과 충돌 회피에 집중하여 사회적 불쾌감 (예: 무단 횡단, 잔디 밟기) 을 유발하는 경우가 많았던 반면, SocialNav 는 고수준의 사회적 추론과 저수준의 사회적 준수 궤적 생성을 통합합니다.

---

1. 문제 정의 (Problem)

• 사회적 규범의 부재: 기존 신체화된 항법 (Embodied Navigation) 연구는 주로 기하학적 최적화 (최단 경로) 와 충돌 회피에 초점을 맞추었습니다.
• 실제 배포의 한계: 로봇이 인도, 횡단보도, 제한 구역 등을 구분하지 않고 기하학적으로 최단 경로를 선택하면, 인간과의 상호작용에서 사회적 불쾌감을 주거나 위험한 상황 (예: 무단 횡단, 제한 구역 침입) 을 초래할 수 있습니다.
• 데이터 및 학습의 부족: 기존 데이터셋은 사회적 추론 (Chain-of-Thought) 이나 다양한 사회적 상황에서의 행동 우선순위를 학습시키기에는 부족했습니다. 또한, 단순 모방 학습 (Imitation Learning) 은 사회적 규범의 인과적 구조를 학습하는 데 한계가 있습니다.

2. 방법론 (Methodology)

SocialNav 는 계층적 "두뇌 - 행동 (Brain-Action)" 아키텍처와 다단계 학습 파이프라인을 핵심으로 합니다.

A. 아키텍처

1. Brain Module (고수준 추론):
   • 비전 - 언어 모델 (VLM, Qwen2.5-VL 기반) 을 사용합니다.
   • 기능: 환경의 사회적 의미 (보행 가능 구역, 횡단보도 등) 를 이해하고, **Chain-of-Thought (CoT)**를 통해 의사결정 과정을 설명하며, 사회적 통행 가능 영역을 예측합니다.
   • 출력: 사회적 통행 가능 영역 (다각형), CoT 설명, 시각적 질문 답변 (VQA).
2. Action Expert (저수준 행동 생성):
   • 조건부 흐름 매칭 (Conditional Flow Matching) 기반 모델입니다.
   • Brain Module 이 제공하는 시맨틱 특징 (Latent Semantic Features) 을 조건으로 받아 로봇이 실행 가능한 궤적을 생성합니다.
   • 고수준 추론과 저수준 제어를 분리하면서도 강한 시맨틱 연결을 유지합니다.

B. SocNav 데이터셋 (SocNav Dataset)

학습을 위해 700 만 개의 샘플로 구성된 대규모 이질적 데이터셋을 구축했습니다.

1. Expert Trajectories Pyramid (ETP):
   • 인터넷 비디오 (200 만 개): 전 세계 도시의 다양한 시나리오에서 추출된 위조 궤적 (Pseudo-trajectories).
   • 고충실도 시뮬레이션 (170 만 개): Isaac Sim 과 3DGS 를 활용한 사회적 환경 (쇼핑몰, 거리, 공원) 및 복구 시나리오 (위험 상황에서의 교정 행동) 데이터.
   • 실제 로봇 데이터 (34 만 개): 실제 로봇에서 수집된 고품질 궤적 (Sim-to-Real 격차 해소).
2. Cognitive Activation Dataset (CAD):
   • 사회적 통행 인식: 보행 가능 영역에 대한 다각형 주석 데이터.
   • 항법 CoT: Qwen2.5VL 을 이용해 생성된 단계별 추론 데이터 (안전, 사회적 준수, 효율성 우선순위).
   • 일반 VQA: 환경 이해를 위한 시각적 질문 답변 데이터.

C. 학습 전략 (Training Pipeline)

1. Pre-training (일반 항법 능력): ETP 와 CAD 를 이용해 VLM 의 항법 능력과 흐름 모델의 저수준 예측 능력을 학습합니다.
2. Fine-tuning (실제 데이터 적응): 실제 로봇 데이터 (Dreal) 로 미세 조정하여 시뮬레이션과 현실의 격차를 줄입니다.
3. SAFE-GRPO (사회적 규칙 정렬):
   • Socially-Aware Flow Exploration GRPO는 신체화된 항법을 위한 최초의 흐름 기반 강화학습 (RL) 프레임워크입니다.
   • 목적: 단순 모방을 넘어 사회적 규범을 내재화합니다.
   • 보상 함수: 사회적 준수 (보행 가능 구역 유지), 전문가 궤적 유사성, 궤적 매끄러움, 경로 효율성을 종합적으로 고려합니다.
   • 탐색 전략: VLM 이 제공하는 시맨틱 조건 하에서 확률적 미분 방정식 (SDE) 을 통해 의미 있는 탐색을 수행합니다.

D. SocNav 벤치마크

• Isaac Sim 과 3DGS 를 결합한 9 개의 대규모 사회적 장면 (공원, 거리, 캠퍼스 등) 으로 구성되었습니다.
• 물리 시뮬레이션과 사실적인 렌더링을 통해 정량적 (성공률, 사회적 준수율) 및 정성적 평가를 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. SocialNav Foundation Model: 사회적 규범 이해와 사회적 준수 궤적 생성을 통합한 최초의 계층적 파운데이션 모델.
2. SAFE-GRPO RL Framework: 사회적 준수 행동을 명시적으로 장려하는 보상 메커니즘을 갖춘 최초의 흐름 기반 강화학습 프레임워크.
3. SocNav Dataset & Benchmark: 700 만 개 샘플의 대규모 인지 - 행동 데이터셋과 고충실도 평가 플랫폼을 공개하여 사회적 지능 항법 연구의 기반을 마련했습니다.

4. 실험 결과 (Results)

• CityWalker 벤치마크 (Open-Loop):
  • 기존 SOTA 방법 (GNM, ViNT, NoMaD, CityWalker) 대비 모든 시나리오에서 **MAOE(최대 평균 방향 오차)**가 현저히 낮았습니다.
  • 특히 회전 (Turn) 과 횡단 (Crossing) 시나리오에서 인간의 보행 패턴과 가장 유사한 성능을 보였습니다.
• SocNav 벤치마크 (Closed-Loop):
  • 성공률 (SR): 86.1% (기존 2 위인 CityWalker 대비 +38.3%p 향상).
  • 사회적 준수율 (DCR/TCR): 각각 82.5%, 82.9% 로, 기존 최상위 방법 대비 2 배 이상 향상되었습니다.
  • 정성적 결과: SocialNav 는 인도와 횡단보도를 준수하는 반면, 기존 방법은 더 짧지만 사회적 규범을 위반하는 경로 (잔디, 차도 등) 를 선택하거나 장애물과 충돌하는 경향이 있었습니다.
• 실제 로봇 배포 (Real-World):
  • Unitree Go2 로봇에서 85% 의 성공률을 기록했습니다 (기존 CityWalker 62.5% 대비 우월).
  • 복잡한 사회적 환경 (거리 횡단, 쇼핑몰 등) 에서 실시간 (5Hz 이상) 으로 작동하며 안전하고 사회적 규범을 준수하는 행동을 보였습니다.

5. 의의 및 결론 (Significance)

• 사회적 지능의 진전: 로봇이 단순히 "어떻게 이동할지"뿐만 아니라 "어떻게 이동해야 하는지 (규범 준수)"를 이해하고 추론할 수 있는 능력을 입증했습니다.
• 학습 패러다임의 전환: 단순 모방 학습을 넘어, 강화학습과 흐름 매칭을 결합하여 사회적 규범의 인과적 구조를 학습하는 새로운 접근법을 제시했습니다.
• 실용성: 실제 로봇 배포에서 높은 성공률과 사회적 안전성을 동시에 확보하여, 로봇이 인간이 거주하는 복잡한 환경에 안전하게 통합될 수 있는 가능성을 열었습니다.

이 연구는 로봇이 물리적 효율성뿐만 아니라 인간 중심의 사회적 기대에 부응하는 진정한 "사회적 지능 (Social Intelligence)"을 갖춘 신체화된 에이전트로 발전하는 중요한 이정표입니다.