ViLAM: Distilling Vision-Language Reasoning into Attention Maps for Social Robot Navigation

이 논문은 대규모 시각 - 언어 모델 (VLM) 의 사회적 추론 능력을 중간 계층의 주석 맵으로 증류하여 사회적 준거성을 갖춘 로봇 항법을 위한 공간 비용 지도를 생성하고, 이를 통해 기존 방법 대비 성공률을 14.2% 에서 50% 까지 향상시킨 'ViLAM'이라는 새로운 방법을 제안합니다.

핵심

이 논문은 **"ViLAM"**이라는 새로운 로봇 기술을 소개합니다. 이를 쉽게 이해하기 위해 **'똑똑한 로봇이 어떻게 사람들과 자연스럽게 어울려 걷는 법을 배우는가'**라는 이야기로 풀어보겠습니다.

1. 문제: 로봇은 왜 사람들과 부딪힐까?

기존의 로봇들은 길을 찾을 때 **'수학 공식'**이나 **'센서'**에만 의존했습니다. 마치 눈이 가린 상태에서 막대기로 길을 더듬는 것처럼요.

• 문제점: 사람에게는 "여기는 사람이 지나갈 거야", "저기서 멈추는 게 예의야" 같은 사회적 예절이 있습니다. 하지만 기존 로봇은 사람을 단순한 '장애물'로만 인식해서, 사람 무리를 뚫고 지나가거나 길을 막는 등 어색하고 위험한 행동을 하곤 했습니다.

2. 해결책: ViLAM (비람) 이란 무엇인가?

저자들은 **"거대한 두뇌 (대형 AI)"**와 **"빠른 반사신경 (작은 로봇)"**을 결합하는 방법을 고안했습니다.

• 거대한 두뇌 (VLM): GPT-4 같은 초대형 AI 는 세상을 보고 "저기 사람이 많으니 피해야 해", "아이들이 뛰어다니는 길은 조심해야 해"라고 매우 똑똑하게 판단할 수 있습니다. 하지만 이 AI 는 무겁고 느려서 로봇에 바로 달면 전기가 다 떨어지고, 로봇이 멈춰서 버립니다.
• 빠른 반사신경 (ViLAM): 그래서 저자들은 이 거대한 AI 의 **'지혜'**를 로봇의 **'눈 (시각)'**에 직접 주입했습니다.

3. 핵심 기술: "주목도 (Attention Map) 를 배워라"

이 기술의 핵심은 **'지식 증류 (Distilling)'**입니다. 마치 요리사 (거대 AI) 가 비법을 요리 견습생 (로봇) 에게 알려주는 과정과 같습니다.

1. 거대 AI 의 눈: 거대 AI 는 사진을 보고 "사람들이 모일 만한 곳 (노란색), 피해야 할 곳 (빨간색)"을 **주목도 지도 (Attention Map)**로 그려냅니다.
2. 지식 전수: ViLAM 은 이 거대 AI 가 그린 지도를 보고, **"아, 여기가 사람들이 모이는구나, 저기서 멈춰야겠구나"**라고 학습합니다.
3. 결과: 이제 로봇은 거대 AI 를 매번 물어볼 필요 없이, 스스로가 그 지도를 보고 사람들과 자연스럽게 길을 비키며 이동할 수 있게 됩니다.

비유하자면:

• 기존 로봇: "장애물 감지! 정지!" (사람을 벽처럼만 봄)
• ViLAM 로봇: "아, 저기 커피를 들고 가는 사람이 있네. 내가 살짝 우회해서 지나가야겠어. 그리고 저 아이는 뛰어다니니까 더 조심해야지." (사람의 의도와 상황을 이해함)

4. 실제 효과: 얼마나 잘할까?

이론만 좋은 게 아니라, 실제 **Husky(개처럼 생긴 바퀴 로봇)**를 가지고 실험했습니다.

• 성공률: 기존 방법들보다 14.2% 에서 50% 까지 성공률이 크게 향상되었습니다.
• 자연스러움: 로봇이 움직이는 궤적을 사람이 직접 조종한 궤적과 비교했을 때, 28.7% 더 비슷해졌습니다. 즉, 사람이 타고 있는 것처럼 자연스럽게 움직인다는 뜻입니다.
• 속도: 무거운 AI 를 매번 호출하지 않아도 되므로, 실시간으로 빠르게 반응할 수 있습니다.

5. 요약

ViLAM은 **"거대하고 똑똑한 AI 의 사회적 지혜를, 작고 빠른 로봇의 눈과 뇌에 주입하는 기술"**입니다.

이 기술 덕분에 로봇은 이제 단순히 "장애물을 피하는 기계"가 아니라, **"사람들과 함께 살아가는 예의 바른 이웃"**이 될 수 있게 되었습니다. 앞으로 병원, 쇼핑몰, 거리에서 로봇이 사람들과 부딪히지 않고 자연스럽게 길을 찾으며 다닐 날이 머지않았습니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 사회적 준수성 부족: 기존 로봇 항법 시스템은 주로 기하학적 경로 계획과 충돌 회피에 중점을 두어, 인간을 단순한 정적/동적 장애물로만 인식합니다. 이로 인해 로봇이 인간 군집을 통과하거나 통로를 막는 등 자연스럽지 않고 사회적 규범을 위반하는 행동을 보일 수 있습니다.
• 대규모 모델의 실시간 배포 한계: 최근 Vision-Language Models (VLMs, 예: GPT-4V, LLaVA) 은 인간의 행동 예측, 사회적 맥락 이해, 시맨틱 추론 능력이 뛰어납니다. 하지만 이러한 모델은 수십억 개의 파라미터를 가지며, 계산 비용이 매우 높고 지연 시간 (latency) 이 길어, 제한된 컴퓨팅 자원을 가진 모바일 로봇에서 실시간으로 실행하기 어렵습니다.
• 데이터 의존성: 기존 사회적 항법 방법들은 전문가 데모나 대규모 인간 주석 데이터에 의존하는 경우가 많아, 보편적인 일반화 능력이 부족하거나 학습 비용이 많이 듭니다.

2. 방법론 (Methodology)

저자들은 **ViLAM (Vision-Language Attention Distillation)**이라는 새로운 방법을 제안합니다. 이는 대규모 VLM 의 추론 능력을 경량화하여 로봇의 실시간 항법에 적용하는 지식 증류 (Knowledge Distillation) 기법입니다.

핵심 아키텍처 및 프로세스

1. 지식 증류 (Knowledge Distillation):

   • Teacher Models: 사전 학습된 비전 - 액션 모델 (VANP) 과 대규모 VLM 을 사용합니다.
   • Student Model: 경량화된 Transformer 기반 모델 (ResNet-50 백본 + LoRA 어댑터).
   • 증류 대상: 모델의 최종 출력 예측이 아닌, **중간 계층의 어텐션 맵 (Attention Maps)**입니다.
     • VANP 는 내재적 (emergent) 으로 학습된 항법 관련 어텐션 맵을 제공합니다.
     • VLM 은 사회적 맥락과 인간 행동을 기반으로 생성한 '사회적 가이드 어텐션 맵'을 제공합니다.

2. 데이터 생성 (Data Generation):

   • SCAND 데이터셋을 기반으로, Chain-of-Thought (CoT) 프롬핑을 통해 VLM 에게 이미지 내의 '전방위 (Frontier)' 영역 (좌, 중앙, 우) 이 얼마나 붐빌지 추론하게 합니다.
   • 이를 통해 오프라인에서 사회적 규범을 반영한 어텐션 맵 ($A_{VLM}$) 을 생성하고 주석으로 사용합니다.

3. 학습 및 손실 함수 (Training & Loss Function):

   • LoRA (Low-Rank Adaptation): 전체 파라미터를 업데이트하지 않고 저랭크 어댑터만 미세 조정하여 효율성을 높입니다.
   • Attention-Guided Loss: 두 가지 목표를 균형 있게 달성하기 위해 Structural Similarity Index (SSIM) Loss를 사용합니다.
     • $L = (1 - \lambda_{VLM}) \cdot L_{SSIM}(A_{ViLAM}, A_{pretrained}) + \lambda_{VLM} \cdot L_{SSIM}(A_{ViLAM}, A_{VLM})$
     • 이 손실 함수는 사전 학습된 모델의 항법 능력과 VLM 의 사회적 추론 능력을 동시에 유지하도록 어텐션 맵을 정제합니다.

4. 사회적 인지 운동 계획기 (Socially Aware Motion Planner):

   • 정제된 어텐션 맵 ($A_{ViLAM}$) 을 **가시성 비용 지도 (Traversability Costmap)**로 사용합니다.
   • Dynamic Window Approach (DWA) 기반의 로컬 플래너를 수정하여, 목표 지점 도달과 사회적 비용 (어텐션 맵 기반) 을 모두 고려한 최적의 선형/각속도 $(v, \omega)$를 계산합니다.

3. 주요 기여 (Key Contributions)

1. 비전 - 언어 추론의 어텐션 맵 증류: 대규모 VLM 과 사전 학습된 비전 - 액션 모델의 지식을 결합하여, 경량 Transformer 모델에 사회적 항법 추론 능력을 전이하는 새로운 어텐션 기반 증류 방법을 제안했습니다.
2. 사회적 가이드 어텐션 미세 조정: SSIM 손실 함수를 도입하여 모델이 사회적 관련 영역을 더 안정적이고 효과적으로 학습하도록 유도했습니다.
3. 실시간 사회적 항법 플래너: 증류된 어텐션 맵을 기반으로 DWA 를 적응형으로 수정하여, 실시간으로 사회적 규범을 준수하는 부드러운 궤적을 생성합니다.
4. 성능 향상: 기존 방법 대비 인간 원격 조종 행동과의 유사성 (Fréchet 거리) 을 28.7% 개선하고, 성공률을 14.2%~50% 향상시켰습니다.

4. 실험 결과 (Results)

• 실험 환경: Clearpath Husky 로봇 (Intel i9, RTX 2080 GPU) 을 사용하여 실내/실외 4 가지 복잡한 사회적 시나리오에서 평가했습니다.
• 비교 대상: DWA (기존), CoNVOI (VLM 기반), VANP (사전 학습 모델).
• 주요 성과:
  • 성공률 (Success Rate): 모든 시나리오에서 ViLAM 이 가장 높은 성공률 (최대 100%) 을 기록했습니다. 특히 DWA 는 장애물 (낮은 턱, 의자 등) 인식 실패로 인해 성공률이 낮았습니다.
  • 궤적 유사성 (Fréchet Distance): 인간이 조종한 로봇 궤적과 ViLAM 의 궤적 간 거리가 가장 짧아, 인간과 유사한 자연스러운 행동을 보였습니다.
  • 실시간성: VLM 을 실시간으로 호출하지 않고 증류된 모델을 사용하므로, CoNVOI 보다 훨씬 빠른 응답 속도를 보였습니다 (약 20Hz).
  • 시나리오별 분석:
    • 동적 인간: 인간의 이동 방향을 예측하여 불필요한 우회나 급격한 궤적 변경 없이 부드럽게 통과했습니다.
    • 저조도/복잡한 환경: VANP 는 조명 변화에 취약했으나, ViLAM 은 VLM 의 시맨틱 지식을 통해 환경 이해도를 높여 충돌을 줄였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: 대규모 VLM 의 높은 추론 능력을 유지하면서도, 엣지 디바이스 (로봇) 에서 실시간으로 실행 가능한 경량 모델을 제공함으로써, 사회적 로봇 항법의 실용성을 크게 높였습니다.
• 새로운 패러다임: 단순히 VLM 을 '질문 - 답변' 방식으로 사용하는 것을 넘어, VLM 의 내부 표현 (어텐션) 을 증류하여 로봇의 인지 능력을 근본적으로 향상시키는 접근법을 제시했습니다.
• 미래 전망: 현재는 오프라인 학습된 사회적 사전 지식을 사용하지만, 향후 깊이 (Depth) 나 LiDAR 같은 추가 모달리티 통합 및 온라인 적응 전략을 통해 더욱 복잡하고 혼잡한 환경에서도 작동 가능한 시스템을 개발할 계획입니다.

요약하자면, ViLAM은 "무거운 VLM 의 두뇌"를 "가벼운 로봇의 눈 (어텐션)"으로 변환하여, 로봇이 인간과 함께 살아가는 공간에서 안전하고 자연스럽게 이동할 수 있게 하는 혁신적인 기술입니다.