VULCAN: Vision-Language-Model Enhanced Multi-Agent Cooperative Navigation for Indoor Fire-Disaster Response

1. 문제 정의 (Problem Statement)

• 배경: 실내 화재 재난은 연기, 고온, 구조적 불안정성으로 인해 인간의 구조 활동에 치명적인 위협이 됩니다. 최근 홍콩 태포 화재 사례와 같이 초기 대응 단계에서 인간의 접근과 상황 인식이 극도로 제한될 수 있습니다.
• 현황의 한계: 기존의 탐색 및 구조 (SAR) 시스템은 주로 단일 로봇에 의존하거나, 정보 공유가 미비한 다중 로봇 방식을 사용합니다. 또한, 기존 다중 에이전트 협력 항법 시스템은 대부분 시각 (Vision) 기반이며, 정적이고 안전한 실내 환경을 전제로 개발되었습니다.
• 핵심 도전 과제: 화재 환경에서는 다음과 같은 요인들로 인해 기존 시스템의 성능이 급격히 저하됩니다.
  1. 동적 환경 변화: 온도 구배, 화염 확산, 연기 확산으로 인해 통행 가능성과 가시성이 실시간으로 변합니다.
  2. 센서 데이터의 신뢰성 저하: 연기는 RGB, 깊이 (Depth), LiDAR 등 다양한 모달리티의 센서 데이터를 심각하게 왜곡하거나 가립니다 (Fig. 2 참조).
  3. 지연 민감성 및 위험 회피: 구조 임무는 실시간 조정이 필수적이며, 위험을 인지하지 못한 비효율적인 경로 탐색은 에이전트의 안전과 임무 실패로 직결됩니다.

2. 방법론 (Methodology)

저자들은 화재 재난 대응을 위해 VULCAN(Vision-Language-Model Enhanced Multi-Agent Cooperative Navigation) 이라는 새로운 프레임워크를 제안했습니다. 이는 다중 모달 감지와 비전 - 언어 모델 (VLM) 을 기반으로 한 위험 인식형 협력 항법 시스템입니다.

A. 시스템 아키텍처 (Fig. 3)

시스템은 크게 다중 모달 감지 및 융합, 글로벌 맵 구성, VLM 기반 글로벌 플래너, 위험 인식 로컬 플래너로 구성됩니다.

1. 다중 모달 감지 및 융합 (Multi-modal Perception & Fusion):

   • 각 에이전트는 RGB-D 카메라, 열화상 카메라, mmWave 레이더를 동시에 사용합니다.
   • VLM 기반 융합 연산자를 통해 시각적 모달리티 (RGB, Depth, Thermal) 를 융합하여 연기를 투과한 듯한 '강화된 시각 표현 (Enhanced Visual Representation)'을 생성합니다.
   • mmWave 레이더는 연기에 강건한 데이터를 제공하여 구조적 정보와 열적 정보를 보완합니다.
   • 생성된 데이터는 3D 포인트 클라우드에 온도, 연기 밀도, 센서 불확실성 등의 **위험 속성 (Hazard Attributes)**을 포함시켜 로컬 맵을 구성합니다.

2. 글로벌 맵 구성 및 프런티어 위험 평가:

   • 모든 에이전트의 로컬 맵을 통합하여 글로벌 3D 포인트 클라우드를 생성하고, 이를 2D 그리드 맵 (장애물 맵 + 위험 맵) 으로 투영합니다.
   • **프런티어 (Frontier, 탐사되지 않은 영역의 경계)**를 추출하고, 해당 영역의 온도, 연기, 불확실성을 기반으로 **위험 점수 (Risk Score)**를 산정합니다.

3. VLM 기반 글로벌 플래너:

   • **비전 - 언어 모델 (VLM)**을 고수준 플래너로 활용합니다.
   • 입력: 로봇 위치, 프런티어 정보, 위험 리포트 (JSON 형식), 그리고 2D 위험 맵을 시각화한 이미지.
   • 기능: 로봇 간 중복을 줄이고 (탐사 효율성 극대화), 위험이 낮은 프런티어를 우선적으로 할당하여 (안전성 극대화) 각 로봇에게 장기적인 탐사 목표를 부여합니다.

4. 위험 인식 Fast Marching Method (FMM) 로컬 플래너:

   • 할당된 목표를 바탕으로 실제 이동 경로를 생성합니다.
   • 기존 FMM 의 전파 속도를 **위험 맵 (Hazard Map)**에 따라 조절합니다. 위험도가 높은 지역은 전파 속도를 늦추거나 통과를 억제하여, 기하학적으로 비어있더라도 위험한 지역을 피하는 경로를 생성합니다.

3. 주요 기여 (Key Contributions)

1. VULCAN 프레임워크 제안: 화재로 인한 심각한 감지 저하와 환경적 위험에도 불구하고 높은 항법 효율을 유지하는 위험 인식형 다중 에이전트 협력 항법 프레임워크를 최초로 제안했습니다.
2. 실사 화재 시뮬레이션 벤치마크 확장: Habitat-Matterport3D 벤치마크에 물리적으로 현실적인 화재 시나리오 (연기 확산, 열적 위험, 센서 저하) 를 추가하여 평가 환경을 구축했습니다.
3. 성능 저하 원인 분석: 기존 다중 에이전트 항법 방법들이 화재 환경에서 실패하는 근본적인 원인 (감지 실패, 비효율적 탐사, 위험 무시 경로 계획) 을 체계적으로 분석하고 시각화했습니다.

4. 실험 결과 (Results)

• 평가 환경: 정상 실내 환경과 시뮬레이션된 화재 환경 (Habitat-Matterport3D 기반) 에서 Greedy, Cost-Utility, Random Sample, Co-NavGPT(VLM 기반) 등 기존 방법들과 비교 평가했습니다.
• 주요 지표:
  • NS (Steps): 탐사 효율성 (작을수록 좋음).
  • SR (Success Rate): 성공률.
  • SPL (Success weighted by Path Length): 경로 길이 가중 성공률.
  • CHE (Cumulative Hazard Exposure): 누적 위험 노출량 (작을수록 안전).
• 결과 분석:
  • 정상 환경: VLM 기반 방법 (Co-NavGPT) 이 높은 성공률과 SPL 을 보였습니다.
  • 화재 환경: 기존 방법들은 성능이 급격히 저하되었습니다. 특히 **CHE(위험 노출)**가 크게 증가하여 위험한 지역을 통과하거나, 연기로 인한 감지 실패로 임무에 실패했습니다.
  • 실패 모드 (Fig. 5):
    1. 감지 실패: 연기로 인해 객체 감지 신뢰도가 급감하거나 (Missed detection), 잘못된 객체를 감지 (False positive).
    2. 비효율적 탐사: 높은 감지 불확실성으로 인해 에이전트가 비효율적으로 움직이며 맵을 확장하지 못함.
    3. 위험한 경로 계획: 위험 맵을 고려하지 않아 고온/연기 밀집 지역을 통과하는 경로 생성.

5. 의의 및 결론 (Significance)

• 실용적 가치: VULCAN 은 화재와 같은 극한 환경에서 인간의 생명을 구하기 위한 로봇 시스템의 핵심 기술인 '안전한 협력 탐사'를 실현할 수 있는 가능성을 제시했습니다.
• 기술적 통찰: 단순한 시각 기반 항법이 아닌, 다중 모달 센서 융합과 VLM 의 추론 능력, 그리고 위험 인식 계획이 결합되어야만 동적이고 위험한 재난 환경에서 신뢰할 수 있는 SAR 임무가 수행됨을 증명했습니다.
• 향후 과제: 시뮬레이션 환경에서의 검증 단계를 넘어, 실제 화재 환경에서의 VULCAN 구현 및 평가를 통해 시스템의 견고성을 더욱 강화할 예정입니다.

이 논문은 재난 대응 로봇 기술의 발전 방향을 '단순한 탐색'에서 '위험을 인지하고 협력하는 지능형 탐색'으로 전환해야 함을 강조하는 중요한 연구로 평가됩니다.