기술 요약: Floorplan2Guide

문제 제기

실내 내비게이션은 방향 감각과 공간 정보 획득에 심각한 장벽에 직면한 시각 장애인 및 저시력자 (BLV) 에게 여전히 중요한 과제로 남아 있습니다. 인프라 기반 솔루션 (예: BLE 비콘, RFID) 은 정밀도를 제공하지만, 비용이 많이 드는 설치와 유지보수가 필요합니다. 반면, 경량화된 비전 기반 딥러닝 접근법은 새로운 환경으로의 일반화가 부족하여 특정 배치에 대한 광범위한 재학습이 필요하며, 동적인 조명이나 이전에 보지 못한 구조물에 적응하지 못하는 경우가 많습니다. 또한, 전통적인 평면도 파싱 방법은 기하학적 휴리스틱과 수동 전처리에 의존하여 노동 집약적이며 오류 발생 가능성이 높습니다. 본 연구가 해결하는 핵심 과제는 무거운 인프라 의존 없이 신뢰할 수 있는 경로 탐색 및 상황 인식 내비게이션을 가능하게 하기 위해 정적 건축 평면도 이미지로부터 견고한 공간 지식 그래프를 자동으로 구축하는 것입니다.

방법론

제안된 Floorplan2Guide 프레임워크는 대형 언어 모델 (LLM) 과 멀티모달 대형 언어 모델 (MLLM) 을 활용하여 정적 평면도 이미지를 기계가 읽을 수 있고 탐색 가능한 지식 그래프로 변환합니다. 이 시스템은 구조화된 다단계 파이프라인을 통해 작동합니다:

1. 전처리 및 의미론적 추출:

   • 고품질 평면도 이미지는 PaddleOCR, EasyOCR, Tesseract 와 같은 도구를 사용하여 광학 문자 인식 (OCR) 을 수행하여 텍스트 데이터 (방 번호, 라벨 등) 를 추출합니다.
   • 이 텍스트 데이터는 시각 입력과 결합되어 모델이 배치를 이해하는 능력을 풍부하게 합니다.

2. 공간 지식 그래프 생성:

   • MLLM(예: GPT-4o, Claude 3.7 Sonnet, LLaMA 3.2) 은 평면도 이미지와 추출된 텍스트를 처리하여 구조화된 그래프 $G = (V, E, A, M_\eta, W, S)$를 생성합니다.
   • 노드 ($V$): 개별 방, 교차로 또는 장소를 나타내며, 기하학적 중심점, 의미론적 속성 (방 유형) 및 메타데이터를 저장합니다.
   • 에지 ($E$): 노드 간의 이동 가능성과 인접성을 인코딩합니다 (예: 문, 통로).
   • 가중치 ($W$): 실제 세계 치수로 스케일링된 거리 및 접근성 정보를 포착합니다.
   • 시스템은 노드 맵 추출과 연결성 검증을 안내하기 위해 시스템 프롬프트를 활용하며, 추출 오류를 최소화하기 위해 정제 단계를 반복합니다.

3. 내비게이션 지시문 생성:

   • LLM 이 원시 이미지를 해석하는 직접적인 시각 추론과 달리, 이 접근법은 구조화된 지식 그래프를 LLM 에게 입력합니다.
   • LLM 은 그래프의 명시적 위상 및 의미론적 관계를 활용하여 단계별, 사람이 읽을 수 있는 내비게이션 지시문 (예: "15 미터 걷고 왼쪽으로 회전") 을 생성합니다.
   • 시스템은 전통적인 최단 경로 알고리즘에만 의존하기보다 그래프 기반의 최적화된 방향 생성을 우선시하며, BLV 사용자에게 적합한 자연어 설명을 목표로 합니다.

4. ArUco 마커를 통한 위치 확인:

   • 디지털 그래프와 물리적 환경 간의 간극을 메우기 위해 시스템은 입구, 교차로, 방 등 주요 위치에 배치된 ArUco 식별 마커를 사용합니다.
   • 사용자는 카메라가 장착된 장치를 통해 이러한 마커를 스캔합니다. 마커의 고유 ID 는 지식 그래프의 특정 노드와 연결되어 사용자의 위치를 파악할 수 있게 합니다.
   • 시스템은 피드백을 제공합니다: 사용자가 올바른 경로에 있으면 마지막 지시문을 반복하고, 경로에서 벗어나면 경고합니다. 본 연구는 동적 재경로 설정이 아닌 위치 확인 체크포인트로 마커를 사용합니다.

주요 기여

1. 새로운 파싱 프레임워크: 공간 정보를 지식 그래프로 변환하여 평면도를 파싱하는 기초 모델을 활용한 솔루션을 도입함으로써, 정확한 의미론적 추출과 내비게이션을 위한 구조화된 표현을 가능하게 합니다.
2. 퓨샷 학습 통합: 퓨샷 학습이 제로샷 학습에 비해 내비게이션 성능 (성공률로 측정) 을 크게 향상시킨다는 것을 입증하여, 모델 미세 조정 없이 공간 추론 일관성을 강화했습니다.
3. 실제 환경 검증: UMBC 수학 및 심리학 빌딩 (MP-1) 의 실제 환경에서 시스템을 성공적으로 검증하여, 단계 수와 거리를 명시한 그래프 기반 지시문이 BLV 사용자에게 효과적임을 보여주었습니다.

실험 결과

이 시스템은 CVC-FP 데이터셋(표준 벤치마크) 과 UMBC 의 실제 환경에서 평가되었습니다. 세 가지 모델 (GPT-4o, Claude 3.7 Sonnet, LLaMA 3.2 Vision-Instruct 11B) 이 테스트되었습니다.

• 퓨샷 학습의 영향:

  • CVC-FP 데이터셋에서 모든 모델은 퓨샷 프롬프팅을 통해 성능이 향상되었습니다. Claude 3.7 Sonnet은 짧은 경로에서 84.6%, 중간 경로에서 76.9%, 긴 경로에서 **61.5%**의 최고 성공률을 달성했습니다.
  • 실제 환경 평가 (MP-1) 에서 5-shot 프롬프팅을 적용한 Claude 3.7 Sonnet은 짧은 경로에서 92.31%, 중간 경로에서 76.92%, 긴 경로에서 **61.54%**의 최고 정확도를 기록했습니다.
  • 일반적으로 퓨샷 학습은 복잡한 다턴 경로에서 특히 제로샷 대비 성공률 (SR) 을 6~9% 향상시켰습니다.

• 그래프 기반 대 직접 시각 추론:

  • 비교 실험 (실험 III) 은 명시적 그래프 표현이 직접적인 시각 추론 (제로샷, 중간 그래프 없음) 에 비해 미치는 영향을 평가했습니다.
  • 그래프 기반 공간 구조화는 모든 모델의 성능을 향상시켰습니다. 예를 들어, Claude 3.7 Sonnet은 그래프를 사용할 때 짧은 경로에서 **76.92%**에서 **84.62%**로 향상되었습니다.
  • 전반적으로 그래프 기반 접근법은 직접적인 시각 추론보다 15.4% 높은 성공률을 기록하여, 명시적 위상 인코딩이 환각 오류를 줄이고 공간 일관성을 강화함을 확인했습니다.

중요성 및 주장

본 논문은 Floorplan2Guide가 구조화된 공간 데이터와 결합된 LLM 의 추론 능력을 활용함으로써 실내 내비게이션을 위해 더 정밀하고 접근하기 쉬운 솔루션을 제공한다고 주장합니다.

• 인프라 비의존성: 이 시스템은 평면도 이미지와 ArUco 마커를 스캔할 수 있는 카메라가 장착된 장치만 필요로 하여, BLE 비콘과 같은 인프라 집약적 시스템의 높은 비용과 유지보수를 피합니다.
• 향상된 신뢰성: 평면도를 지식 그래프로 변환함으로써 직접적인 시각 추론에서 흔히 발생하는 '환각' 오류를 완화하여 더 신뢰할 수 있는 경로 계획을 제공합니다.
• 사용자 중심 설계: 특정 거리와 단계 수를 포함한 단계별 지시문 생성은 추상적인 방향에 비해 BLV 사용자에게 더 접근하기 쉬운 출력을 제공합니다.
• 확장성: 이 접근법은 평면도가 제공되는 한 환경별 재학습 없이 다양한 환경으로의 일반화 가능성을 보여줍니다.

저자들은 동적 장애물 회피의 부재와 다양한 실제 환경에서의 견고성을 완전히 검증하기 위한 BLV 참가자를 대상으로 한 더 광범위한 사용자 연구의 필요성을 인정합니다. 그러나 결과는 LLM 이 안내하는 그래프 파싱이 보조 실내 내비게이션을 위한 실현 가능하고 유망한 방향임을 시사합니다.