WalkGPT: Grounded Vision-Language Conversation with Depth-Aware Segmentation for Pedestrian Navigation

이 논문은 보행자 내비게이션을 위해 언어 추론과 분할을 통합하고 깊이 정보를 고려한 새로운 모델 'WalkGPT'와 대규모 벤치마크 'PAVE'를 제안하여, 기존 대형 비전 - 언어 모델의 한계를 극복하고 접근성 가이드의 정확성을 높이는 방법을 제시합니다.

핵심

보행자를 위한 AI 가이드 'WalkGPT': 길을 안내하는 똑똑한 눈과 귀

이 논문은 **'WalkGPT'**라는 새로운 인공지능을 소개합니다. 이 AI 는 단순히 사진을 보고 "이건 나무야, 저건 차야"라고 말하는 것을 넘어, **시각장애인이나 보행자가 길을 걸을 때 "이 길은 안전할까? 장애물은 얼마나 멀리 있을까?"**라고 물으면, 마치 옆에 있는 친절한 안내원이 되어 상세하고 정확한 답변을 해줍니다.

기존의 AI 들은 사진을 보고 설명할 때 종종 "없는 물건을 있는 것처럼 말하거나 (환각)", "거리감을 잘 못 잡는" 문제가 있었습니다. WalkGPT 는 이 문제를 해결하기 위해 세 가지 핵심 기술을 결합했습니다.

---

1. WalkGPT 가 해결하려는 문제: "눈이 멀지 않았는데도 길을 잃는 이유"

상상해 보세요. 당신이 스마트폰으로 길을 안내받는 AI 를 사용한다고 가정해 봅시다.

• 기존 AI: "저기 나무가 있어요." (하지만 그 나무가 길가 1 미터 앞에 있는지, 100 미터 뒤에 있는지 모릅니다.)
• WalkGPT: "저기 나무가 있어요. 그 나무는 당신으로부터 1.2 미터 앞에 있습니다. 그리고 그 옆의 보도는 0.5 미터 떨어져 있어 걸을 수 있지만, 그 나무 뒤쪽은 장애물이 있어 피해야 합니다."

기존 AI 는 '무엇 (What)'은 잘 말하지만 '어디에 (Where)'와 '얼마나 멀까 (How far)'를 잘 모릅니다. WalkGPT 는 이 **거리감 (Depth)**과 **정확한 위치 (Grounding)**를 동시에 이해하도록 설계되었습니다.

2. WalkGPT 의 비밀 무기: 세 가지 핵심 기술

WalkGPT 는 마치 고급 카메라 렌즈, 정밀한 지도 제작자, 철저한 번역가가 합쳐진 것과 같습니다.

① MSQP (멀티 스케일 쿼리 프로젝터): "고화질 렌즈와 망원경의 조합"

• 비유: 일반적인 AI 는 사진을 한 번만 보고 전체적인 느낌만 잡습니다. 하지만 WalkGPT 는 사진을 여러 번, 여러 배율로 봅니다.
  • 망원경 (Zoom in): 멀리 있는 건물의 창문 하나하나를 자세히 봅니다.
  • 광각 (Zoom out): 전체 길의 흐름과 구조를 파악합니다.
• 효과: 이 기술은 AI 가 멀리 있는 장애물과 가까이 있는 보도를 동시에 정확히 구분하게 해줍니다. 마치 고화질 카메라로 멀리 있는 사물도 또렷하게 보면서도 전체 풍경을 놓치지 않는 것과 같습니다.

② CTP (보정된 텍스트 프로젝터): "번역가의 정밀한 교정"

• 비유: AI 가 "나무"라고 말할 때, 그 단어가 사진 속의 실제 나무와 정확히 연결되도록 도와주는 역할입니다.
• 문제: 기존 AI 는 "나무"라고 말하면 사진 어딘가에 있는 나무를 가리키지만, 그 위치가 흐릿할 때가 많습니다.
• 해결: WalkGPT 는 **Region Alignment Loss(영역 정렬 손실)**라는 기술을 써서, AI 가 말하는 "나무"라는 단어가 사진 속 실제 나무 픽셀과 완벽하게 일치하도록 훈련시킵니다. 마치 번역가가 "나무"를 번역할 때, 원문 사진의 나무 위치를 정확히 가리키는 화살표와 함께 번역하는 것과 같습니다.

③ PAVE (데이터셋): "보행자를 위한 거대한 훈련 교재"

• 비유: WalkGPT 가 똑똑해지려면 수많은 연습이 필요합니다. 연구진은 PAVE라는 새로운 데이터셋을 만들었습니다.
  • 내용: 4 만 개 이상의 실제 보행자 시점 사진들입니다.
  • 특징: 단순히 "나무"라고 적힌 게 아니라, **"나무는 1.2 미터 앞에 있고, 보도는 0.5 미터 앞에 있으며, 이 길은 휠체어가 지나기 어렵다"**는 식의 거리 정보와 접근성 정보가 포함된 정답이 함께 있습니다.
  • 효과: 이 교재로 훈련한 AI 는 실제 길을 걸을 때 거리감을 정확히 느끼고, 장애물을 피하는 법을 배웁니다.

3. WalkGPT 는 어떻게 작동할까요? (실제 사용 예시)

당신이 스마트폰 카메라로 길을 비추며 "이 길이 걷기 편한가요?"라고 물어본다고 상상해 보세요.

1. 입력: WalkGPT 는 당신의 시선 (사진) 과 질문을 받습니다.
2. 분석:
   • 시각 분석: "아, 저기 보도가 있고, 오른쪽에 차가 멈춰 있네. 왼쪽에는 나무가 있구나."
   • 거리 계산: "보도는 0.5 미터, 차는 5.8 미터, 나무는 15 미터 앞에 있네."
   • 접근성 판단: "보도는 평평해서 걷기 좋지만, 차가 길가에 서 있어서 좁아. 휠체어는 힘들겠네."
3. 출력:
   • 말 (언어): "이 길은 보도가 있어 걷기 편하지만, 오른쪽에 차가 서 있어 좁습니다."
   • 시각 (마스크): 화면에 보도 부분은 초록색, 차와 장애물은 빨간색으로 표시해 줍니다.
   • 거리: "보도는 0.5 미터, 차는 5.8 미터 앞에 있습니다."라고 숫자로 알려줍니다.

4. 왜 이것이 중요한가요?

이 기술은 시각장애인이나 보행이 불편한 노인에게 큰 도움이 됩니다.

• 안전: "앞에 계단이 있다"는 말보다 "계단이 2 미터 앞에 있고, 높이는 15cm 입니다"라는 정보가 훨씬 안전합니다.
• 신뢰: AI 가 없는 물건을 만들어 말하거나 (환각), 거리를 잘못 판단하는 실수를 줄여줍니다.
• 자립: 복잡한 도시 환경에서도 스스로 길을 찾아갈 수 있는 힘을 줍니다.

요약

WalkGPT는 단순히 사진을 보는 AI 가 아니라, **사진 속 사물의 위치와 거리를 정확히 계산하고, 그 정보를 바탕으로 보행자에게 안전하고 정확한 길 안내를 해주는 '똑똑한 안내견'**과 같습니다.

기존의 AI 가 "저기 뭐가 있어요?"라고만 알려줬다면, WalkGPT 는 **"저기 2 미터 앞에 장애물이 있으니 조심하세요, 그 옆의 길은 안전하니 따라가세요"**라고 구체적으로 안내해 주는 것입니다. 이는 AI 가 우리 일상의 안전과 접근성을 혁신적으로 바꿀 수 있는 중요한 첫걸음입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 보행자, 특히 이동 장애가 있는 사람들을 위한 접근성 (accessibility) 이 보장된 보행 경로 안내는 복잡한 도시 환경에서 필수적입니다.
• 기존 모델의 한계:
  • 기존 대규모 비전 - 언어 모델 (LVLMs) 은 시각적 내용을 설명할 수 있지만, 명시적인 공간적 근거 (grounding) 가 부족하여 객체 환각 (hallucination) 이 발생하거나 깊이 (depth) 추론이 부정확합니다.
  • 기존 공간 인식 모델들은 종종 사용자가 직접 시각적 단서 (anchor points) 를 제공해야 하거나, 깊이 정보를 예측하지 못해 실제 보행 안내에는 실용성이 떨어집니다.
  • 기존 Grounded LVLM 들은 2D 분할 마스크를 제공하지만, 상대적 거리와 3 차원 공간 계층 구조를 이해하지 못해 안전한 보행 경로 판단에 한계가 있습니다.
• 핵심 문제: 복잡한 도시 환경에서 보행자의 시점 (pedestrian-view) 으로 접근 가능한 경로와 위험 요소를 식별하고, 이를 분할 마스크 (segmentation masks) 와 깊이 정보 (depth estimation) 를 결합하여 대화형으로 안내할 수 있는 모델은 존재하지 않았습니다.

2. 제안 방법론: WalkGPT (Methodology)

WalkGPT 는 언어 추론과 분할을 단일 아키텍처로 통합한 Pixel-Grounded LVLM입니다. 보행자 시점 이미지와 탐색 질의 (query) 를 입력받아, 접근 가능/위험 요소를 분할 마스크로 표시하고 상대적 거리를 추정하는 대화형 응답을 생성합니다.

핵심 아키텍처 구성 요소

1. 공유 픽셀 인코더 (Shared Pixel Encoder):
   • SAM (Segment Anything Model) 의 ViT-H 기반 인코더를 사용하여 텍스트 생성과 마스크 예측을 위한 일관된 시각적 근거를 제공합니다.
2. 다중 스케일 쿼리 프로젝터 (Multi-Scale Query Projector, MSQP):
   • 역할: 픽셀 인코더의 임베딩을 언어 공간에 정렬된 이미지 토큰으로 변환합니다.
   • 특징: 표준 MLP 와 달리, 다양한 공간 계층 (Scale 1~4 및 전역 평균) 에서 시각적 특징을 집계합니다.
   • 메커니즘: 분할 인식 게이트 (Seg-Aware Gate) 를 통해 구조와 에지가 풍부한 영역을 강조하고, 학습 가능한 쿼리 (Learnable Queries) 를 통해 크로스 어텐션을 수행하여 세부 사항과 전체 장면 맥락을 압축된 토큰으로 만듭니다.
3. 보정된 텍스트 프로젝터 (Calibrated Text Projector, CTP):
   • 역할: 생성된 응답 내의 <SEG> 토큰을 픽셀 디코더가 이해할 수 있는 시각적 공간으로 매핑합니다.
   • 특징: 단순 선형 프로젝션이 아닌, 토큰의 다양성을 유지하기 위해 편향 (bias) 을 추가한 MLP 를 통해 각 토큰을 여러 서브-임베딩으로 확장합니다.
4. 영역 정렬 손실 (Region Alignment Loss):
   • 목적: 텍스트 임베딩과 해당 시각적 영역 간의 일관성을 강제하여 의미론적 정합성을 높입니다.
   • 방식: InfoNCE 손실을 사용하여 <SEG> 토큰의 임베딩이 해당 객체 영역의 시각적 특징과 밀접하게 연결되도록 하고, 관련 없는 영역과는 멀어지도록 학습시킵니다.
5. 구조화된 토큰 (Structured Tokens):
   • <assessment>: 전체 접근성 평가.
   • <p> 및 <SEG>: 객체 식별 및 분할 마스크 생성을 위한 프롬프트.
   • <distance>: 객체별 상대적 거리 (미터 단위) 를 텍스트로 표현.

3. 주요 기여 (Key Contributions)

1. WalkGPT 모델 개발: 보행자 접근성을 위한 최초의 Grounded Spatial Reasoning LVLM을 제안했습니다. 이는 대화, 분할, 깊이 추론을 단일 Next-Token 예측 프로세스로 통합합니다.
2. PAVE 데이터셋 구축:
   • Pedestrian Accessibility and Visual-grounded Evaluation (PAVE) 라는 대규모 VQA 데이터셋을 공개했습니다.
   • 41,000 개의 보행자 시점 이미지 (SANPO 데이터셋 기반) 에 접근성 관련 질문과 깊이 정보가 포함된 구조화된 답변을 쌍으로 구성했습니다.
   • 실제 환경의 왜곡 (반사, 모션 블러 등) 을 포함하여 현실적인 난이도를 제공합니다.
3. 아키텍처 혁신: MSQP 와 CTP 를 통해 픽셀 수준의 정밀한 근거 (grounding) 와 깊이 추론을 동시에 수행하는 새로운 아키텍처를 제시했습니다.
4. 성능 입증: 보행자 환경에서 접근성 인식 AI 를 위한 새로운 벤치마크를 설정하고, 기존 모델 대비 뛰어난 성능을 입증했습니다.

4. 실험 결과 (Results)

PAVE 데이터셋의 검증 세트 및 RefCOCO 등 외부 벤치마크에서 평가되었습니다.

• Grounded Navigation Conversation:
  • WalkGPT (13B) 는 기존 SOTA 모델 (PixelLM-FT, OMG-LLaVA-FT 등) 보다 mIoU(분할 정확도) 에서 10% 이상, Depth Accuracy(깊이 정확도) 에서 25% 이상 향상된 성능을 보였습니다.
  • Zero-shot 기저 모델들은 깊이 추론을 전혀 수행하지 못했으나, WalkGPT 는 명확한 거리 정보를 생성했습니다.
• 참조 표현 분할 (Referring Expression Segmentation, RES):
  • RES 전용으로 훈련되지 않았음에도 RefCOCO, RefCOCOg 에서 LISA, PixelLM 보다 3~4% 높은 정확도를 기록하여 강력한 일반화 능력을 입증했습니다.
• 할루시네이션 감소:
  • 객체 환각 지표 (CHAIRi) 가 기존 LVLM 들보다 현저히 낮고, 객체 커버리지 (Cover) 는 83.66% 로 매우 높았습니다. 이는 시각적 근거에 기반한 언어 생성이 할루시네이션을 효과적으로 억제함을 의미합니다.
• Ablation Study:
  • MSQP 를 단순 MLP 로 대체하거나, 다중 스케일 기능을 제거하거나, CTP 와 대비 손실 (Contrastive Loss) 을 제거할 경우 모든 성능 지표 (텍스트, 분할, 깊이) 가 유의미하게 저하되었습니다. 이는 제안된 각 모듈의 필수성을 입증합니다.

5. 의의 및 결론 (Significance)

• 접근성 중심의 AI: 이동 장애가 있는 사람들을 포함한 모든 보행자를 위한 안전하고 신뢰할 수 있는 내비게이션 시스템의 새로운 패러다임을 제시했습니다.
• 공간적 추론의 진화: 언어 추론과 공간적 근거 (픽셀 분할, 깊이) 를 긴밀하게 결합하여, 복잡한 도시 환경에서의 실제 적용 가능성을 높였습니다.
• 데이터 및 벤치마크: PAVE 데이터셋은 향후 접근성 인식 및 보행자 내비게이션 연구에 필수적인 자원으로 작용할 것입니다.
• 한계 및 향후 과제: 반사면이나 모션 블러로 인한 깊이 추론 오류가 발생할 수 있으며, 향후 더 정교한 깊이 추정 및 다양한 도메인에서의 일반화 연구가 필요하다고 언급했습니다.

요약하자면, WalkGPT 는 시각적 분할, 깊이 정보, 자연어 대화를 통합하여 보행자가 장애물을 피하고 안전한 경로를 찾을 수 있도록 돕는 차세대 지능형 보조 시스템의 핵심 기술로 평가됩니다.