Do VLMs See What Sensors Feel? A Scalable Expert-Guided Design for Wheelchair Accessibility Assessment from Street View

기술 요약: VLM은 센서가 느끼는 것을 보는가? 스트리트 뷰를 활용한 휠체어 접근성 평가를 위한 확장 가능한 전문가 가이드 설계

문제 정의

건축 환경에서 휠체어 접근성을 평가하는 것은 본질적으로 어렵습니다. 이는 실제 이동성이 분산되어 있고, 맥락에 의존하며, 종종 일시적인 장애물(예: 고르지 않은 보도, 경로 차단, 일시적인 공사 등)에 의해 제약받기 때문입니다. 이러한 요소들은 대규모로 포착하기 매우 어렵습니다. 현재의 평가 방식은 노동 집약적인 수동 감사나 정적인 GIS 인벤토리에 크게 의존하고 있으며, 이는 휠체어 사용자의 역동적이고 체화된 경험을 포착하지 못한다는 한계가 있습니다. 시각-언어 모델(VLM)이 도시 인지 측면에서 스트리트 뷰 이미지를 해석하는 데 유망한 가능성을 보여주었으나, 이러한 모델들이 '장시간 체류 시간(prolonged dwelling time)'과 같은 행동 신호와 관련하여 물리적 이동의 현실과 일치하는 방식으로 접근성 장애물을 식별할 수 있는지는 여전히 불분나 명확하지 않습니다.

방법론

본 연구는 Google Street View(GSV) 이미지를 사용하여 휠체어 접근성을 평가하고 이를 실제 센서 데이터와 비교하기 위한 전문가 가이드 검색 증강 생성(RAG) 프레 Framework를 제안합니다.

1. 데이터 수집 및 정답(Ground Truth):

   • 센서 데이터: 연구진은 플로리다 대학교(UF) 캠퍼스의 고유동 경로를 이동하는 수동 휠체어의 GPS 궤적을 수집했습니다. "체류 시간"(휠체어가 장시간 멈춘 위치)은 이동 마찰(mobility friction)에 대한 행동적 대리 지표로 사용되었습니다. 데이터셋은 1,253개의 체류 지점과 720개의 비체류 지점에 연결된 407개의 고유한 GSV 위치를 포함합니다.
   • 시각 데이터: 각 위치에 대해 8개의 파노라마 각도에서 GSV 이미지를 추출했습니다.

2. VLM 파이프라인 설계:

   • 검색 증강 추론(Retrieval-Augmented Reasoning): 시스템은 ADA(미국 장애인법) 표준, UF 캠퍼스 설계 가이드라인, PROWAG 및 전문가 유도 휴리스틱에서 추출하여 정제된 지식 베이스로부터 관련 접근성 지침을 검색합니다.
   • 프롬프팅 전략: 파이프라인은 단일 질문 프롬프트 대신, 표면 상태, 경로 너비, 장애물, 연석 경사로 등을 다루는 10개의 하위 질문을 포함한 구조화된 다중 질문 접근 방식을 채택합니다.
   • 모델 변체: 연구에서는 다양한 크기(2B ~ 78B 파라미터)와 구성(Base vs. RAG-augmented; 투영된 원근법 vs. 전체 파노라마)에 걸쳐 여러 VLM(InternVL3 및 Qwen3 제품군)을 평가했습니다.
   • 출력: 모델은 관찰 가능한 시각적 증거에 기반한 구조화된 접근성 점수(10–50)와 그 근거를 생성합니다.

3. 평가 지표:

   • 상관관계: 체류 시간(마찰)과 VLM 접근성 점수 사이의 피어슨 상관계수($r$)를 측정합니다. 강한 음의 상관관계는 높은 일치도를 나타냅니다(높은 마찰 = 낮은 점수).
   • 분포 일치도: 분포 간의 유사성을 측정하기 위해 Earth Mover's Distance(EMD)를 사용합니다.
   • 시각적 단서 분석: 모델의 합의 또는 특정 접근성 등급과 상관관계가 있는 환경 객체를 식별하기 위해 순위 차이 분석(AMI 및 AII)을 수행합니다.

주요 기여

1. 구조화된 VLM 파이프라인: 시각적 단서를 도메인별 기준과 통합하여 스트리트 뷰 이미지로부터 접근성 장애물을 평가하는 확장 가능한 파이프라인을 구축했습니다.
2. 전문가 가이드 증강: VLM의 추론을 ADA 핸드북 및 전문가 루브릭에 접목시키는 전략을 통해, 규제 지식의 검색이 물리적 이동 패턴과의 일치도를 향상시킨다는 점을 입증했습니다.
3. 캠퍼스 규모 벤치마크: GSV 이미지와 휠체어 센서 궤적을 연결하는 새로운 데이터셋을 제공하여, VLM 기반 평가가 센서 유도 이동 패턴과 일치하거나 괴리되는 지점을 평가할 수 있게 합니다.

결과

• 이동 마찰과의 상관관계: VLM 평가는 휠체어 체류 시간과 일관된 음의 상관관계를 보였으며, 이는 이동 마찰의 행동적 대리 지표와 부분적이지만 의미 있는 수준에서 일치함을 나타냅니다.
  • 모델 규모: 더 큰 모델일수록 더 강력한 합의를 보였습니다. InternVL3-78B 모델이 가장 높은 상관관계($r = -0.54$)를 달성했으며, Qwen3-32B($r = -0.47$)가 그 뒤를 이었습니다. 작은 모델(예: 2B 변체)은 약한 상관관계($r \approx -0.10$ ~ $-0.13$)를 보였습니다.
• RAG의 영향: 검색 증강 생성(RAG)은 성능을 유의미하게 향 향상시켰습니다. InternVL3-78B의 경우, RAG는 상관관계를 $-0.40$(비-RAG)에서 $-0.54$로 개선하였고, EMD를 감소시켜 분포 일치도를 높였습니다.
• 입력 형식: 원근 투영(특히 $90^\circ$ 및 $270^\circ$ 뷰)이 전체 파노라마 입력보다 센서 데이터와 더 강한 일치도를 보였습니다. 이는 기하학적 왜곡이 적고 전방을 향하는 사용자 관점과 더 잘 부합하기 때문인 것으로 보입니다.
• 프롬프팅 전략: 다중 질문 프롬프팅은 단일 질문 프롬프팅을 크게 능가하였으며, InternVL3-78B의 경우 상관관계를 $-0.21$에서$-0.54$로 개선했습니다.
• 시각적 단서: 모델은 기반 시설 지원물(횡단보도, 연석 경사로, 점자 블록)을 높은 접근성 점수 및 일치도와 성공적으로 연관시켰습니다. 반면, 미세한 표면 상태(균열, 느슨한 노면)와 일시적 장애물(주차된 차량)은 낮은 점수 및 예측 괴리와 연관되었습니다.

의의 및 주장

본 논문은 전문가 가이드 VLM이 접근성 평가를 위한 확장 가능한 스크리닝 계층을 제공한다고 주장합니다. 연구 결과는 VLM이 현장 전문가의 감사나 실제 경험 데이터를 완전히 대체할 수는 없지만, 인간의 검토가 가장 필요한 위치를 효과적으로 식별할 수 있음을 시사합니다.

이 연구는 다음과 같은 방식으로 도시 계획가와 접근성 관리 부서를 지원하는 도구로서 이 파이프라인을 제안합니다:

• 광범한 지리적 영역에 걸쳐 잠재적 장애물을 식별하는 비용 효율적인 방법 제공.
• 시각적 추론을 센서 기반의 실제 항행 어려움 지표와 일치시킴.
• 시각적 외형과 체화된 접근성 사이의 간극을 메우기 위해서는 모델을 규제 표준(ADA) 및 전문가 휴리스틱에 접목시키는 것이 필수적임을 강조함.

저자들은 단일 캠퍼스 대상의 파일럿 연구라는 점, 스트리트 뷰 이미지의 일시적 장애물에 대한 시간적 노후화 문제, 그리고 체류 시간이 직접적인 접근성 레이블이 아닌 대리 지표라는 점을 포함한 한계점을 명시적으로 언급했습니다. 따라서 이 프레임워크는 확정적인 컴플라이언스 감사가 아닌, 인간의 검토를 위한 우선순위 결정 도구로 제시됩니다.