Accessibility Scout: Personalized Accessibility Scans of Built Environments

기술 요약: Accessibility Scout

문제 정의
익숙하지 않은 건축 환경의 접근성을 평가하는 것은 장애인, 특히 이동성이 제한된 개인들에게 매우 중요합니다. 그러나 현재의 방식은 심각한 확장성 및 개인화 격차 문제를 겪고 있습니다. 사용자나 보건 전문가에 의한 수동 평가는 노동 집약적이며 확장성이 떨어집니다. 반대로, 기존의 자동화된 머신러닝 접근 방식(예: RASSAR, Project Sidewalk)은 표준화된 체크리스트와 사전 정의된 접근성 기능(주로 ADA 규정에 기반함)에 의존합니다. 이러한 체크리스트 기반 시스템은 개인의 고유한 능력, 선호도, 그리고 시간이 지남에 따라 변화하는 요구사항을 반영하지 못합니다. 이러한 불일치는 사용자에게 오해를 불러일리는 접근성 인식을 제공하여 좌절감을 유발하거나 위험한 상황을 초래할 수 있으며, 혹은 공간적 기회를 제한하는 불필요한 제약을 가할 수 있습니다.

방법론
저자들은 이미지로부터 건축 환경에 대한 반자동화된 개인 맞춤형 접근성 스캔을 수행하기 위해 대규모 언어 모델(LLM)과 컴퓨터 비전을 활용하는 Accessibility Scout를 제안합니다. 이 시스템은 인간의 평가 과정을 모방하도록 설계된 파이프라인을 통해 작동합니다:

1. 사용자 모델링: 시스템은 사용자의 운동 능력, 감각적 선호도, 환경적 관심사를 포착하는 구조화된 사용자 모델(JSON 형식)을 구축합니다. 이 모델은 세 가지 추출 방법을 통해 반복적으로 업데이트됩니다:

   • 자기 기술(Self-Description): 사용자는 자신의 능력에 대한 비구조화된 텍스트 설명을 제공하며, LLM은 이를 구체적인 움직임 속성으로 분해합니다.
   • 환경 주석(Environmental Annotations): 사용자는 이미지 내의 우려 사항을 주석으로 표시하며, LLM은 이를 통해 사용자의 선호도를 추론합니다.
   • AI 주석에 대한 피드백: 사용자는 AI가 생성한 우려 사항을 검증하거나 수정함으로써, LLM이 사용자 모델을 정교화할 수 있도록 합니다.

2. 과업 기반 평가: 일반적인 체크리스트 대신, 시스템은 접근성 평가를 "과업 어포던스(task affordance)" 문제로 세분화합니다.

   • 과업 식별: 환경 이미지와 사용자의 의도(예: "데이트하러 가기")가 주어지면, LLM은 잠재적인 과업(예: 식사, 화장실 이용)을 예측하고 이를 하위 과업 및 기본 동작(예: 손 뻗기, 움켜쥐기)으로 분해합니다.
   • 우려 사항 식별: Set-of-Mark 프롬프팅과 시맨틱 세그멘테이션 마스크(Semantic-SAM 기반)를 결합하여, LLM은 특정 사용자 모델에 대해 특정 과업을 방해하는 환경적 특징을 식별합니다.
   • 우려 사항 결합: 병렬 LLM 요청으로 인한 중복성을 처리하기 위해, 시스템은 시맨틱 텍스트 유사성(Sentence-BERT)을 사용하여 겹치는 우려 사항들을 그룹화하고 병합합니다.

3. 인간-AI 협업: 시스템은 사용자가 탐지된 우려 사항을 시각화하고, 피드백을 제공하며, 사용자 모델을 업데이트할 수 있는 웹 인터페이스(Gradio)를 갖추고 있습니다. 이 협업 루프는 정확도와 관련성을 높이기 위해 설계되었습니다.

주요 기여
본 논문은 세 가지 주요 기여를 제시합니다:

1. LLM 기반 접근성 감사: 저비용 추론과 온라인 데이터를 사용하여 확장 가능한 개인화가 가능하다는 것을 입증하며, 반자동화된 개인 맞춤형 접근성 평가를 위해 LLM을 사용한 첫 번째 접근 방식을 제시합니다.
2. 동적 사용자 모델링: 정적인 체크리스트를 넘어 적응형 모델로 나아가기 위해, 협업적 인간-AI 주석을 통해 사용자의 접근성 프로필을 지속적으로 업데이트하는 새로운 방법을 제시합니다.
3. 실증적 평가: 6명의 참가자를 대상으로 한 형성 연구(formative study), 11개의 사용자 모델에 대해 500개의 이미지를 대상으로 한 기술적 평가, 그리고 개인화된 출력과 일반적인 출력을 비교한 10명의 참가자 대상 사용자 연구를 포함한 종합적인 평가를 수행했습니다.

결과

• 기술적 평가: 시스템은 500개의 이미지에 대해 5,500개의 접근성 스캔(39,394개의 우려 사항)을 생성했습니다. 환각률(이미지에 존재하지 않는 객체를 식별하는 비율)은 6.63%로 측정되었습니다. 시스템은 전통적인 ADA 범주를 넘어 소음 민감도 및 특정 가구 배치와 관련된 문제를 식별하는 데 성공했습니다.
• 개인화 차별화: Wasserstein 거리를 이용한 분석 결과, 시스템은 서로 다른 이동성 프로필(예: 휠체어 사용자 vs. 피로 문제를 가진 사용자)을 가진 사용자에 대해 의미 있게 다른 우려 사항 분포를 생성했습니다.
• 사용자 연구: 개인화된 스캔을 일반 모델과 비교한 블라인드 테스트 결과:
  • 유용성: 개인화된 고유 우려 사항은 일반적인 고유 우려 사항(평균 3.35/7)보다 유의미하게 더 높은 유용성(평균 4.68/7)을 기록했습니다.
  • 설명: 개인화된 설명이 선호되었으나, 유사한 우려 사항에 대한 일반 모델과 개인화 모델 간의 표현력 차이는 통계적으로 유의미하지 않았습니다. 이는 우려 사항의 '식별' 자체가 특정 '표현 방식'보다 더 중요하다는 것을 시사합니다.
  • 신뢰 및 통제: 참가자들은 AI를 "재확인"하고 수정할 수 있는 능력을 가치 있게 여겼으며, 협업적 훈련이 시스템에 대한 신뢰와 통제감을 높인다고 언급했습니다.

의의 및 주장
본 논문은 Accessibility Scout가 사람들이 물리적 세계와 상호작용하는 방식을 변화시킴으로써, 이동성이 제한된 사람들을 위한 개인 맞춤형 접근성 평가의 새로운 길을 열었다고 주장합니다. 방대한 양의 온라인 이미지(예: Airbnb, Yelp, Google Maps)를 활용함으로써, 시스템은 사용자가 이전에는 도달할 수 없었던 규모로 정보에 입각한 여행 결정, 객실 예약, 이벤트 계획을 할 수 있도록 합니다.

저자들은 이 시스템의 의의가 정적인 규정 준수 여부를 넘어, 특정 개인이 공간을 어떻게 경험하는지, 즉 "인지된 접근성(perceived accessibility)"을 포착하는 능력에 있다고 강조합니다. 이 연구는 개인화가 데이터의 유용성을 높일 뿐만 아니라 사용자의 경험을 검증하여, 개인이 "자신의 목소리가 전달되고 있다"고 느끼게 만든다는 점을 부각합니다. 결론적으로, 본 시스템은 (이미지만의 데이터라는 한계로 인해) 종합적인 감사 시스템이라기보다는 일반 목적의 경고 도구 역할을 하지만, 인간 중심 설계를 통해 더 포용적인 공간과 기술을 구축할 수 있는 AI의 잠재력을 보여줍니다.