AI vs Human Expert Reasoning: Assessing Agreements in Building Typology Predictions based on Street View Imagery

기술 요약: 건물 유형 예측에 있어서의 AI와 인간 전문가의 추론 비교

문제 제기
포괄적이고 세밀한 건물 단위 데이터는 도시 계획, 에너지 모델링 및 재해 취약성 평가에 필수적이다. 그러나 이러한 데이터는 특히 비용이 많이 드는 전통적인 조사에 의존하여 확장성이 제한되는 글로벌 사우스(Global South) 지역에서, 최신화되지 않았거나 파편화되어 있거나 혹은 아예 존재하지 않는 경우가 많다. Google Street View(GSV)는 풍부한 시각적 데이터셋을 제공하지만, 기존의 자동화된 방법들은 레이블이 지정된 데이터로 학습된 특정 작업 중심의 딥러닝 모델에 의존하거나 단일 건물 속성(예: 건물의 연령 또는 재료만 고려)에 집중하는 경tend가 있다. 또한, 상용 시각-언어 모델(VLM)은 그 추론 과정이나 글로벌 사우스의 이질적인 비정형 정착지 맥락에서의 성능에 대한 이해가 부족한 채로 "블랙박스"로 취급되는 경우가 많다. 본 연구는 데이터가 부족한 환경에서 GSV 이미지를 활용하여 다중 건물 속성(구조, 현재 용도, 층수)을 예측하는 VLM의 활용 격차를 해소하는 동시에, AI의 추론과 인간 전문가의 판단 사이의 정렬 상태를 조사한다.

연구 방법론
본 연구는 다양한 건물 유형과 비정형 정착지가 특징인 인도네시아 북자카르타의 해안 지역인 펜자리안(Penjaringan)의 GSV 이미지를 사용하여 다단계의 확장 가능한 프레임워크를 채택하였다.

1. 데이터 수집: Google Static API를 통해 63,729개의 GSV 이미지를 수집하였다. 전처리(LLaVA-v1.6-Mistral-7B를 사용한 파일 크기, 가시성 및 폐쇄 여부 필터링)를 거쳐 29,937개의 유효한 이미지가 남았다.
2. 그라운드 트루스(Ground Truth): 토목 공학자 및 건축가 팀이 정확성을 보장하는 합의 과정을 거쳐 이미지의 일부를 수동으로 레이블링하여 그라운드 트루스로 사용하였다.
3. 모델 선정: 세 가지 최첨단 상용 VLM을 평가하였다: GPT-4o, Claude 3.5 Sonnet, Gemini 2.0 Flash.
4. 프롬프팅 전략: 성능 최적화를 위해 네 가지 프롬프트 구성을 체계적으로 비교하였다:
   • Straight Divided (s-d): 추론 단계가 없는 단일 작업 프롬프트.
   • Chain-of-Thought Divided (CoT-d): 단계별 추론 지침이 포함된 단일 작업 프롬프트.
   • Straight Merged (s-m): 추론 단계가 없는 다중 작업 프롬프트.
   • Chain-of-Thought Merged (CoT-m): 단계별 추론이 포함된 다중 작업 프롬프트.
5. 평가 단계:
   • 1단계 (n=2,000): 프롬프트 전략을 비교하고 모델의 200단어 추론 설명에서 키워드 확률을 추출하기 위한 검증 세트.
   • 2단계 (n=6,000): 최적의 프롬프트 전략(CoT Merged)을 사용하여 전문가의 출력값과 일치도를 평가하기 위한 테스트 세트.
   • 3단계 (n=30,000): 연구 지역의 공간적 유형 지도 생성을 위한 전체 규모의 추론.
6. 추론 분석: AI가 생성한 설명 내 키워드 발생 확률을 분석하여 기계 추론의 패턴을 식별하고, 이를 인간 전문가의 의사결정 요인과 비교하였다.

주요 결과

• 성능: 가장 우수한 성능을 보인 구성은 Chain-of-Thought Merged (CoT-m) 프롬프트였다. 6,000개의 이미지 테스트 세트에서 모델들은 인간 전문가와 약 70~72%의 평균 전체 일치도를 달랐다.
  • 층수(Storeys): 창문이나 높이와 같은 시각적 지표가 뚜렷하기 때문에 가장 높은 정확도(F1 점수 ~0.79–0.80)를 보였다.
  • 구조(Construction): 중간 정도의 정확도(F1 ~0.68–0.70)를 나타냈다.
  • 현재 용도(Current Use): 시각적 단서만으로 기능을 추론하는 데 따르는 모호함과 주거용 건물과 복합 용도 건물을 구분하는 어려움으로 인해 가장 낮은 정확도(F1 ~0.62–0.65)를 보였다.
• 모델 비교: Gemini 2.0 Flash가 71.6%로 가장 높은 전체 일치도를 기록했으며, GPT-4o(70.6%)와 Claude 3.5 Sonnet(69.7%)이 그 뒤를 바짝 쫓았다.
• 추론의 괴리: 추론 키워드 분석 결과, 접근 방식에서 뚜렷한 차이가 드러났다. AI 모델은 명시적인 시각적 지표(예: "벽", "구조물", "창문", "입구")에 크게 의존했다. 반면, 인간 전문가는 더 넓은 맥락적 단서와 도메인 지식(예: "상태", "이웃", "선택", "지지")에 더 큰 비중을 두었다.
• 환각(Hallucinations): 특히 Straight-divided 프롬프트를 사용하는 Gemini에서 출력이 사전 정의된 범주와 일치하지 않는 환각 현상이 관찰되었다.

주요 기여

1. 다차원적 예측: 단일 속성에 집중했던 이전 연구들과 달리, 본 연구는 VLM의 적용을 다차원적 건물 스톡(구조, 현재 용도, 층수)을 동시에 예측하는 것으로 확장하였다.
2. 추론의 투명성: 본 연구는 VLM의 텍스트 추론을 분석함으로써 "블랙박스" 평가를 넘어선다. 예측을 주도하는 특정 키워드를 식별하고 이를 전문가의 논리와 비교함으로써, AI와 인간의 추론이 어디에서 그리고 왜 갈라지는지에 대한 통찰을 제공한다.
3. 글로벌 사우스 맥락: 본 연구는 글로벌 노스(Global North) 데이터로 학습된 상용 모델이 로컬의 현실에 직면했을 때의 과제를 강조하며, 데이터가 부족한 환경(자카르타)에서의 사례 연구를 제공한다.
4. 프롬프트 엔지니어링: Chain-of-Thought (CoT) 프롬프팅이 더 안정적인 성능을 제공하며, 병합된 다중 작업 프롬프트가 정확도를 희생하지 않으면서도 계산 효율성을 높일 수 있음을 입증하며 체계적인 프롬프트 전략 비교를 제시한다.

의의 및 주장
본 논문은 VLM이 대규모로 건물 유형 분류에서 전문가의 능력을 근사할 수 있는 보완적이고 협력적인 도구로서 역할을 할 잠재력이 있다고 주장한다. 본 연구는 AI가 도시 맥락에서 패턴 인식 및 객체 식별을 자동화할 수 있음을 보여주며, 이는 데이터가 부족한 지역에서 비용이 많이 드는 수동 조사에 대한 실행 가능한 대안을 제공한다. 그러나 저자들은 VLM이 고해상도의 도시 분석을 생성할 수는 있지만, 아직 인간 전문가를 완벽하게 대체할 수는 없다는 점을 인정하며 신중한 입장을 유지한다. 시각적 특징에 대한 의존도가 "현재 용도" 예측의 정확도를 제한한다는 점은 향후 반복 연구에서 해석력을 높이기 위해 다중 모달 데이터(예: 텍스트 표지판)를 통합해야 함을 시사한다. 궁극적으로 본 연구는 건물 수준의 데이터 생성을 확장하기 위한 방법론적 경로를 제시하는 동시에, 지속적인 인간의 감독과 학제 간 협력의 필요성을 강조하며 도시 분석에서 AI 효율성에 대한 탐구에 기여한다.