Using street view images and visual LLMs to predict heritage values for governance support: Risks, ethics, and policy implications

기술 요약: 거버넌스 지원을 위한 유산 가치 예측에 스트리트 뷰 이미지 및 시각적 LLM 활용

문제 정의
유럽 연합의 건물 에너지 성능 지침(EPBD) 이행에 따라, 회원국들은 2026년까지 국가 건물 개보수 계획을 수립해야 합니다. 이러한 계획에는 면제 또는 조정된 에너지 요구 사항을 안내하기 위해 유산 가치를 지닌 건물을 포함한 국가적 건물 현황에 대한 포괄적인 개요가 필요합니다. 스웨덴에서는 중요한 장벽이 존재합니다: 유산 가치를 지닌 건물에 대한 포괄적인 국가 등록부가 없습니다. 기존 기록은 파편화되어 있으며, 역사적 환경법(전체 건축물의 약 0.15%를 다룸)에 따른 공식 목록과 계획 및 건축법에 따른 불완전한 지자체 목록에 의존하고 있습니다. 또한, 기존 데이터는 신뢰성이나 세밀함이 부족한 경우가 많습니다. 스웨덴 국립 유산 위원회는 이러한 데이터 격차를 효율적으로 메우기 위해 새로운 도구, 특히 시각적 거대 언어 모델(LLM)을 사용하여 전국 규모의 거리 수준 이미지로부터 유산 지표를 평가하는 방안을 탐색하고자 했습니다.

방법론
본 연구는 스웨덴의 건물 현황에 대한 스트리트 뷰 이미지를 분석하기 위해 OpenAI의 멀티모달 모델(gpt-4o-2024-08-06)을 사용하는 제로샷 프롬프팅(zero-shot prompting) 접근 방식을 채택했습니다.

• 데이터 수집 및 처리: 분석은 국가 부동산 등록부와 연결된 272,174개의 에너지 성능 인증서(EPC)에서 시작되었습니다. 지형 공간 처리(건물 흔적을 도로 중심선과 매칭하고 시야선을 계산)를 통해, 저자들은 186,038개의 고유한 건물을 나타내는 281,018개의 사용 가능한 구글 스트리트 뷰 이미지를 확보했습니다. 가시성 및 품질 필터링을 거친 후, 154,710개의 고유한 EPC가 성공적으로 평가되었습니다.
• 프롬프트 엔지니어링: 모델을 미세 조정(fine-tuning)하는 대신, 연구진은 제로샷 프롬프팅을 활용했습니다. 프롬프트는 스웨덴 국립 유산 위원회와 Boverket의 육안 건물 조사용 공식 체크리스트를 기반으로 설계되었습니다. 모델에는 특정 페르소나가 부여되었으며, 특정 외벽 특징(예: 건축 연도, 층수, 창문 유리, 재료)을 식별하고 "예측된 유산 지표" 점수(1~100)를 할당하도록 구조화된 JSON 형식의 데이터를 출력하도록 지시되었습니다.
• 검증 및 거버넌스 통합: LLM의 환각(hallucination) 및 편향 위험을 완화하기 위해, 본 연구는 인간 참여형(human-in-the-loop) 검증 프로세스를 포함했습니다. 스웨덴 국립 유산 위원회와 웁살라 대학교의 유산 전문가들과 함께 전문가 워크숍이 개최되었습니다. 예측 점수를 외벽 이미지와 함께 시각화하여 전문가가 검토할 수 있는 웹 기반 매핑 도구가 개발되었습니다. 최종 결정은 LLM 출력을 개별 건물 인증용이 아닌, EPBD 이행을 위한 건물 현황 수준의 통계적 지표로 사용하는 것이었습니다.

주요 결과

• 예측 성능: LLM은 다양한 수준의 정확도를 보였습니다. 모델은 잘 알려진 랜드마크(예: 터닝 토르소)를 성공적으로 식별했으며, 층수와 관련하여 에너지 성능 인증서 데이터와 합리적인 일치성을 보였습니다. 그러나 건축 연도 예측에서는 어려움을 겪었으며, 극단적인 연령(예: 1000년 된 건물)을 과대평가하거나 특정 시대(예: 1910년대, 1940년대)를 과소 표현하는 경향을 보였습니다.
• 편향 및 대표성: 연구는 모델 출력에서 나타나는 상당한 편향을 확인했습니다.
  • 지리적 및 사회경제적 편향: 스톡홀름 및 부유한 지역(높은 평균 가처분 소득)의 건물은 다른 지역이나 저소득 지역의 유사한 건물보다 현저히 높은 유산 지표 점수를 받았습니다.
  • 재료 편향: 모델은 소박하고 일상적인 환경에서 흔히 볼 수 있는 목조 건물에는 낮은 유산 점수를 부여한 반면, 석조 및 벽돌 구조물을 선호했습니다.
  • 보수적 접근: 모델은 극단적으로 높은 점수(90점 이상)를 거의 부여하지 않는 보수적 편향을 보였습니다. 결과적으로 연구진은 "예측된 유산 가치"를 식별하기 위해 50점을 임계값으로 설정했으며, 이는 공식 보호 범주 외에 추가로 1~2%의 건물 현황만을 포착했습니다.
• EPBD 적용: 전문가 검증 및 점수의 통계적 분포를 바탕으로, 스웨덴 국립 유산 위원회는 EPBD 프로세스에 LLM 유도 지표를 채택했습니다. 이 방법은 공식 등록부에 나타나지 않았던 잠재적 유산 자산을 식별함으로써, 유산 고려 범주에 추가로 500만 제곱미터의 난방 면적을 포함할 수 있게 하여 핵심적인 데이터 격차를 메웠습니다.

주요 기여

1. AI를 위한 거버넌스 프레임워크: 본 논문은 공공 기관이 어떻게 제로샷 LLM 예측을 정책 결정에 통합할 수 있는지에 대한 구체적인 사례 연구를 제공합니다. 이는 AI가 방대한 이미지 데이터셋에서 데이터를 추출하는 "단순 반복적" 작업을 수행하고, 인간 전문가는 검증 및 전략적 의사결정을 위해 감독권을 유지하는 워크플로우를 보여줍니다.
2. 방법론적 투명성: 기존의 공식 체크리스트를 기반으로 구조화된 프롬프트를 사용하고 JSON 출력을 요구함으로써, 저자들은 "아첨(sycophancy)"(사용자의 의견에 동조하는 현상)의 위험을 완화하고 결과를 비구조적 텍스트 생성보다 더 해석 가능하고 감사 가능하게 만들었습니다.
3. 편향 식별: 본 연구는 유산 평가에 적용되는 현재의 멀티모달 LLM에 내재된 사회경제적 및 지리적 편향을 명시적으로 기록하며, 이러한 모델들이 비판적인 재평가를 수행하기보다는 기존의 사회적 가치를 재생산하는 경향이 있음을 강조합니다.
4. 확장성: 본 연구는 제로샷 프롬프팅이 비용이 많이 드는 지역 특화 학습 데이터 없이도 수십만 채의 건물을 분석할 수 있음을 입증하여, 데이터가 부족한 환경에 대한 빠르지만 불완전한 해결책을 제시합니다.

의의 및 주장
본 논문은 제로샷 LLM 예측이 전문가의 유산 평가를 대체하거나 개별 건물의 확정적인 법적 등록부 역할을 할 수는 없지만, 건물 현황 수준의 분석을 위한 가치 있고 효율적인 도구를 제공한다고 주장합니다. 주요 의의는 당국이 데이터 파편화와 자원 제약으로 인해 이전에는 불가능했던 전체 국가 건물 현황에 대한 유산 지표의 "초안(first pass)" 개요를 생성할 수 있게 한다는 점에 있습니다.

저자들은 이 접근 방식의 가치가 모든 예측의 절대적인 정확성에 있는 것이 아니라, 공식 등록부에 드러나지 않았던 잠재적 유산 자산을 식별함으로써 국가 건물 개보수 계획 수립을 지원할 수 있는 능력에 있다고 강조합니다. 그러나 논문은 이러한 도구들이 본질적으로 부, 위치 및 건축 양식에 대한 편향을 재생산하므로 비판적인 감독과 함께 사용되어야 한다는 강력한 주의를 전달하며 마무리됩니다. 이 방법은 인간의 판단을 대체하는 것이 아니라, 유산 전문가들이 단순 업무보다는 전략적 과업과 복잡한 사례별 평가에 집중할 수 있도록 돕는 보조적인 의사결정 지원 메커니즘으로 제시됩니다.