Leveraging Multimodal LLMs for Built Environment and Housing Attribute Assessment from Street-View Imagery

논문 요약: 스트리트 뷰 이미지를 활용한 멀티모달 LLM 기반 주거 환경 및 주택 속성 평가 프레임워크

1. 문제 정의 (Problem)

미국 전역의 주택 부족, 노후화된 인프라, 그리고 에너지 비용 상승은 저소득 가구에 큰 부담을 주고 있습니다. 이를 해결하기 위해 기존 주택의 리트로핏 (Retrofit) 이 새로운 건설보다 비용 효율적인 대안으로 부상하고 있으나, 건물의 물리적 상태 (특히 외관) 를 평가하는 과정은 여전히 수동 검사에 의존하고 있어 자원 집약적이고 대규모로 확장하기 어렵습니다.
기존의 컴퓨터 비전 모델 (CNN 등) 은 특정 요소 (예: 벽면 균열) 를 식별하는 데는 탁월하지만, 다양한 시각적 요소 (페인트, 창문, 구조적 상태 등) 를 종합적으로 고려하고 해석 가능한 평가 결과를 제공하는 데에는 한계가 있었습니다. 또한, 기존 비전 - 언어 모델 (VLM) 은 구조화된 조건 점수 매기기와 같은 복잡한 추론 작업에 있어 다중 요인 추론 능력이 부족했습니다.

2. 방법론 (Methodology)

저자들은 Google Street View (GSV) 이미지를 기반으로 건물의 상태를 자동으로 평가하는 새로운 프레임워크를 제안하며, 멀티모달 대규모 언어 모델 (Multimodal LLM) 을 핵심으로 활용합니다.

• 데이터 수집 및 전처리:

  • 미국 6 개 주 (캘리포니아, 플로리다 등) 의 12,063 개 GSV 이미지를 수집했습니다.
  • 7 명의 인간 평가자가 1,281 개의 이미지를 1~5 점 척도 (1: 거주 불가 ~ 5: 우수) 로 평가하여 평균 의견 점수 (MOS) 를 생성했습니다.
  • GroundingDINO를 사용하여 스트리트 뷰 이미지에서 개별 건물을 자동 잘라내어 (Cropping) 모델 입력으로 사용합니다.

• 모델 아키텍처 및 파인튜닝:

  • 베이스 모델: 오픈소스 멀티모달 LLM 인 Gemma 3 27B를 선택했습니다.
  • 프롬프트 엔지니어링: 건물의 구조, 벽면 무결성, 페인트 상태, 지붕, 창문 품질 등을 평가하는 공식적인 5 단계 기준을 텍스트 프롬프트에 포함시켰습니다.
  • 효율적인 파인튜닝 (PEFT): 전체 파인튜닝의 계산 비용 문제를 해결하기 위해 QLoRA (Quantized Low-Rank Adaptation) 기법을 적용하여 소량의 인간 라벨 데이터 (최대 800 개) 로 모델을 미세 조정했습니다.

• 지식 증류 (Knowledge Distillation):

  • 교사 모델: 파인튜닝된 Gemma 3 27B 를 교사 (Teacher) 모델로 사용합니다.
  • 학생 모델:
    1. Gemma 3 4B: 더 작은 LLM 으로 지식을 전이하여 추론 속도를 3 배 향상시켰습니다.
    2. 비전 모델 (CNN/Transformer): EfficientNetV2-M, SwinV2-B 등 경량 비전 모델로 지식을 증류하여 30 배 이상의 속도 향상을 달성하면서도 성능을 유지했습니다.
  • 가상 라벨링: 인간 라벨이 없는 10,782 개의 이미지에 대해 교사 모델이 생성한 가상 라벨 (Pseudo-labels) 을 사용하여 학생 모델을 학습시켰습니다.

• 확장된 속성 추출 및 인간-AI 정렬 연구:

  • 단순한 조건 점수뿐만 아니라 건축 시대, 안전성, 보행 가능성, 에너지 효율성 등 12 가지의 다양한 주거 속성을 추출하기 위해 GPT-5.4, Gemini-3.1-Pro, Claude-Opus-4.6 과 같은 폐쇄형 상용 LLM 들을 평가했습니다.
  • 인간 전문가 (6 명) 와 LLM 간의 일관성 (Inter-rater reliability) 및 정렬 (Alignment) 을 분석했습니다.

• 시각화 대시보드 개발:

  • 모델의 출력을 homeowners 와 이해관계자가 활용할 수 있도록 인터랙티브한 시각화 대시보드를 구축하여, 건물별 평가 결과, 리포트, 도시 수준 비교 등을 제공합니다.

3. 주요 기여 (Key Contributions)

1. 대규모 자동 평가 프레임워크: 소량의 인간 라벨 데이터만으로 전미 규모의 건물 상태 평가를 가능하게 하는 효율적인 파이프라인을 제안했습니다.
2. 성능과 효율성의 균형: Gemma 3 27B 를 기반으로 한 지식 증류를 통해, 대규모 모델의 정확도를 유지하면서 경량 모델 (EfficientNetV2 등) 로 30 배 이상의 추론 속도 향상을 달성했습니다.
3. 인간-AI 정렬 연구: 다양한 LLM 이 인간 전문가의 평가와 얼마나 일치하는지, 그리고 모델 간의 일관성과 인간 정렬 사이의 트레이드오프를 체계적으로 분석했습니다.
4. 실용적 도구 개발: 단순한 모델 평가를 넘어, 실제 사용자 (주택 소유자 등) 가 의사결정을 내릴 수 있도록 돕는 시각화 대시보드를 구현했습니다.

4. 실험 결과 (Results)

• 모델 성능 비교:
  • Gemma 3 27B는 단일 GPU 환경에서 인간 평가자 평균 (MOS) 과 가장 높은 상관관계를 보였습니다 (SRCC: 0.77, PLCC: 0.77). 이는 인간 평가자 간의 일관성 (SRCC 0.78) 과 유사한 수준입니다.
  • 파인튜닝 효과: 500 개의 라벨된 이미지로 Gemma 3 27B 를 파인튜닝한 결과, 개별 인간 평가자보다 높은 일관성 (SRCC 0.83) 을 달성했습니다.
• 지식 증류 효과:
  • Gemma 3 4B: 파인튜닝된 27B 모델의 지식을 학습받아 SRCC 0.81, PLCC 0.80 을 기록하며 베이스 27B 모델보다 높은 성능을 보였고, 추론 속도는 3 배 빨라졌습니다.
  • 비전 모델 (EfficientNetV2-M, SwinV2-B): 가상 라벨로 학습된 결과, SRCC/PLCC 0.73~0.74 수준으로 27B 모델과 유사한 성능을 내면서 30 배 이상의 속도 향상을 이루었습니다.
• 속성 추출 및 정렬:
  • 안정성: Claude-Opus-4.6 이 가장 높은 안정성 (Stability Score 0.941) 을 보였으나, Gemini-3.1-Pro가 인간 전문가 평가와의 정렬 (Pearson r 0.844) 에서 가장 우수한 성능을 보였습니다. 이는 높은 일관성이 반드시 인간과 더 잘 맞는다는 것을 의미하지는 않음을 시사합니다.
• 효율성: 지식 증류를 통해 수백만 개의 이미지를 처리하는 것이 현실적인 시간 내에 가능해졌습니다.

5. 의의 및 결론 (Significance)

이 연구는 멀티모달 LLM 을 활용하여 대규모 주거 환경 평가의 자동화를 실현한 선구적인 사례입니다.

• 확장성: 소량의 인간 라벨링 노력으로 대규모 데이터셋을 처리할 수 있어, 전미 전역의 주택 리트로핏 전략 수립에 필요한 데이터 기반을 제공합니다.
• 해석 가능성: 기존 블랙박스 형태의 컴퓨터 비전 모델과 달리, LLM 을 통해 평가의 근거 (이유) 를 텍스트로 제공하여 신뢰성을 높였습니다.
• 실용성: 개발된 대시보드는 주택 소유자와 정책 입안자가 건물의 상태를 직관적으로 이해하고 리트로핏 의사결정을 내리는 데 직접적으로 활용될 수 있습니다.

한계 및 향후 과제:

• MOS 점수가 특정 평가자 그룹에 의존할 수 있어 더 다양한 평가자 풀이 필요합니다.
• LLM 의 성능이 프롬프트 구성에 민감하므로, 더 정교한 프롬프트 엔지니어링이 필요합니다.
• 이미지 밝기, 건축 스타일 등에 따른 잠재적 편향 (Bias) 을 탐구할 필요가 있습니다.

이 프레임워크는 건축 환경 평가 분야에서 AI 의 역할을 단순한 분류기를 넘어, 해석 가능하고 확장 가능한 의사결정 지원 시스템으로 진화시키는 중요한 발걸음입니다.