기술 요약: 대규모 언어 모델(LLM)이 인간 평가자를 대체할 수 있는가? 도시 설계 품질 평가의 신뢰도와 타당도

1. 문제 제기

도시 설계 품질 평가는 전통적으로 표준화된 체크리스트를 사용하여 미세한 환경적 속성(예: 폐쇄성, 투명성, 파사드 상태)을 평가하는 숙련된 인간 관찰자에게 의존해 왔다. 지오태깅된 거리 수준 이미지(street-level imagery)의 확산으로 방대한 시각적 데이터셋이 생성되었으나, 노동 집약적인 인간 기반 평가 시스템은 그 확장성을 심각하게 제한한다. 시각적 입력을 해석하고 구조화된 점수 루브릭을 적용할 수 있는 멀티모달 대규모 언어 모델(LLM)의 등장은 근본적인 방법론적 질문을 제기한다: LLM이 도시 설계 평가에서 숙련된 인간 평가자를 신뢰할 수 있게 대체할 수 있는가?

현재의 연구 공백에는 AI 기반 평가의 평가자 간 신뢰도(inter-rater reliability)와 AI 출력이 인간의 판단과 어느 정도 일치하는지에 대한 체계적인 평가의 부재가 포함된다. 기존의 AI 접근 방식은 복잡한 맥락적 평가 기준을 적용하기보다는 컴퓨터 비전을 통한 특징 추출에 주로 집중해 왔다. 본 연구는 LLM이 유효하고 신뢰할 수 있는 대체제로서 기능할 수 있는지, 아니면 그 효용이 보조적 역할에 국한되는지를 다룬다.

2. 연구 방법론

연구 지역 및 샘플링

연구는 불균질한 건물 상태, 좁은 도로, 가로 경관 품질의 상당한 변동성을 특징으로 하는 밀집된 저층 빌라 주거 지역인 서울시 화곡동에서 수행되었다.

• 샘플링: 대표성을 확보하고 선택 편향을 최소 최소화하기 위해 체계적 공간 샘플링 방식(100미터 간격)을 사용한 후 무작위 샘플링을 실시하여 40개의 관측 지점을 선정하였다.
• 데이터: 각 지점에서 고해상도 거리 수준 이미지를 촬영하였다.

평가 프로토콜

세 그룹이 기성 프레임워크(예: Ewing & Clemente, 2013)에서 도출된 동일한 표준화된 루브릭을 사용하여 40개의 관측 지점을 평가하였다:

1. 인간 평가자: 세 명의 훈련된 관찰자가 현장 조사를 수행하였다.
2. LLM 평가자: 세 가지 멀티모달 모델(GPT-5.3 Thinking, Gemini 3.5 Flash, Claude Sonnet 4.6)에 동일한 표준화된 지침과 시각적 입력을 제공하였다.

변수

도시 설계 품질은 두 가지 유형의 변수로 조작화되었다:

• 연속형 변수: 개수(예: 상업 간판, 가로등) 및 비율 측정치(예: 창면적비, 수목 피복률, 천공율/sky view factor).
• 범주형 변수: 특징의 존재 여부 또는 유형(예: 차선 표시, 건축 자재, 울타리, CCTV 카메라).

통계 분석

본 연구는 세 가지 측면의 신뢰도 및 타당도 프레임워크를 채택하였다:

1. 그룹 내 신뢰도 (Within-Group Reliability):
   • 연속형 변수: 절대적 일치를 위한 이원 배치 변량 효과 모델(two-way random-effects model)을 사용한 급내 상관 계수(ICC)[ICC(2,1)].
   • 범주형 변수: 여러 평가자 간의 일치도를 정량화하기 위한 플리스 카파($\kappa$).
2. 그룹 간 일치도 (Cross-Group Agreement, 인간 vs. LLM):
   • 연속형 변수: 체계적 편향과 95% 일치 한계(LOA)를 정량화하기 위한 Bland–Altman 분석.
   • 범주형 변수: 인간 그룹과 LLM 그룹 간의 플리스 카파 계산.
3. 구성 타당도 (Construct Validity):
   • 인간과 LLM이 각각 평가한 설계 변수를 사용하여 지각된 쾌적함 수준(종속 변수)을 예측하기 위해 일반 최소 제곱(OLS) 회귀 모델을 추정하였다. 이는 AI가 평가한 변수가 인간의 결과와 의미 있는 연관성을 유지하는지 테스트하기 위함이다.

3. 주요 결과

3.1 평가자 간 신뢰도

• 인간 평가자: 시각적으로 명확하고 계수가 가능한 특징(예: 상업 간판, 소매 시설, 창문 방범창; ICC > 0.6)에 대해 일반적으로 강한 신뢰도를 보였다. 비율 추정이나 작은 세부 요소의 탐지가 필요한 변수(예: 불법 주차, 벤치)에서는 신뢰도가 하락하였다.
• LLM 평가자: 선택적 성능 패턴을 보였다.
  • 높은 신뢰도: LLM은 구조적으로 안정적이고 시각적으로 경계가 명확한 속성(예: 건축 자재, 소매 시설 존재 여부, 창문 방범창)에 대해 인간과 유사한 성능을 보였다.
  • 낮은 신뢰도: 비율 추정(예: 수목 피복률, 천공율)이나 작고 부분적으로 가려진 요소(예: 가로등, 안전 시설물)를 탐지해야 하는 변수에서는 신뢰도가 크게 떨어졌다.
• 비교: 대부분의 변수, 특히 맥락적 해석이 필요한 변수에서 인간 평가자가 LLM보다 더 일관된 모습을 보였다.

3.2 인간-LLM 일치도

• 체계적 편향: Bland–Altman 분석 결과, LLM은 대부분의 연속형 변수에 대해 인간보다 낮은 값을 부여하는 체계적 편향을 보였다.
• 일치 한계: 비율 판단이 포함된 변수(예: 창면적비, 천공율, 수목 피복률)에서 넓은 일치 한계가 관찰되었으며, 이는 인간과 AI의 평가가 해당 지표에서 상호 교환 가능하지 않음을 나타낸다.
• 범주형 불일치: 그룹 간 플리스 카파는 일반적으로 보통 수준이었다. "과도한 간판"($\kappa = 0.670$)에 대해서는 상당한 일치를 보였으나, 쓰레기통, CCTV 카메라, 전선/전봇대와 같은 소규모 요소에 대해서는 약하거나 음의 상관을 보였다. 일부 사례(예: 쓰레기통)에서는 인간과 LLM의 분류가 단순히 불일치하는 것이 아니라 체계적으로 달랐다.

3.3 구성 타당도

• 모델 적합도: 인간 평가 모델과 LLM 평가 모델 모두 지각된 쾌적함의 분산을 유사한 비율로 설명하였으며(43.0% 대 42.6%), 이는 LLM이 총체적인 환경 정보를 포착하고 있음을 시사한다.
• 변수 수준의 괴리:
  • 일관된 연관성: 수목 피복률, 창면적비, 울타리 존재 여부는 두 모델 모두에서 쾌적함과 일관된 방향의 연관성을 보였다.
  • 발산하는 연관성: 필로티 주차, 차선 표시, 건축 자재와 같은 변수는 두 모델 간에 방향성이나 유의성에서 상당한 차이를 보였다. 예를 들어, 필로티 주차는 인간 모델에서는 쾌적함과 양(+)의 관계를 보였으나, LLM 모델에서는 그렇지 않았다.

4. 주요 기여

1. 신뢰도, 일치도, 타당도의 차별화: 본 연구는 내부 일관성(신뢰도)과 그룹 간 동등성(일치도)을 구분한다. AI 시스템이 내부적으로는 일관될 수(신뢰할 수 있을 수) 있어도 인간의 판단을 재현하는 데는 실패(낮은 일치도)할 수 있음을 보여줌으로써, 높은 신뢰도가 곧 대체 가능성을 의미한다는 가설에 도전한다.
2. 요소별 성능 특성화: 본 연구는 LLM의 성능이 보편적이지 않고 요소별로 상이함을 밝혀냈다. LLM은 시각적으로 명시적이고 건축적으로 명료한 속성에는 효과적이지만, 비율 추정, 맥락적 추론, 또는 미세한 세부 사항 탐지가 필요한 품질 평가에는 어려움을 겪는다.
3. 방법론적 프레임워크: 단순한 예측 정확도를 넘어 측정의 상호 교환 가능성을 평가하기 위해 ICC, 플리스 카파, Bland–Altman 분석을 결합한 엄격한 통계적 프레임워크를 제공함으로써, 도시 계획에서 측정 도구로서의 AI를 평가하는 기준을 제시하였다.

5. 의의 및 주장

본 논문은 멀티모달 LLM이 아직 도시 설계 품질 평가를 위한 숙련된 인간 평가자의 일반적인 대체제가 될 수 없다고 결론짓는다.

• 선택적 적합성: LLM은 시각적으로 명시적이고 구조적으로 안정적인 특정 변수 클래스를 위한 선택적 측정 도구로서 가장 적합하다. LL|M은 복잡한 저층 주거 환경에서 개방성, 녹지, 유지 관리 상태 등을 평가하는 데 필요한 미묘하고 맥락적인 판단을 완전히 재현할 수 있는 단계에 이르지 못했다.
• 하이브리드 워크플로우: 저자들은 AI가 시각적으로 명시적인 변수를 처리하여 평가 규모를 키우고, 인간 평가자는 맥락 민감적, 비율적 또는 저빈도 특징을 담당하는 하이브리드 워크플로우를 제안한다.
• 타당도에 대한 신중한 주장: LLM은 일부 의미 있는 변수(수목 피복률, 폐쇄성 등)에 대해 인간의 웰빙과 일관된 연관성을 보이지만, 인간이 평가한 척도에서 관찰되는 전체적인 관계 패턴을 완벽히 재현하지는 못한다. 본 연구는 특히 미세한 환경적 단서가 중요한 밀집된 주거 지역에서 AI를 완전한 자율 평가자가 아닌 보완적이고 스크리닝 역할을 하는 도구로 보아야 한다고 주장한다.

본 연구는 도시 설계에서 LLM의 미래 역할이 인간 전문가의 완전한 대체가 아니라 보완적이고, 선택적이며, 하이브리드적인 형태가 될 것임을 강조한다.