How Many Visual Levers Drive Urban Perception? Interventional Counterfactuals via Multiple Localised Edits

[기술 요약] 도시 인지(Urban Perception)를 결정하는 시각적 레버는 무엇인가?

1. 문제 정의 (Problem Statement)

기존의 거리 뷰(Street-view) 인지 모델(안전도, 부유함, 활기 등을 예측)은 대규모 데이터셋을 통해 높은 예측 성능을 보이지만, '설명 가능성(Explainability)' 측면에서 한계가 있습니다.

• 상관관계 vs 인과관계: 기존의 Saliency map이나 SHAP 같은 방법론은 특정 특징이 점수와 '상관관계'가 있다는 것은 보여주지만, "어떤 국소적 시각 변화가 실제 인간의 판단을 바꿀 것인가?"라는 인과적(Causal) 질문에는 답하지 못합니다.
• 도시 설계와의 괴리: 도시 설계 이론은 녹지, 유지보수, 가시성 등이 안전 인지에 영향을 준다고 말하지만, 실제 특정 장면(Scene)에서 어떤 구체적인 변화가 인지를 전환시키는지에 대한 검증된 실험적 프레임워크가 부족합니다.

2. 방법론 (Methodology)

본 논문은 장면 수준의 설명 가능성을 **'구조화된 반사실적 편집(Structured Counterfactual Edits)'**에 대한 탐색 문제로 재정의하는 **레버 기반 개입 프레임워크(Lever-based Interventional Framework)**를 제안합니다.

핵심 구성 요소: 레버(Lever) $l = (c, s, d, \tau)$

• $c$ (Concept): 의미론적 개념 (예: 그래피티, 녹지)
• $s$ (Support): 지형적 근거 (편집이 일어날 공간적 위치)
• $d$ (Direction): 개입 방향 (추가, 제거, 수리)
• $\tau$ (Template): 제약된 편집 템플릿

3단계 파이프라인:

1. Phase 1: 레버 후보 생성 (Lever Candidate Construction): VLM(Vision-Language Model) 플래너를 사용하여 이미지 내에서 적용 가능한 레버 후보군($L(x)$)을 식별합니다.
2. Phase 2: 제한적 확률적 개입 (Bounded Stochastic Intervention): 프롬프트 기반 확산 모델(Diffusion Model)을 사용하여 이미지를 편집합니다. 편집된 이미지는 VLM 비평가(Critic)를 통해 4가지 유효성 검사(장소 보존, 국소성, 사실성, 타당성)를 거쳐 유효한 편집 세트($V(x)$)로만 남습니다.
3. Phase 3: 모델 기반 평가 (Model-based Evaluation): 유효한 편집본에 대해 사전 학습된 인지 모델($f_a$)을 적용하여, 원본 대비 인지 점수의 변화량($\Delta_i$)을 계산합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: 도시 인지 분석을 위해 구조화된 레버 개입 공식을 도입하여 설명 가능성을 정량화했습니다.
2. 생성 및 감사 파이프라인: 프롬프트 기반 편집의 한계(의도치 않은 변화)를 극atic하기 위해 VLM을 활용한 자동 유효성 감사(Validity Audit) 프로세스를 구축했습니다.
3. 파일럿 벤치마크 구축: 5개 도시, 50개 장면을 대상으로 한 파일럿 연구를 통해 편집 가능성과 인지 변화의 방향성을 보고했습니다.

4. 연구 결과 (Results)

50개 장면에 대해 177개의 유효한 편집을 수행한 결과는 다음과 같습니다.

• 레버 유형별 효과 (Proxy Safety-score Shifts):
  • Mobility Infrastructure (이동 인프라): 가장 큰 평균 점수 상승(+0.579)을 보였으며, 차선 및 횡단보도 재도색이 주도했습니다.
  • Physical Maintenance (물리적 유지보수): 가장 광범위하고 일관된 긍정적 효과(+0.344)를 보였습니다 (그래피티 제거, 표면 청소 등).
  • Environmental Amenity (환경적 편의): 녹지 추가(+0.650)는 매우 긍정적이었으나, 조명 수리나 수목 관리(Canopy management)는 오히려 부정적인 경향을 보였습니다.
• 도시별 차이: 샌프란시스코와 산티아고는 긍정적인 인지 변화가 두드러진 반면, 아부자와 싱가포르는 변화가 미미하거나 음수였습니다.
• 유효성 진단: 제안된 후보 중 약 70.8%가 유효성 검사를 통과했습니다. 조명 수리(Lighting repair)의 경우 유효성 통과율이 낮아 편집의 어려움을 보여주었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• XAI(설명 가능한 AI)의 패러다임 전환: 단순히 "어느 픽셀이 중요한가"를 찾는 사후적(Post-hoc) 분석에서 벗어나, **"어떤 의미론적 변화가 인지를 바꾸는가"**라는 인과적이고 구조적인 설명 방식을 제시했습니다.
• 도시 계획을 위한 우선순위 도출: 본 연구는 인간의 직접적인 평가를 수행하기 전, 어떤 시각적 요소(레버)가 인지 변화에 가장 효과적인지 우선순위를 정할 수 있는 가이드라인을 제공합니다.
• 한계 및 향후 과제: 현재는 모델 기반의 대리 지표(Proxy)를 사용했으므로, 향후 인간의 실제 쌍체 비교(Pairwise judgement)를 통한 검증과 생성 모델의 제어력(Control) 향상이 필요함을 명시했습니다.