The Geography of Algorithmic Judgment: LLM Intermediaries, Place Identity, and Racial Steering in Housing Search

기술 요약: 알고리즘적 판단의 지리학

문제 정의
대규모 언어 모델(LLM)은 주거 검색의 중개자로서 기능하며, 대화형 인터페이스를 통해 정보와 추천에 대한 접근을 매개하는 역할을 점점 더 많이 수행하고 있습니다. 이러한 도구들은 효율성을 제공하지만, 훈련 데이터에 존재하는 역사적 격리와 차별의 패턴을 증폭시킬 수 있다는 심각한 우려가 있습니다. 구체적으로, 본 논문은 알고리즘이 특정 인종 정체성을 가진 사용자를 특정 지역으로 유도하거나 혹은 그로부터 멀어지게 함으로써 '인종적 스티어링(racial steering, 인종적 유도)'을 발생시켜 공정주거법(Fair Housing Act, FHA)을 위반할 가능성을 다룹니다. 정적인 인구 통계적 단서에 의존했던 기존 연구들과 달리, 본 연구는 스티어링이 사용자의 정체성, 명시된 라이프스타일 선호도, 그리고 특정 도시 환경에 대한 모델의 내재된 공간 논리 사이의 복잡한 상호작용으로부터 발생하는 창발적 행동인지 조사합니다.

연구 방법론
저자들은 시카고, 휴스턴, 뉴욕시, 로스앤젤레스를 대상으로 7개의 LLM(GPT-4o, Claude Sonnet, Gemini 2.0 Flash와 같은 폐쇄형 모델 및 Llama 3.1, DeepSeek V3와 같은 오픈 웨이트 모델 포함)에 대해 행동 감사(behavioral audit)를 실시했습니다.

• 실험 설계: 공정 주거 집행 방식에서 채택된 쌍체 테스트(paired-testing) 방법론을 활용하여, 세 가지 조건에 걸쳐 반복적인 프롬프팅을 수행했습니다:
  • P0 (기초선): 인구 통계적 단서(흑인, 히스패닉, 백인 또는 중립/미지정)에만 기반한 추천.
  • P1 (선호도 조건부): 특정 라이프스타일 선호도(예: 예산 제약, 가족 요구사항, 안전, 보행 편의성 등)를 포함한 추천.
  • P2 (추론된 우선순위): 모델에게 명시된 선호도를 바탕으로 사용자의 우선순위를 추론하고 이에 따라 행동하도록 요청하는 추천.
• 데이터 수집: 데이터셋은 총 20,160개의 데이터 포인트(모델당 2,880개)로 구성되었으며, 각 실행마다 5개의 추천 우편번호(zip code)와 근거 키워드를 생성했습니다.
• 분석 지표:
  • 추천 확률 (PoR): 특정 인종 그룹에 대해 특정 우편번호가 추천되는 비율을 계산했습니다.
  • 스피어먼 상관계수 (Spearman's Correlation): 특정 우편번호 내 특정 인종 그룹의 비율과 해당 그룹에 대한 PoR 사이의 관계를 측정했습니다.
  • 기회 지수 (Opportunity Index): 7가지 인구 조사 변수(소득, 빈곤, 자가 소유율 등)를 기반으로 한 복합 z-점수 측도로서, 추천된 지역에 대한 실질적인 기회 접근성을 평가했습니다.
  • 점 패턴 분석 (Point Pattern Analysis): 우편번호 간의 공간적 확산 효과(spatial spillover effects)를 고려하기 위해 사용되었습니다.

주요 기여

1. 다중 모델에 대한 행동 감사: 본 연구는 단일 모델 평가를 넘어 시스템적 경향을 평가하기 위해 7개의 서로 다른 LLM에 대한 비교 분석을 제공합니다.
2. 맥락화된 프롬프팅: 단순한 인구 통계적 단서를 넘어 반복적인 선호도 기반 프롬프팅을 도입함으로써, 스티어링이 단순히 인구 통계적 신호뿐만 아니라 사용자의 정체성을 해석하는 과정을 통해 어떻게 매개되는지를 입증합니다.
3. 지리적 특수성: LLM 평가 결과가 도시 간에 일반화될 수 있다는 가설에 이의를 제기하며, 지역의 도시 역사와 사회경제적 특성이 스티어링 패턴에 어떻게 중요한 영향을 미치는지 강조합니다.
4. 완화 테스트: 프롬프트 수준의 개입(맥락 추가 또는 추론 요청)의 효과를 평가하였으며, 이러한 전략이 인구 통계 그룹과 도시에 따라 불균등한 결과를 낳는다는 점을 발견했습니다.

결과

• 창발적 스티어링: 스티어링은 모델의 정적인 속성이 아니라 모델의 해석적 재량(interpretive license)에 따른 창발적 행동임이 밝혀졌습니다. 기초선(P0)에서도 존재했으나, 선호도 맥락(P1 및 P2)이 추가됨에 따라 스티어링 행동을 보이는 모델의 수가 증가하거나 재구성되는 경우가 많았습니다.
• 인구 통계적 차이:
  • 흑인 테스트 케이스: 모든 도시와 조건에서 일반적으로 흑인 다수 거주 지역으로 향하는 '긍정적 스티어링(affirmative steering)'을 경험했으며, 그 크기는 다양했습니다. 휴스턴의 경우, 선호도 조건(P1/P2)이 이러한 스티어링을 눈에 띄게 역전시키거나 제거했습니다.
  • 백인 테스트 케이스: 방향의 변화가 가장 적은 상태로 일관되게 백인 다수 거주 지역으로 유도되었습니다.
  • 히스패닉 테스트 케이스: 가장 가변적인 행동을 보였으며, 스티어링의 방향과 크기가 도시와 프롬프트 조건에 따라 크게 변화했습니다.
• 도시별 패턴:
  • 로스앤젤레스: 흑인 테스트 케이스에 대해 가장 높은 규모의 스티어링을 보였습니다 (예: Mistral 90%).
  • 휴스턴: 선호도가 도입되었을 때 흑인 및 히스패닉 그룹의 스티어링 방향이 역전되는 것을 포함하여 불규칙한 행동을 보였습니다.
  • 시카고: 가족 기반 프롬프트(PF3)는 GPT-4o 및 Claude와 같은 모델이 흑인 사용자에게 기회 지수가 낮은 사우스 사이드(South Side) 우편번호를 추천하게 한 반면, 동일한 선호도를 가진 백인 및 히스패닉 사용자는 노스 사이드(North Side)의 높은 기회 지수 지역으로 추천했습니다.
• 추론 프롬프팅 (P2): 모델에게 우선순위를 추론하도록 요구하는 것은 불균등한 결과를 낳았습니다. 흑인 사용자의 경우 스티어링 규모를 줄이는 경우가 많았고, 히스패닉 사용자의 경우 스티어링을 제거하거나 역전시키는 경우가 있었으나, 백인 사용자의 경우 결과가 노이즈가 많고 도시 의존적이었습니다.

의의 및 주장
본 논문은 LLM에서의 스티어링이 단순히 인구 통계적 편향의 함수가 아니라, 모델이 특정 인구 통계적 특성을 가진 사용자에 대해 특정 욕구(예: "안전", "커뮤니티")가 무엇을 의미하는지 해석하는 방식의 결과라고 주장합니다. 저자들의 주장은 다음과 같습니다:

• 도시는 중립적인 단위가 아니다: 한 지역 시장의 결과가 다른 지역으로 일반화될 수 있다고 가정해서는 안 됩니다. AI 도구가 장소 기반 섹터에서 사용될 때, 스티어링은 사용자 정체성과 지역적 공간 논리의 상호작용에서 발생하므로 현지 전문 지식이 필요합니다.
• 해석적 재량 (Interpretive License): 모델이 보유한 '해석적 재량'(즉, 선호도를 위치로 변환하는 방식)이 스티어링의 주요 메커니즘입니다. 이는 모델이 사용자의 인종 정체성에 따라 동일한 주거 선호도를 다르게 해석할 수 있음을 시사합니다.
• 공정 주거에 대한 위험: LLM이 주거 검색의 인프라가 됨에 따라, 이들은 공간적 불평등의 지도를 재현하고 모델이 '적절하다'고 간주하는 대안으로부터 사용자의 가시성을 제한할 위험이 있습니다.
• 도메인 판단의 필요성: 저자들은 부동산 전문가의 의도적인 개입과 비판적 판단 없이는 LLM이 불평등한 패턴을 재생산하는 새로운 메커니즘이 될 수 있다고 결론짓습니다. 이들은 AI 도구가 이러한 목표를 약화시키지 않도록 하기 위해서는 도메인 특화된 전문 지식이 필요함을 강조합니다.