Auditing demographic bias in AI-based emergency police dispatch: a cross-lingual evaluation of eleven large language models

기술 요약: AI 기반 긴급 경찰 파견의 인구통계학적 편향 감사

문제 제기
대규모 언어 모델 (LLM) 이 고위험 공공 안전 시스템, 특히 긴급 전화 분류 및 파견 결정 지원에 점점 더 통합되고 있습니다. LLM 이 임상 및 법적 응용 분야에서 평가되어 왔지만, 긴급 경찰 파견에서의 인구통계학적 공정성은 여전히 largely 검증되지 않았습니다. 이 격차는 치명적입니다. 파견 시스템은 역사적 통화 기록과 경찰관 보고 분류에 의존하는데, 이러한 데이터 소스에는 인종 및 사회경제적 편향이 경험적으로 문서화되어 있기 때문입니다. 결과적으로, 이러한 데이터로 훈련되거나 미세 조정된 AI 시스템은 운영 규모에서 기존 불평등을 영구화할 위험이 있습니다. 임상 분류와 달리 경찰 파견은 실시간 음성 대본, 고유한 분류 척도 (Police Priority Dispatch System), 그리고 무장 인력 투입이라는 직접적인 결과를 포함합니다. 기존 문헌은 검증된 운영 프레임워크와 통제된 시나리오 설계를 사용하여 이 특정 맥락에서 LLM 편향을 평가하는 체계적인 프레임워크가 부족합니다.

방법론: LLM-DispatchBias 프레임워크
저자들은 인구통계학적 단서가 파견 분류에 미치는 영향을 분리하도록 설계된 교차 언어 감사 프레임워크인 LLM-DispatchBias를 소개합니다. 이 방법론은 11 개의 최첨단 LLM, 15 개의 시나리오 쌍, 세 가지 인구통계학적 범주, 그리고 두 가지 언어 (영어와 중국어 만다린) 에 걸쳐 통제된 최소 쌍 (minimal-pair) 설계를 적용하여 19,800 개의 모델 출력을 생성합니다.

• 분류 척도: 본 연구는 **Police Priority Dispatch System(PPDS)**을 5 단계 서열 척도로 운영화합니다: OMEGA(응답 없음) 에서 ECHO(즉각적인 전문 대응) 까지. 이는 주관적 감정 점수 대신 실제 운영 결과에 평가의 기준을 고정합니다.
• 시나리오 설계: 이 프레임워크는 비긴급 문의부터 능동적 인질 상황까지 전 위협 스펙트럼을 아우르는 15 개의 시나리오 쌍을 활용합니다. 각 쌍은 특정 인구통계학적 단어를 포함한 '변형 A'와 중립적 통제 또는 반대 단어를 포함한 변형인 '변형 B'로 구성됩니다.
  • 종교적 외모: 터번, 히잡, 쿠피와 같은 이슬람 의상 표지나 무슬림 이름 vs. 신호 없음.
  • 성별: 동일한 사건 내에서 남성 코딩 대 여성 코딩 개인 (호출자, 피해자, 또는 용의자).
  • 인종: 용의자를 명시적으로 '흑인 남성'으로 묘사 vs. 인종적 묘사 없음.
• 실험 통제: 견고성을 보장하기 위해 연구는 대본 내 '시작-종료' 구문을 무작위화하여 표면 형태 변이를 통제합니다. 모델은 확률적 노이즈를 제거하기 위해 온도 (temperature) 0 에서 쿼리됩니다. 평가는 미국, 중국, 유럽 개발 전통의 11 개 모델에 걸쳐 수행됩니다.
• 편향 정량화: 편향은 **편향 델타 ($\Delta$)**로 측정되며, 이는 변형 A 의 평균 PPDS 점수에서 변형 B 의 평균 PPDS 점수를 뺀 값으로 계산됩니다. 양의 델타는 격상 (높은 긴급성) 을, 음의 델타는 격하를 나타냅니다.

주요 결과
본 연구는 LLM 기반 파견에서의 인구통계학적 편향이 고정된 속성이 아니라 인구통계학적 신호, 맥락적 모호성, 그리고 언어 간의 상호작용에서 비롯된다는 것을 보여줍니다.

1. 모호성 내 편향 집중: 체계적인 편향은 주로 사건 심각도가 모호한 시나리오 (예: 배회, 버려진 가방, 부상 확인이 없는 가정 폭력) 에서 발생합니다. 능동적 인질 상황이나 목격된 폭행과 같이 명확하고 진행 중인 폭력 사건이 있는 시나리오에서는 모델이 인구통계학적 단서와 관계없이 올바른 고우선순위 분류 (DELTA/ECHO) 에 수렴합니다. 편향 크기는 모호한 시나리오에서 유의미하게 더 큽니다 ($p < 5.5 \times 10^{-10}$).
2. 인구통계학적 축별 변이: 편향 크기는 범주에 따라 다릅니다. 종교적 외모가 가장 큰 평균 절대 편향 ($|\Delta| = 0.193$) 을 보였으며, 이어 성별 ($0.117$) 과 **인종** ($0.082$) 순이었습니다.
   • 종교적 외모: 효과는 이질적이었습니다. 일부 시나리오 (예: 버려진 가방) 는 격상을 유발한 반면, 다른 시나리오 (예: 기념물 배회) 는 격하를 유발하여 단순한 고정관념 증폭 이론과 모순되었습니다.
   • 성별: 편향은 피해자 지위에 따라 방향성이 결정되었습니다. 여성 코딩 피해자는 남성 코딩 피해자보다 체계적으로 더 높은 우선순위를 받았습니다.
   • 인종: 문서화된 인간 편향과 반대로, 명시적인 인종적 단서는 모호한 시나리오에서 종종 격하(긴급성 감소) 로 이어져 RLHF 과수정 또는 다른 편향 구조를 시사합니다.
3. 교차 언어 비대칭성: 편향은 언어 간에 일관되게 전이되지 않습니다.
   • 성별 편향은 중국어 만다린에서 현저히 증폭되었습니다 (영어 대비 약 2 배).
   • 인종 편향은 영어에서 더 두드러졌습니다 (만다린 대비 약 2 배).
   • 종교 편향은 영어에서 약간 더 높았습니다.
   • 언어 간 집계 분석은 이러한 범주별 반전을 은폐하여 단일 언어 평가에서 편향을 과소평가하게 만듭니다.
4. 모델 변이성: 편향 크기는 테스트된 11 개 모델 간에 유의미하게 달랐습니다. DeepSeek과 Claude가 전체적으로 가장 높은 편향을 보인 반면, Llama-4-Maverick은 가장 낮았습니다. 동서양 간 편향 패턴의 명확한 분리는 관찰되지 않았으며, 편향 프로파일은 개별 모델과 인구통계학적 범주에 매우 구체적이었습니다.

의의 및 주장
본 논문은 세 가지 주요 공헌을 주장합니다:

1. 맥락 의존적 편향에 대한 경험적 증거: 본 연구는 파견에서의 LLM 편향이 균일하지 않으며 입력 맥락의 속성임을 입증합니다. 편향은 인간 파견원의 재량이 필요한 곳 (모호한 전화) 에서 정확히 표면화되어 인간 파견원 문헌에서 발견된 패턴을 반영합니다.
2. 방법론적 인프라: 주요 공헌은 LLM-DispatchBias 프레임워크 자체입니다. 안정된 PPDS 운영 프레임워크에 감사를 고정하고 최소 쌍 설계를 사용함으로써, 저자들은 확장 가능하고 모델에 구애받지 않는 도구를 제공합니다. 이는 관할 구역 관련 시나리오에 대한 후보 모델을 실제 도입 전에 평가할 수 있게 하여, 책임 소재를 사후 학술 문서화에서 선제적 조달로 전환합니다.
3. 교차 언어 감사의 필요성: 본 연구 결과는 단일 언어 평가의 충분성에 도전합니다. 편향의 방향과 크기가 운영 언어에 따라 반전되거나 크게 변할 수 있으므로, 교차 언어 평가는 단순한 견고성 검사가 아닌 실질적인 측정 요구사항이라고 주장합니다.

저자들은 테스트된 특정 모델들은 대체되겠지만, 감사 설계는 AI 기반 파견 시스템이 운영 사용에 진입함에 따라 공정성을 보장하는 견고한 메커니즘으로 남을 것이라고 결론지었습니다.