💬 NLP

"Not in My Backyard": LLMs Uncover Online and Offline Social Biases Against Homelessness

이 논문은 온라인과 오프라인 담론 전반에 걸쳐 노숙에 대한 사회적 편견을 추적하기 위한 새로운 다중 도메인 코퍼스와 감사 프로토콜을 소개하며, 대규모 언어 모델이 이러한 편견을 식별할 수는 있지만 "님비(NIMBY)" 정서를 체계적으로 과잉 탐지하고 사실적 주장을 과소 탐지하는 상당한 미교정 문제를 겪고 있음을 밝힌다.

원저자: Jonathan A. Karr, Benjamin F. Herbst, Matthew L. Sisk, Xueyun Li, Ting Hua, Matthew Hauenstein, Georgina Curto, Nitesh V. Chawla

게시일 2026-07-21

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jonathan A. Karr, Benjamin F. Herbst, Matthew L. Sisk, Xueyun Li, Ting Hua, Matthew Hauenstein, Georgina Curto, Nitesh V. Chawla

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 수백만 명의 사람들이 매초 자신의 생각, 불만, 이야기를 외쳐대는 거대하고 혼란스러운 광장이라고 상상해 보십시오. 이제, 그 외침 중 일부가 매우 심각하고 고통스러운 문제, 즉 잠잘 곳이 없는 사람들에 대한 것이라고 상상해 보십시오. 이것이 바로 "노숙자 문제"의 세계, 즉 사람들이 안전한 거처를 갖지 못한 상황입니다. 이 디지털 광장에서 사람들은 어디에 쉼터를 지을지, 노숙자들이 도움을 받을 자격이 있는지, 혹은 그들이 왜 그곳에 있는지에 대해 논쟁합니다. 때때로 이러한 논쟁은 도움이 되기도 하지만, 어떤 때는 편견, 공포, 또는 악의적인 고정관념으로 가득 차 있기도 합니다.

컴퓨터로 언어를 연구하는 과학자들(자연어 처리라는 분야)은 "스마트 로봇"이라 불리는 거대 언어 모델(LLM)을 만들었습니다. 이 로봇들을 수백만 권의 책, 트윗, 포럼 게시물을 눈 깜짝할 사이에 읽어내는 초고속 사서라고 생각하십시오. 그들의 임ఖ్య은 종종 "편향 탐지기" 역할을 수행하며, 특정한 유형의 못되거나 불공정한 발언을 찾아내기 위해 소음 속을 스캔하는 것입니다. 하지만 여기에는 함정이 있습니다. 로봇이 빠르고 많은 양을 읽었다고 해서, 그것이 읽고 있는 내용의 감정이나 맥락을 이해한다는 뜻은 아닙니다. 로봇은 질문을 공격으로 오해하거나, 집(house)이라는 단어를 언급하는 것이 누군가 노숙자를 미워한다는 뜻이라고 생각할 수도 있습니다. 이 논문은 결정적인 질문을 던집니다. 이 디지털 사서들이 진정한 불만과 혐오 섞인 편향을 실제로 구별할 수 있을까요, 아니면 그저 잘못된 단서들을 바탕으로 추측하고 있는 것일까요?

"내 집 앞은 안 돼(NIMBY)"의 혼동

이 연구에서 노트르담 대학교와 유엔 대학교의 연구진은 이 스마트 로봇들을 매우 구체적이고 까다로운 주제, 즉 노숙 경험자(PEH)에 대한 편향을 테스트하기로 했습니다. 그들은 로봇이 "내 집 근처에는 쉼터를 짓지 마라(Not In My Backyard, NIMBY)"—즉, "내 집 근처에 노숙자 쉼터가 들어서는 것을 원치 않는다"는 식의 표현을 정확히 포착할 수 있는지 확인하고 싶었습니다.

이를 위해 그들은 거대한 디지털 도서관을 구축했습니다. 그들은 Reddit 스레드, X(구 트위터) 게시물, 뉴스 기사, 그리고 실제 사람들이 정책에 대해 논쟁하는 시의회 회의록 등 네 가지 서로 다른 출처에서 10개 미국 도시의 텍젝트 50,447여 개를 수집했습니다. 이는 2015년부터 2025년까지의 10년을 아우릅니다.

하지만 도서관은 목록(카탈로그)이 좋아야 가치가 있습니다. 그래서 연구진은 로봇이 모든 것에 라벨을 붙이도록 내버려 두지 않았습니다. 대신, 그들은 인간 전문가들—비영리 단체에서 노숙자 인구와 함께 일하는 사람들—을 투입하여 선별된 1,698개의 게시물을 읽게 했습니다. 이 인간들은 "황금 표준(gold standard)", 즉 각 게시물이 실제로 무엇을 의미하는지 결정하는 진실의 전달자 역할을 했습니다. 그들은 "의견 표명"부터 "해로운 일반화", 그리고 당연히 "내 집 앞은 안 돼(NIMBY)"에 이르기까지 16가지 카테고리를 갖춘 상세한 체크리스트를 사용하여 텍스트에 라벨을 붙였습니다.

로봇의 커다란 실수

그 후 연구진은 여섯 가지 서로 다른 스마트 로봇(GPT-4.1, Gemini, LLaMA와 같은 유명한 모델 포함)에게 동일한 게시물을 읽고 라벨을 추측하도록 요청했습니다. 그들은 로봇이 꽤 잘 해낼 것이라고, 아마 까다로운 라벨의 약 43% 정도는 맞힐 것이라고 예상했습니다(이 점수를 "매크로-F1"이라고 부릅니다). 그리고 실제로도 로봇들은 서류상으로는 괜찮아 보였습니다. 그들은 제법 잘 해내고 있는 것처럼 보였습니다.

하지만 연구진이 더 자세히 들여다보았을 때, 결함을 발견했습니다.

그들은 로봇들이 거대한 "보정 오류(calibration error)"를 겪고 있다는 것을 발견했습니다. 빵을 토스트할 때마다 "불이야!"라고 비명을 지르는 너무 민감한 연기 감지기를 상상해 보십시오. 여기서 일어난 일이 바로 그것입니다. 테스트한 모든 로봇이 NIMBY 편향이 있다고 지나치게 성급하게 결론을 내렸습니다.

평균적으로, 로봇들은 인간 전문가에 비해 NIMBY 편향을 11.5 퍼센트 포인트나 과다하게 주장했습니다. 쉬운 말로 하자면, 인간이 "이 사람은 단지 사실을 말하고 있다"라고 했을 때, 로봇은 종종 "이 사람은 NIMBY다!"라고 외쳤습니다.

예를 들어, 누군가 "그들은 저렴한 주택을 가지고 있지만, 단점은 그것이 [도시 이름]에 있다는 것이다"라고 게시물을 올렸을 때, 인간은 이를 단순히 "사실을 진술"하거나 "의견을 표명"한 것으로 분류했습니다. 하지만 여섯 개의 로봇 중 네 개는 즉시 이를 "내 집 앞은 안 돼(NIMBY)"로 태그했습니다. 왜 그랬을까요? 로봇들이 두 가지 단순한 단서에 속았기 때문입니다.

주거 관련 단어: 텍스트에 "주택(housing)"이나 "저렴한 주택(affordable housing)"이 언급되면, 로봇은 누군가가 그것에 반대한다고 가정했습니다.
물음표: 게시물이 질문 형태라면, 로봇은 그것이 냉소적이고 수사적인 공격이라고 가정했습니다.

로봇들은 실제로 의미를 이해하는 대신, 얕은 단어 사전만을 바탕으로 "편향 맞히기 게임"을 하고 있었던 것입니다. 그들은 주거를 언급하는 것 자체가 주거에 대한 반대의 증거라고 취급했습니다.

"사실"에 대한 맹점

로봇들은 편향을 과다하게 주장했을 뿐만 아니라, 진실을 놓치기도 했습니다. 연구에 따르면 로봇들은 누군가가 실제로 사실이나 주장을 제공하고 있을 때 이를 포착하는 데 형편없었습니다. 그들은 사실적 진술을 무려 30.5 퍼센트 포인트나 과소 탐지했습니다.

이는 위험한 조합입니다. 만약 여러분이 시의회를 위해 여론을 모니터링하기 위해 이 로봇들을 사용한다면, 현실이 왜곡된 그림을 얻게 될 것입니다. (가짜 NIMBY 경보 때문에) 지역 사회가 실제보다 훨씬 더 적대적이고 쉼대에 반대한다고 생각하게 될 것이고, (로봇이 사실을 무시하기 때문에) 사람들이 근거 있는 정보를 훨씬 적게 제공하고 있다고 생각하게 될 것입니다.

이것이 미래에 의미하는 바

연구진은 단순히 문제점을 지적하는 데 그치지 않고, 해결 방법을 제시했습니다. 그들은 로봇의 가공되지 않은 수치를 그대로 믿어서는 안 된다는 것을 깨달았습니다. 설령 로봇이 "80% 정확하다"라고 말하더라도, 그것이 편향된 사람이 얼마나 많은지에 대해서는 거짓말을 하고 있을 수 있기 때문입니다.

이 논문은 도시나 조직이 노숙자에 대한 낙인을 추적하기 위해 이러한 AI 도구를 사용하고자 한다면, 반드시 "유병률 감사(prevalence audit)"를 실시해야 한다고 제안합니다. 이는 로봇이 수치를 부풀리고 있는지 확인하기 위해 신뢰할 수 있는 소수의 인간 전문가를 통해 로봇의 작업을 지속적으로 점검하는 것을 의미합니다. 또한 그들은 더 작고 로컬 환경에서 돌아가는 로봇(개인정보 보호를 위해 개인 컴퓨터에서 실행할 수 있는 것들)이 크고 비싼 로봇들보다 이 작업에 훨씬 더 서툴다는 것을 발견했습니다.

결국, 이 논문은 디지털 시대의 경고 라벨입니다. AI가 세상을 듣는 강력한 도구이긴 하지만, 현재로서는 매우 서투른 청취자라는 것을 보여줍니다. AI는 "주택"이라는 단어와 "물음표"를 듣고 누군가가 못되게 굴고 있다고 결론을 내려버립니다. 우리가 이 로봇들에게 사실과 두려움 사이의 미묘한 차이를 이해하도록 가르치기 전까지, 우리는 그들이 독단적으로 운영되도록 내버려 둘 수 없습니다. 우리가 단지 로봇의 상상력을 듣고 있는 것이 아닌지 확인하기 위해, 인간 전문가를 계속 과정에 참여시켜야 합니다.

기술 요약: "내 집 앞마당은 안 된다(Not in My Backyard)": LLM이 밝혀낸 노숙자 문제에 대한 온·오프라인 사회적 편향

1. 문제 정의

노숙자 문제는 지속적인 글로벌 과제로, 2025년 기준 미국에서 876,000명 이상의 노숙 경험자(PEH)가 기록되었습니다. 이 위기를 완화하는 데 있어 중요한 장벽은 노숙자를 비인간화하고, 대중의 인식을 형성하며, 정책 결정에 영향을 미쳐 종종 쉼터 및 서비스에 대한 거부로 이어지는 사회적 편향입니다. 온라인 텍스트 미디어(Reddit, X/Twitter, 뉴스)와 오프라인 시의회 담론은 대중의 의견을 반영하고 영향을 미치지만, 기존 자원들은 여러 도메인에 걸쳐 이러한 편향을 신뢰성 있게 모니터링할 수 있는 역량이 부족합니다.

OATH(Ranjit et al., 2024)와 같은 이전 연구는 X(Twitter)에 대한 전문가 주석을 제공했으나, 단일 플랫폼과 키워드에 국한되어 대규모 언어 모델(LLM)로 확장할 때 발생하는 레이블 사전 분포(label-prevalence)의 변화를 감사하는 데 실패했습니다. 지방 자치 단체 파트너들은 단순한 중복 점수 이상의 것을 필요로 합니다. 즉, 자동화된 모니터가 특정 낙인 카테고리(예: "내 집 앞마당은 안 된다" 또는 NIMBY)를 체계적으로 부풀리거나 축소하여 대중의 반발을 유도하는지 여부를 알아야 합니다.

2. 방법론

2.1 코퍼스 구축

저자들은 2015년부터 2025년까지 10개 미국 도시에서 수집된 50,447개의 텍스트로 구성된 최초의 다중 도메인 PEH 편향 코퍼스를 구축했습니다. 도시는 인구, 노숙자 비율, 지니 계수를 기준으로 kNN 매칭된 두 클러스터(소규모 5개, 대규모 5개)로 선정되었습니다. 데이터 소스는 다음과 같습니다:

Reddit: 게시물 및 댓글.
X (구 Twitter): 리포스트되지 않은 게시물.
뉴스: 기사.
시의회 회의: 녹취록 (일부 도시는 축문 그대로이며, 다른 도시는 Whisper를 통해 오디오/비디오를 텍스트로 변환함; 의제 요약은 제외됨).

텍스트는 11개 용어의 PEH 렉시콘(예: "homeless", "affordable housing", "unhoused")을 사용하여 검색되었으며, spaCy와 pydeidentify를 사용하여 개인 식별 정보(PII)를 익명화했습니다. 지리적 위치 정보가 1% 미만인 X 데이터의 경우, 다단계 지리 위치 파이프라인을 통해 사용자 위치를 추론하였으며, 2025년 표본에서 약 80%의 사용자를 성공적으로 찾아냈습니다.

2.2 분류 체계 및 주석(Annotation)

본 연구는 PEH 편향 탐지를 16개 카테고리의 다중 레이블 분류 작업으로 공식화합니다. 이 분류 체계는 OATH(Ranjit et al., 2024)의 9가지 프레임을 확장하여 플랫폼별 뉘앙스(예: 진정한 질문 vs 수사적 질문, 사실/주장 vs 관찰)를 포함합니다.

쉼터 입지 모니터링을 위해 **부정적 편향 프레임(Negative Bias Frame)**이 정의되었으며, 여기에는 다섯 가지 특정 카테고리가 포함됩니다:

수사적 질문 (Rhetorical question)
내 집 앞마당은 안 된다 (NIMBY)
해로운 일반화 (Harmful generalization)
적격/부적격 (Deserving/undeserving)
인종차목 (Racist)

1,698개의 층화된 골드 스탠다드 세트가 생성되었으며, 이는 비영리 파트너와 협력하여 훈련받은 3명의 평가자에 의해 주석이 달렸습니다. 주관성을 처리하기 위해 저자들은 평가자 간의 다수결(2-of-3)로 카테 category의 참조 레이블을 결정하는 소프트 레이벨링(soft labeling)(Fornaciari et al., 2021) 방식을 채택했습니다. 나머지 코퍼스는 몇 단계의 프롬프트(few-shot prompts)를 사용한 GPT-4.1을 사용하여 레이블링되었으며, 이는 정답(ground truth)이 아닌 "교사(teacher)" 주석 역할을 합니다.

2.3 평가 프로토콜

연구는 6개의 프롬프트된 LLM(zero-shot 및 few-shot)을 골드 스탠다드 세트와 벤치마킹합니다:

모델: GPT-4.1, Gemini 2.5 Pro, Grok-4, LLaMA 3.2 3B, Qwen 2.5 7B, Phi-4 Mini.
지표: Macro-F1 점수와 새로운 **사전 분포 격차 감사(prevalence-gap audit)**입니다. 사전 분포 격차( $\hat{\pi}_{model} - \pi_{ref}$ )는 골드 스탠다드와 비교하여 특정 카테고리의 양성 비율의 체계적 변화를 측정하며, 모델이 특정 편향을 과대 혹은 과소 태깅하는지 밝혀냅니다.

3. 주요 결과

3.1 벤치마크 성능

Macro-F1: 폐쇄형 API(GPT-4.1, Gemini 2.5 Pro)는 평균 약 43-44%(few-shot)의 중간 정도 성능을 달 remained했습니다. 로컬 모델(LLaMA, Phi-4, Qwen)은 더 낮은 약 **32%**의 평균 점수를 기록했습니다. Few-shot 프롬프팅은 미미한 개선을 제공했으나 로컬 모델과 폐쇄형 모델 사이의 격차를 좁히지는 못했습니다.
중간 수준의 F1 vs 체계적 오류: F1 점수는 실행 가능성을 시사했지만, 심각한 캘리브레이션 문제를 은폐했습니다.

3.2 사전 분포 격차 및 미캘리브레이션(Miscalibration)

사전 분포 격차 감사는 모든 모델에서 체계적인 미캘리브레이션을 드러냈습니다:

NIMBY 과다 태깅: 모든 모델이 "내 집 앞마당은 안 된다" 카테고리를 과다 태깅했습니다. 통합 평균 격차는 **+11.5 퍼센트 포인트(pp)**였습니다.
사실적 주장 과소 탐지: 모든 모델이 "사실/주장 제공" 레이블을 과소 탐지했으며, 통합 격차는 -30.5 pp였습니다.
모델 편차: Qwen은 GPT-4.1보다 약 10 F1 포인트 뒤처졌으나, NIMBY 과다 태깅은 GPT-4.1(+4.0 pp)보다 7배 더 나쁜 결과(+27.4 pp)를 보였습니다.

3.3 오류 분석

6개 제로샷(zero-shot) 모델 중 3개 이상이 NIMBY를 잘못 태깅한 합의된 거짓 양성(false positives) 항목을 분석한 결과, 특정 실패 모드가 확인되었습니다:

어휘적 대리 지표(Lexical Proxies): 모델들은 주거/노숙 관련 어휘의 존재 자체(거짓 음성에서는 72.2%였으나 거짓 양성에서는 89.7%)와 물음표(9.7% vs 32.5%)를 주민 반대의 대리 지표로 취급했습니다.
의도 탐지 결여: 모델들은 주거를 논의하는 텍스트(예: "그들은 그 모든 저렴한 주택을 가졌지만, 단점은 그것이 [도시 이름]에 있다는 것이다")와 주거 입지에 반대하는 텍스트를 구분하는 데 실패했습니다.
결과: 이는 공동체가 실제보다 더 쉼터에 반대하고 근거 기반의 태도를 갖추지 못한 것처럼 왜곡되는 결과를 초래합니다.

4. 기여

다중 도메인 코퍼스: 11개 용어의 PEH 렉시콘을 통해 10개 미국 도시의 Reddit, X, 뉴스, 시의회 녹취록을 아우르는 50,447개 항목의 코퍼스를 공개합니다.
골드 스탠다드 참조: 비영리 파트너 및 도메인 전문가와 협력하여 주관성을 처리하기 위해 소프트 레이벨링을 활용한 16개 카테고리의 1,698개 항목 층화 세트를 제공합니다.
사전 분포 격차 감사 프로토콜: F1 점수를 보완하여 레이블 사전 분포의 체계적 변화를 탐지하는 방법론을 제공하며, 이는 모니터링 도구에 필수적입니다.
LLM 벤치마킹 및 오류 분석: 중간 수준의 F1 점수가 어떻게 대규모 미캘리브레이션과 공존할 수 있는지 보여주며, 특히 모델이 주거 어휘와 질문 형식을 NIMBY의 대리 지표로 사용한다는 점을 식별했습니다.

5. 의의 및 주장

본 논문은 비영리 파트너와 공동 설계한, PEH 낙인을 모니터링하기 위한 최초의 다중 도메인 NLP 자원을 제공한다고 주장합니다. 주요 의의는 정확도(F1)만으로는 편향 모니터링에 충분하지 않다는 점을 입증한 데 있습니다. 사전 분포 격차 감사가 없다면, LLM은 대중의 의견을 체계적으로 왜곡하여 공동체가 실제보다 더 쉼터에 적대적인 것처럼 보이게 만들 수 있습니다.

저자들은 코퍼스와 감사 프로토콜이 지방 자치 단체에 재현 가능한 낙인 모니터링 기반을 제공한다고 강조합니다. 또한, LLM 기반 대시보드를 골드 스탠다드 참조 세트에 대한 정기적인 감사 없이 '그라운드 트루스(정답)'로 취급해서는 안 된다고 경고합니다. 이 연구는 "방향성 모니터링(directional monitoring)" 도구의 배포를 지원하지만, 이는 거짓 반대 신호의 증폭을 방지하기 위해 사전 분포 격차 상한선 및 정기적인 인간 참여형(human-in-the-loop) 검증과 병행되어야 합니다.

저자가 언급한 한계점:

골드 스탠다드는 주관적 편향에 대한 무결한 진리가 아닌 하나의 참조점입니다.
희귀 카테고리(예: "인종차별")는 골드 세트 내 양성 사례가 너무 적어 안정적인 사전 분포 격차 계산이 어렵습니다.
코퍼스는 10개 미국 도시에 국한되어 있으며 영어 텍스트만을 다루므로, 모든 글로벌 또는 사회경제적 맥락을 대표하지 못합니다.
소셜 미디어의 봇 활동은 검증되지 않았습니다.