OATH-Frames: Characterizing Online Attitudes Towards Homelessness with LLM Assistants

수백만 명의 사람들이 노숙자 문제와 같이 복잡하고 감정적인 이슈에 대해 어떻게 느끼는지 이해하려고 노력한다고 상상해 보십시오. 만약 당신이 그에 관한 모든 트윗을 읽으려 한다면, 눈 깜짝할 사이에 텍스트의 산더미에 파묻히게 될 것입니다. 그것은 마치 소방 호수에서 뿜어져 나오는 물을 컵으로 마시려는 것과 같습니다.

**"OATH-Frames"**라는 제목의 이 논문은 그 소방 호수 안에 실제로 무엇이 들어있는지 볼 수 있는 더 나은 안경을 만드는 것에 관한 것입니다. 연구진은 사회복지 전문가들과 강력한 AI(대규모 언어 모델)를 결합하여 미국의 노숙자 문제에 관한 240만 개의 트윗을 분류했습니다.

이 연구가 어떻게 진행되었는지, 이해하기 쉬운 부분들로 나누어 설명합니다.

1. 문제점: "일률적인" 안경

이 연구 이전에는, 만약 당신이 노숙자에 관한 트윗을 분석하고 싶다면, 단순히 "이 트윗은 무례한가?"(독성) 또는 "이 트위트는 행복한가 아니면 슬픈가?"(감성)만을 묻는 표준적인 도구들을 사용했을 것입니다.

연구진은 이러한 도구들이 마치 섞여 있는 과일 봉지를 오직 "빨간색"과 "초록색" 스티커만 사용하여 분류하려는 것과 같다고 주장합니다.

• 결함: 어떤 트윗은 "노숙자들은 게으르고 지저도다"라고 말할 수 있습니다. 표준적인 도구들은 이 문장이 "욕설"(낮은 독성)을 사용하지 않고, "행복"한 내용도 아니기 때문에(부정적 감성) 이를 놓칠 수 있습니다. 하지만 이 문장은 매우 해롭습니다.
• 현실: 사람들의 태도는 복잡합니다. 사람은 노숙자에게 동정심을 느끼는 동시에, 문제를 해결하지 못하는 정부에 대해 분노할 수도 있으며, 한 문장 안에 이 두 가지를 모두 담을 수 있습니다. 단순한 "좋음/나쁨" 라벨은 이러한 미묘한 차이를 놓칩니다.

2. 해결책: "OATH-Frames" 메뉴

연구진은 사람들이 노숙자에 대해 정확히 어떻게 이야기하고 있는지를 설명하기 위해 아홉 가지의 구체적인 카테고리(프레임)로 구성된 새로운 "메뉴"를 만들었습니다. 이것은 단순히 "음식"이라고 부르는 대신, 셰프의 테이스팅 메뉴를 제공하는 것과 같습니다.

그들은 이 아홉 가지 카테고리를 세 가지 주요 맛으로 그룹화했습니다.

• 비판 (불만 사항):
  • 정부 비판: 정치인이나 법을 비난함.
  • 사회적 비판: 사회나 "위선적인" 사람들을 비난함.
  • 자금 지원: 세금이 어디로 가야 하는지에 대해 논쟁함.
• 인식 (고정관념):
  • 해로운 일반화: 모든 노숙자를 도둑, 중독자, 혹은 게으른 사람으로 몰아세움.
    (예: "노숙자들은 다 도둑놈들이야.")
  • 자격 있는 자 vs 자격 없는 자: 특정 집단(예: 참전 용사)은 도움을 받을 자격이 있지만 다른 집단(예: 이민자)은 그렇지 않다고 논쟁함.
  • 님비 (NIMBY - 내 집 앞은 안 돼): "노숙자들을 반대하는 건 아니지만, 적어도 우리 동네는 아니었으면 좋겠어."
• 대응 (행동):
  • 해결책: 해결책, 쉼터 또는 정책 변화를 제안함.
  • 개인적 상호작용: 노숙자를 만난 경험이나 이야기를 공유함.
  • 미디어 묘사: 뉴스나 TV 프로그램이 노숙자 문제를 어떻게 다루는지에 대해 이야기함.

3. 과정: "인간과 AI의 댄스"

240만 개의 트윗을 사람이 직접 분류하려면 수년이 걸릴 것입니다. 그렇다고 AI에게만 맡기기에는 위험합니다. AI는 미묘한 사회적 신호(예: 반어법이나 특정 정치적 언급)를 오해할 수 있기 때문입니다.

그래서 그들은 **"인간-AI 댄스"**를 고안했습니다.

1. 전문가: 사회복지 전문가들이 먼저 규칙("메뉴")을 정의하고, AI가 무엇을 찾아야 하는지 학습시키기 위해 적은 양의 트윗에 라벨을 붙였습니다.
2. AI 조수 (GPT-4): AI가 수천 개의 트윗에 라벨을 붙이는 시도를 했습니다. AI가 혼란스러울 때는 자신의 추론 과정을 설명하도록 했습니다(마치 학생이 풀이 과정을 보여주는 것처럼).
3. 점검: 인간 전문가들이 AI의 "풀이 과정"을 검토하고 오류를 수정했습니다. 연구진은 AI가 힘든 일을 수행하게 하고 인간은 결과만 확인하는 방식을 통해, 정확도는 아주 약간 떨어지면서도 작업 속도는 6.5배 더 빨라졌음을 발견했습니다.
4. 최종 단계: 일단 AI가 전문가로부터 요령을 배우자, 연구진은 나머지 240만 개의 트윗을 스스로 분류할 수 있도록 더 작고 빠른 AI 모델을 훈련시켰습니다.

4. 발견한 내용: 숨겨진 패턴들

240만 개의 트윗을 이 아홉 가지 카테고리로 모두 분류하자, 이전에는 보이지 않았던 패턴들을 볼 수 있었습니다.

• "독성"의 사각지대: 연구진은 해로운 고정관념(예: 노숙자를 "지저분하다"고 부르는 것)을 포함하는 많은 트윗이 낮은 "독성" 점수를 가지고 있다는 것을 발견했습니다. 기존의 도구들은 이를 놓쳤지만, 새로운 "OATH-Frames"는 이를 잡아냈습니다.
• 지역에 따른 차이:
  • 캘리포니아, 워싱싱턴, 오리건에서는 해로운 일반화(고정관념)를 사용하는 경향이 더 높았습니다. 연구진은 이곳에 노숙자 인구가 더 많이 노출되어 있어, 이에 대한 직접적이고 때로는 부정적인 반응이 더 많기 때문이라고 생각합니다.
  • 뉴욕에서는 자격 있는 자 vs 자격 없는 자에 대한 논쟁이 더 많았습니다. 이는 뉴욕으로 유입되는 이주민 및 망명 신청자에 대한 뉴스 및 이와 관련된 논쟁과 연결된 것으로 보입니다.
• "우크라이나 vs 이민자"의 차이:
  • 사람들이 미국 노숙자를 우크라이나인과 비교할 때, 트윗은 주로 정부 비판과 자금 지원에 관한 것이었습니다 (예: "왜 우리는 여기 노숙자들이 있는데 우크라이나에 수십억 달러를 보내는가?").
  • 반면, 노숙자를 이민자와 비교할 때는 훨씬 더 적대적이었으며, 해로운 일반화와 NIMBY 태도가 가득했습니다 (예: "그들이 우리의 일자리/주거지를 뺏고 있다").
• 시간의 흐름: 큰 뉴스 이벤트(예: 러시아-우크라이나 전쟁 지원 논쟁)가 있을 때 특정 카테고리의 트윗이 급증했습니다. 의회가 우크라이나 원조를 논의할 때, "자금 지원"과 "자격 있는 자 vs 자격 없는 자"에 대한 논쟁이 폭발적으로 늘어났습니다.

핵심 요약

이 논문은 단순히 트윗의 개수를 센 것이 아니라, 컴퓨터에게 노숙자에 대한 인간의 분노, 동정심, 혼란의 미묘한 차이를 이해하는 법을 가르쳤습니다.

사회복지 전문 지식과 AI의 속도를 결합함으로써, 그들은 기존의 "무례함 vs 친절함" 탐지기가 놓치는 미묘하고 해로운 태도를 포착할 수 있는 도구를 만들었습니다. 그들은 우리가 사는 곳, 누구와 비교하는지, 그리고 현재 뉴스에서 무슨 일이 일어나고 있는지에 따라 노숙자에 대해 말하는 방식이 달라진다는 것을 보여주었습니다.

참고: 이 논문은 온라인상의 이러한 태도를 분석하여 연구자와 옹호 단체들이 여론을 더 잘 이해할 수 있도록 돕는 데 전적으로 집중합니다. 이 논문은 직접적으로 노숙자 문제를 해결하거나 임상적 조언을 제공한다고 주장하는 것이 아니라, 문제를 바라보는 더 명확한 렌즈를 제공하는 것입니다.