What Helps Language Models Predict Human Beliefs: Demographics or Prior Stances?
이 연구는 인구통계학적 데이터와 사전 입장을 사용하여 거대 언어 모델이 인간의 신념을 어떻게 예측하는지 평가하며, 두 유형의 정보를 결합했을 때 가장 좋은 결과를 얻지만 그 상대적인 예측 가치는 서로 다른 신념 영역에 따라 크게 달라진다는 것을 발견했다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신은 낯선 사람이 특정 주제(예를 들어, 유령의 존재를 믿는지, 혹은 고양이와 개 중 무엇을 더 좋아하는지)에 대해 어떻게 생각할지 추측하려고 노력하고 있다고 상상해 보십시오. 당신에게는 그 추측을 하기 위한 두 가지 주요 방법이 있습니다.
- "그 사람이 누구인가"라는 단서: 당신은 그 사람의 배경을 살펴봅니다. 젊은지 혹은 나이가 많은지? 남성인지 혹은 여성인지? 도시에 사는지 혹은 농촌에 사는지? 종교나 정치적 성향은 무엇인지?
- "그 사람이 이전에 말했던 것"이라는 단서: 당신은 그 사람이 이미 찬성하거나 반대했던 다른 일들의 목록을 살펴봅니다. 예를 들어, 만약 그가 이전에 "나는 매운 음식을 싫어해"라고 말했다면, 당신은 그가 새로운 매운 요리도 좋아하지 않을 것이라고 추측할 수 있습니다.
이 논문은 단순한 질문을 던집니다. 이 두 가지 단서 중 어떤 것이 컴퓨터(구체적으로는 거대언어모델, 즉 LLM)가 인간의 신념을 더 잘 추측하게 만들까요?
실험: 디지털 토론 클럽
연구진은 온라인 토론 웹사이트인 Debate.org의 거대한 아카이브를 사용했습니다. 이것은 수백만 명의 사람들이 "기후 변화는 실재하는가?"와 같은 심각한 문제부터 "배트맨이 슈퍼맨보다 더 멋진가?"와 같은 재미있는 주제에 이르기까지 수천 가지 주제에 대해 "예" 또는 "아니오"라고 투표한 방대한 논쟁의 도서관이라고 생각하면 됩니다.
연구진은 9가지의 서로 다른 AI 모델(추측자들)을 선정하여 그들에게 도전 과제를 주었습니다: 특정 사용자가 새로운 주제에 어떻게 투표할지 예측하라.
무엇이 가장 효과적인지 알아보기 위해, 연구진은 모든 사용자에 대해 실험을 네 번 실시했습니다:
- 맹목적 추측 (The Blind Guess): AI는 사용자에 대해 아무것도 모릅니다. 그저 평균적인 사람이 어떻게 생각하는지를 바탕으로 추측합니다.
- 배경 조사 (The Background Check): AI는 사용자의 연령, 성별, 정치 성향, 종교는 알지만, 그 사람이 이전에 무엇을 믿었는지는 전혀 모릅니다.
- 이력 확인 (The History Check): AI는 사용자의 배경은 전혀 모르지만, 그 사람이 이전에 투표했던 목록은 알고 있습니다.
- 풀 패키지 (The Full Package): AI는 배경 정보와 과거 이력을 모두 알고 있습니다.
결과: 주제에 따라 다르다
연구 결과, 단 하나의 "최고의 방법"은 없다는 것이 밝혀졌습니다. 그것은 전적으로 무엇을 추측하느냐에 달려 있습니다.
1. "정체성" 관련 주제 (정치, 종교, 사회)
- 비유: 누군가가 특정 정당을 지지하는지 추측하려고 한다고 상상해 보십시오.
- 효과적인 것: **그 사람이 누구인지(인구통계학적 정보)**를 아는 것이 엄청나게 강력했습니다. 만약 당신이 도시 지역에 사는 25세 자유주의자라는 것을 안다면, AI는 그 사람의 과거 투표 기록을 알지 못하더라도 그 사람의 정치적 견해를 매우 잘 예측할 수 있습니다.
- 이유: 이러한 신념은 사회적 집단 및 정체성과 밀접하게 연결되어 있습니다. AI는 비슷한 배경을 가진 사람들이 서로 비슷하게 생각한다는 것을 학습했습니다.
2. "개인적 취향" 관련 주제 (스포츠, 엔터테인먼트, 자동차, 여행)
- 비유: 누군가가 영화 어벤져스를 좋아하는지 혹은 레이커스 팀을 좋아하는지 추측한다고 상상해 보십시오.
- 효과적인 것: **그 사람이 이전에 말했던 것(이전의 신념)**이 승자였습니다. 누군가가 "25세 남성"이라는 사실은 별로 도움이 되지 않았습니다. 하지만 만약 AI가 그가 이전에 "나는 슈퍼히어로 영화를 좋아해"에 "예"라고 투표했다는 것을 알았다면, 새로운 슈퍼히로 영화에도 "예"라고 투표할 것이라고 쉽게 추측할 수 있었습니다.
- 이유: 이러한 선호도는 개인적(idiosyncratic)입니다. 이는 사회적 배경이나 성별이 아니라, 개인적인 경험과 구체적인 관심사에 의해 형성됩니다.
3. "풀 패키지" (두 가지 단서 모두)
- 대부분의 경우, AI에게 배경 정보와 이력을 모두 제공했을 때 가장 좋은 결과를 얻었습니다. 이것은 마치 한 사람에 대한 완전한 조사 보고서를 가진 것과 같습니다.
- 하지만, 두 번째 단서를 추가하는 것이 오히려 AI의 추측 능력을 저하시키는 경우도 있었습니다. 예를 들어, AI가 과거 투표를 바탕으로 스포츠 선호도를 이미 잘 맞히고 있었는데, 여기에 사용자의 연령 정보를 추가하자 오히려 AI가 혼란을 느껴 정확도가 떨어지는 경우가 있었습니다.
핵심 결론
이 논문은 AI 모델이 인간의 신념이 어떻게 연결되는지 이해하는 능력이 향상되고 있지만, 완벽하지는 않다고 결론짓습니다.
- 그들은 "집단 사고"에 능숙합니다: AI는 사회적 정체성(정치 등)과 결합된 신념을 쉽게 예측할 수 있는데, 이는 유사한 배경을 가진 수백만 명의 사람들이 비슷한 것을 말하는 것을 보았기 때문입니다.
- 그들은 "개인적 패턴"을 더 잘 파악합니다: AI는 한 사람이 이전에 말한 것과 다음에 무엇을 말할 것 사이의 점들을 연결하는 데 놀라울 정도로 능숙하며, 특히 취미나 엔터테인먼트 분야에서 그러합니다.
- 한계점: 모든 정보를 가지고 있더라도 AI는 독심술사가 아닙니다. 인간의 신념은 항상 논리적이지도 않고, 사람들도 항상 일관적인 것도 아니기에 AI는 여전히 실수를 저지릅니다.
요약하자면: 만약 당신이 AI에게 당신의 정치적 견해를 맞히게 하고 싶다면, 당신이 누구인지 알려주십시오. 만로 당신이 가장 좋아하는 영화를 맞히게 하고 싶다면, 당신이 이전에 무엇을 좋아했는지 보여주십시오. 그리고 만약 두 가지를 모두 준다면, 그것이 보통 최선의 결과를 낼 것입니다—단, 그 추가 정보가 문제를 혼란스럽게 만들지 않는다는 전제하에 말입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.