Prosocial Persuasion at Scale? Large Language Models Outperform Humans in Donation Appeals Across Levels of Personalization

논문 개요: 대규모 규모에서의 친사회적 설득

이 연구는 대규모 언어 모델 (LLM) 이 생성한 기금 모금 호소문 (donation appeals) 이 인간이 작성한 콘텐츠보다 친사회적 행동 (기부) 을 유도하는 데 더 효과적인지, 그리고 개인화 (Personalization) 가 이러한 설득력에 어떤 영향을 미치는지 실증적으로 검증한 연구입니다.

1. 연구 배경 및 문제 제기 (Problem)

• 배경: LLM(예: ChatGPT, Gemini 등) 은 방대한 양의 텍스트를 생성할 수 있으며, 기존 연구들은 주로 LLM 이 허위 정보 (misinformation) 를 확산시키는 위험성에 집중해 왔습니다.
• 문제: LLM 이 친사회적 행동 (기부, 자원봉사 등) 을 촉진하는 데 얼마나 효과적인지는 아직 충분히 연구되지 않았습니다. 특히, LLM 이 인간의 감정과 도덕적 동기를 자극하여 '비용이 드는 행동 (costly behavior)'인 기부를 유도할 수 있는지, 그리고 인간 작성자와 비교했을 때 어떤 차이가 있는지 명확하지 않았습니다.
• 개인화의 모호성: 개인화된 메시지가 설득력을 높인다는 이론적 근거는 있으나, LLM 의 맥락에서 개인화의 효과가 일관되게 입증된 바는 없으며, 오히려 역효과를 낼 수도 있다는 우려가 존재합니다.

2. 연구 방법론 (Methodology)

저자들은 두 가지 사전 등록 (preregistered) 된 온라인 실험 (Study 1, Study 2) 을 수행했습니다.

• 실험 설계:

  • 요인: 2(콘텐츠 출처: 인간 vs. LLM) × 3(개인화 수준: 개인화됨 vs. 일반적 vs. 허위 개인화) 의 within-subjects 요인 설계.
  • 과업: 참가자들은 6 개의 서로 다른 자선 단체를 위한 소셜 미디어 게시물 (기부 요청) 을 읽었습니다.
  • 종속 변수:
    1. 기부 행동: 참가자가 받은 보너스 ($0.10) 를 자선 단체에 얼마나 기부했는지.
    2. 참여도 (Engagement): '좋아요/중립/싫어요' 버튼 클릭.
    3. 설득력 인식: 7 점 리커트 척도로 평가한 설득력.
  • LLM 모델: 모든 LLM 콘텐츠는 gpt-4.5-preview 를 사용하여 생성되었습니다.

• Study 1:

  • 참가자: 미국 대표성을 갖춘 658 명 (N=750 중 67 명 제외).
  • 인간 작성자: 행동과학 전공 대학원생 및 박사과정 학생 (16 명).
  • 개인화 전략: 참가자의 인구통계학적 데이터 (연령, 성별, 정치 성향, 종교성) 를 기반으로 24 개의 타겟 군집으로 분류하여 메시지를 맞춤화하거나, 의도적으로 잘못된 정보 (허위 개인화) 를 제공했습니다.

• Study 2:

  • 목적: Study 1 의 결과를 일반화하고 인간 작성자의 성능을 극대화하여 비교합니다.
  • 인간 작성자: 연구 참가자와 동일한 인구통계학적 배경을 가진 일반인 (Prolific 사용자, 164 명).
  • 인센티브: 인간 작성자들은 자신의 인구통계학적 군집을 타겟으로 글을 썼으며, 가장 효과적인 글을 쓴 상위 10 명에게 추가 보너스를 지급하여 동기를 부여했습니다.
  • 결과: 최종 분석 샘플 642 명.

3. 주요 결과 (Key Results)

A. 콘텐츠 출처의 효과 (LLM vs. 인간)

• 일관된 우위: 두 실험 모두에서 LLM 이 생성한 콘텐츠가 인간이 작성한 콘텐츠보다 기금액, 참여도, 설득력 평가에서 모두 통계적으로 유의미하게 높았습니다.
  • Study 1: LLM 콘텐츠는 기부금 (평균 14.2% vs 12.7%), 참여도, 설득력에서 인간보다 우세했습니다.
  • Study 2: 인간 작성자의 동기를 극대화했음에도 불구하고, LLM 콘텐츠가 여전히 더 높은 기부금 (13.3% vs 10.5%) 과 설득력을 보였습니다.

B. 개인화의 효과

• 허위 개인화의 역효과: 두 실험 모두에서 잘못된 정보로 맞춤화된 메시지 (False Personalization) 는 일반적 메시지나 정확한 개인화 메시지보다 기부와 참여도가 현저히 낮았습니다. 특히 LLM 콘텐츠에서 허위 개인화의 역효과가 두드러졌습니다.
• 정확한 개인화의 효과:
  • Study 1: 개인화 메시지가 일반적 메시지보다 기부를 증가시킨다는 유의미한 차이는 발견되지 않았습니다.
  • Study 2: 인간 작성자가 자신의 타겟 군집을 위해 글을 썼을 때, 정확한 개인화 메시지가 일반적 메시지보다 기부를 유의미하게 증가시켰습니다. 이는 작성자와 수신자 간의 정합성 (alignment) 이 중요함을 시사합니다.

C. 상호작용 효과

• LLM 과 인간 작성자 간의 상호작용은 기금액에서는 유의미하지 않았으나, 참여도와 설득력 평가에서는 개인화 유형에 따라 차이가 있었습니다. 특히 LLM 의 경우 허위 개인화에 대한 부정적 반응이 인간보다 더 강하게 나타났습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. LLM 의 친사회적 설득 능력 입증: 기존 연구가 LLM 의 위험성 (허위 정보) 에 집중했던 것과 달리, 본 연구는 LLM 이 인간보다 더 효과적으로 비용이 드는 친사회적 행동 (기부) 을 유도할 수 있음을 최초로 실증적으로 증명했습니다.
2. 개인화의 조건적 효과 규명: 개인화가 항상 긍정적인 것은 아니며, 정확한 데이터 기반의 맞춤화가 필수적임을 보여줍니다. 잘못된 개인화 (False Personalization) 는 신뢰를 떨어뜨려 오히려 역효과를 낳습니다.
3. LLM 과 인간 작성자의 비교 벤치마킹: 행동과학 전문가 (Study 1) 와 동기 부여된 일반인 (Study 2) 을 모두 포함한 비교를 통해, LLM 의 우위가 특정 작성자 그룹에 국한된 것이 아님을 확인했습니다.
4. 실무적 시사점: 자선 단체 및 마케팅 전문가들에게 LLM 을 활용한 대규모 설득 캠페인의 가능성을 제시하며, 데이터의 정확성을 확보하여 개인화를 수행해야 함을 강조합니다.

5. 결론 및 한계 (Conclusion & Limitations)

• 결론: LLM 은 대규모로 친사회적 행동을 촉진하는 강력한 도구가 될 수 있습니다. 하지만 개인화는 데이터의 정확성에 의존하며, 부정확한 개인화는 설득력을 떨어뜨립니다.
• 한계 및 향후 연구 방향:
  • 연구 대상이 미국 (WEIRD 사회) 으로 제한되어 있어 문화적 차이를 반영하지 못했습니다.
  • 메시지 작성자가 AI 임이 공개되지 않았을 때의 효과였으므로, AI 작성자 공개 (Disclosure) 가 설득력에 미치는 영향에 대한 추가 연구가 필요합니다.
  • 상호작용적인 대화 (Interactive dialogue) 가 아닌 일방향 메시지 형태에 국한되었습니다.

이 연구는 LLM 기술이 단순한 정보 생성 도구를 넘어, 사회적 가치를 창출하는 친사회적 설득의 핵심 도구로 자리 잡을 수 있음을 시사합니다.