Replicating Human Motivated Reasoning Studies with LLMs

기술적 요약: LLM 을 활용한 인간 동기 부여 추론 연구 재현

문제 제기
동기 부여 추론 (motivated reasoning) 은 개인이 정보를 처리하여 정확한 신념에 도달하거나 (정확성 동기), 원하는 사전 결정된 결론에 도달하기 위해 (방향성 동기) 정보를 처리하는 잘 문서화된 인간 현상이다. 최근 연구는 특정 페르소나 (예: 정치적 소속) 를 부여받을 때 대형 언어 모델 (LLM) 이 인간과 유사한 행동을 보일 수 있음을 시사하지만, 페르소나 유도 없이 '기본 (base)' LLM 이 인간과 동일한 방식으로 동기 부여 조작에 취약한지는 여전히 불분명하다. 이러한 불확실성은 사회과학 연구에서 인간 의견 형성 및 논증 평가를 위한 LLM 의 대리인 (proxy) 사용의 타당성에 의문을 제기한다.

방법론
저자들은 10 개의 기본 LLM 을 사용하여 5 개의 모델 계열 (OpenAI, Google, Anthropic, Mistral, Qwen) 로 이전 정치학 분야의 네 가지 동기 부여 추론 연구 (Bolsen et al., 2014; Bolsen and Druckman, 2015; Druckman et al., 2013; Mullinix, 2016) 를 재현했다.

• 실험 설계: 본 연구는 '원샷 (one-shot)' 방식을 활용하여 모델에게 원본 인간 참가자와 동일한 정보, 동기 부여 조작 (예: 정당 지지와 같은 방향성 단서 vs. 공정한 평가와 같은 정확성 단서), 그리고 질문을 제공했다. 주요 실험에서는 동기 부여 단서의 효과를 격리하기 위해 성격 특성이나 인구통계학적 요소를 유도하지 않았다.
• 샘플링: 연구 구조를 유지하면서 계산 비용을 관리하기 위해 저자들은 원본 인간 참가자 수를 다운샘플링했다. 원본 연구에서 가장 작은 조건 샘플 크기 (44) 를 기준선으로 선택하여 다른 조건에 비례하는 응답 수를 생성했고, 이로써 모든 연구를 합쳐 총 3,574 개의 생성 결과를 도출했다.
• 평가 지표: 저자들은 다음과 같은 지표를 사용하여 LLM 출력과 인간 기준을 비교했다:
  • 켄달의 타우 (Kendall's Tau): 조건별 평균 LLM 응답과 인간 응답 간의 상관관계를 측정.
  • 부호 정확도 (Sign Accuracy): 통제 조건 대비 의견 변화 방향을 LLM 이 올바르게 예측했는지 확인.
  • 논증 평가: LLM 이 인지한 논증의 강도 (찬성 vs 반대) 와 최종 의견 간의 상관관계를 평가.
  • 비응답 분석: 특정 정보 조작이 비응답을 유발하는지 확인하기 위해 카이제곱 검정을 사용하여 '옵트아웃 (opt-out)' 비율 (모델이 답변을 거부한 사례) 을 측정.
• 견고성 검증: 추가 실험에는 모델에게 추론을 제공하도록 요청하는 것 (Chain-of-Thought) 과 연구 2 의 일부 하위 집합에서 인구통계학적 페르소나를 유도하여 이러한 요인이 결과를 변경하는지 테스트하는 것이 포함되었다.

주요 기여

1. 기본 LLM 은 인간의 동기 부여 추론을 모방하지 않음: 본 연구는 페르소나 유도 없이 기본 LLM 이 동기 부여 단서에 노출되었을 때 인간에서 관찰되는 방향성 또는 정확성 기반의 의견 변화를 재현하지 않는다는 증거를 제공한다.
2. 논증 평가의 불일치: 정책의 찬성과 반대 의견을 제시받았을 때, LLM 은 종종 논증 강도에 대한 평가와 결과적인 의견 사이에 불일치를 보여주며, 최종 입장과 일관되게 논증을 평가하는 인간의 경향을 모방하지 못한다.
3. 선택적 비응답: 연구는 정보 조작이 모델의 '옵트아웃' 가능성에 상당한 영향을 미친다고 규명했다. 이러한 비응답은 균일하지 않으며, 특정 연구 조건과 제공된 정보에 따라 달라지므로, 특정 설정에서 LLM 을 설문 조사 대리인으로 사용하는 신뢰성에 한계가 있다.
4. 페르소나 대 기본 행동: 이전 LLM 에서 관찰된 '동기'는 내재적인 동기 부여 추론 능력보다는 명시적인 페르소나 유도에 크게 의존한다는 사실이 밝혀졌다.

결과

• 인간과의 상관관계: 네 가지 연구 전반에 걸쳐 어떤 모델의 평균 응답과 인간 평균 간에도 강한 양의 상관관계 (켄달의 타우) 는 존재하지 않았다. 대부분의 상관관계는 약하거나, 음수이거나, 통계적으로 유의하지 않았다.
• 부호 정확도: LLM 은 통제 조건 대비 의견 변화 방향을 예측하는 데 낮은 정확도를 보였다. 연구 1 과 연구 3 의 경우 정확도 점수가 전반적으로 낮았으며, 몇몇 모델 (예: 연구 1 의 Mistral 8x7B) 만 중간 정도의 정확도를 보였다.
• 논증 강도: 모델은 인간과 유사한 방식으로 논증 강도를 일관되게 평가하지 못했다. 일부 모델이 연구 3 에서 중간 정도의 상관관계를 보였으나, 모든 모델이 연구 4 에서 약하거나 유의하지 않은 상관관계를 보였다.
• 옵트아웃 행동: 비응답률은 유의미하고 균일하지 않았다. 예를 들어, 연구 1 에서 동기 부여 조작은 Gemini 2.5 Flash 와 Claude 4.5 Haiku 에서 높은 비응답률을 유발한 반면, 연구 3 에서는 통제 조건이 여러 모델에서 높은 비응답을 유발했다. 이는 모델이 인간 의견을 시뮬레이션하기보다는 논쟁적이거나 특정 정보적 단서에 대해 답변을 자제할 수 있음을 시사한다.
• 견고성: 추론을 제공하도록 요청하거나 인구통계학적 페르소나를 부여받았을 때도 LLM 은 여전히 인간의 동기 부여 추론 결과를 모방하지 못했으며, 이는 주요 발견을 강화했다.

의의 및 주장
본 논문은 LLM 을 설문 조사 대리인이나 공중 의견 예측에 활용하는 사회과학 및 컴퓨터 과학 연구자들에게 이러한 발견이 중요하다고 주장한다. 결과는 특히 모델이 단순히 답변을 자제할 수 있는 논쟁적이거나 양극화된 상황에서, 동기 부여 추론이 요소일 때 LLM 이 공중 의견의 정확한 예측자가 아닐 수 있음을 시사한다.

또한, 이 연구는 자동화된 논증 평가와 같은 작업과 관련하여 AI 및 NLP 커뮤니티의 한계를 강조한다. 저자들은 현재 기본 LLM 이 인간과 유사한 추론 과정을 모방하는 데 어려움을 겪으며, 의견 재현이나 논증 평가와 같은 작업에 이를 의존하는 것은 신중해야 한다고 제안한다. 본 연구는 기본 LLM 행동, 페르소나 유도 LLM 행동, 그리고 실제 인간 행동 사이의 격차를 이해하는 것의 중요성을 강조하며, 단순히 추론을 요청하거나 인구통계학적 요소를 추가하는 것만으로는 이 격차를 메울 수 없다고 지적한다. 향후 연구는 이러한 영역의 신뢰성을 향상시키기 위해 퓨샷 (few-shot) 프롬프팅이나 인간-LLM 하이브리드 평가와 같은 고급 시스템을 개발하는 데 초점을 맞춰야 한다.