기술 요약: LLM 은 인간의 신념 역학을 모방할 수 있는가?

문제 제기

대규모 언어 모델 (LLM) 은 설문 조사 재현부터 의견 역학 모델링에 이르기까지 소셜 네트워크 맥락에서 인간의 태도, 의견 및 행동을 시뮬레이션하는 데 점점 더 많이 활용되고 있습니다. 이전 연구들은 LLM 이 특정 인간 행동 (예: 행사 조직 또는 과학적 합의 도출) 을 재현할 수 있음을 시사하지만, 이러한 모델이 신념 역학—특히 인간이 초기 신념을 형성하고, 경쟁적인 정보에 반응하여 이를 업데이트하며, 동질성 경향에 기반하여 사회적 네트워크를 재구성하는 방식—을 얼마나 잘 모방하는지에 대한 이해에는 중요한 격차가 존재합니다.

해결된 핵심 문제는 "디지털 트윈"페르소나 (인구통계학적 및 성격 데이터) 를 제공받더라도 LLM 이 인간 신념 형성과 변화의 복잡한 심리적 과정을 정확하게 재현할 수 있는지 여부입니다. 저자들은 엄격한 검증 없이 LLM 을 사회 시뮬레이션에서 인간 대리인으로 배포하는 것은 특히 양극화 및 설득 연구와 관련하여 상당한 위험을 수반한다고 주장합니다.

방법론

이 연구는 "디지털 트윈"접근법을 사용하여 정치적 신념 역학에 대한 기존 인간 실험 (Proma et al., 2025c) 을 재현했습니다.

• 실험 설계: 원래 인간 연구는 세 단계로 구성되었습니다:
  1. 응답: 참가자들이 진술에 대한 신념을 평가 (0~4 리커트 척도).
  2. 수정: 참가자들이 동료들의 평가를 접하고 자신의 평가를 업데이트할 수 있음.
  3. 선택: 참가자들이 후속 라운드에서 "팔로우"할 동료를 선택.
• LLM 시뮬레이션: 저자들은 341 명의 인간 참가자를 LLM "디지털 트윈"으로 대체했습니다. 각 LLM 에는 특정 참가자의 인구통계학적 정보와 빅 5 성격 특성이 프롬프트로 제공되었습니다. 그런 다음 모델들은 동일한 세 단계를 탐색하도록 요청받았으며, 원래 인간 피험자와 동일한 자극 (동료 응답 포함) 을 받았습니다.
• 평가된 모델: 이 연구는 네 가지 계열과 다양한 파라미터 크기를 가진 12 개의 LLM 을 평가했으며, 비사고 (비추론) 모델 (예: Llama 3, Gemma 3) 과 사고 (추론) 모델 (예: Qwen 3, GPT-OSS) 을 모두 포함했습니다.
• 데이터 범위: 분석은 두 가지 정치적 주제 ("이민"및 "석유 및 연료") 를 다루어 총 1,023 개의 샘플 (3 라운드 × 341 명 참가자) 을 생성했습니다.
• 평가 지표:
  • 1 단계 (초기 신념): 분포 모양, 중심 경향성 및 개인 수준의 정렬을 비교하기 위해 KL 발산, 와세르슈타인 거리, 만 - 휘트니 U 검정 및 스피어만 상관관계를 사용.
  • 2 단계 (신념 변화): 신념 업데이트 크기와 "사회적 영향"(초기 자기 신념과 동료 평균 간의 차이와 결과적 신념 변화 간의 상관관계) 분석.
  • 3 단계 (네트워크 선택): "팔로우 신호"(선택된 동료들의 평균 평가) 와 "신념 네트워크 거리"(초기 신념과 선택된 동료들의 신념 간의 절대 차이) 를 사용하여 동질성을 측정.

주요 결과

1. 초기 신념 분포 모방 실패

LLM 은 체계적으로 인간 초기 신념의 분포와 일치하지 못했습니다.

• 분포 불일치: LLM 의 KL 발산 및 와세르슈타인 거리 값은 기준선 (인간 대 인간 분할) 보다 유의하게 높아 분포 정렬이 부신했음을 나타냈습니다.
• 체계적 편향: 비사고 모델은 신념 평가를 과대평가하는 경향이 있었으며 (2 에서 정점), 사고 모델은 이를 과소평가하는 경향이 있었습니다 (0 에서 정점, 강한 불일치 표시).
• 낮은 개인 상관관계: 개별 LLM 응답과 인간 응답 간의 스피어만 상관관계는 최대 $\rho = 0.31$로 중간 수준에 그쳐, LLM 이 특정 개인 선호도를 신뢰할 수 있게 예측할 수 없음을 시사합니다.

2. 신념 업데이트에서의 과도한 순응성

LLM 은 인간보다 사회적 영향에 더 취약한 것으로 나타났습니다.

• 경직성 vs. 유동성: 인간은 LLM 보다 더 큰 신념 경직성을 보였으며, 의견을 더 적게 그리고 덜 자주 변경했습니다.
• 사회적 영향 지표: "사회적 영향"(자기와 동료 간의 차이) 과 신념 변화 간의 상관관계는 12 개 모델 중 11 개에서 LLM 이 인간보다 유의하게 높았습니다. 이는 LLM 이 인간보다 관찰된 네트워크의 평균과 일치하도록 응답을 변경하는 순응성이 더 높음을 나타냅니다.

3. 네트워크 재구성 (동질성) 에서의 미묘한 실패

LLM 은 동료 선택이라는 행위는 모방할 수 있었으나, 그 이면에 있는 동질적 논리는 포착하지 못했습니다.

• 팔로우 신호: LLM 은 인간이 팔로우하기로 선택한 동료들의 일반적 분포를 성공적으로 시뮬레이션했습니다 (팔로우 신호에서 높은 상관관계).
• 신념 네트워크 거리: 그러나 "신념 네트워크 거리"(선택된 동료들의 신념이 에이전트 자신의 신념으로부터 얼마나 먼지) 는 LLM 에서 일관되게 더 높았습니다. 이는 LLM 이 동료를 선택할 수는 있지만, 인간 네트워크 형성을 특징짓는 강한 유사성 선호 (동질성) 에 기반하지는 않음을 시사합니다. 그들의 선택은 자신의 초기 신념에 덜 고정되어 있습니다.

주요 기여 및 주장

이 논문은 LLM 시뮬레이션 문헌에 세 가지 주요 기여를 합니다:

1. 체계적 이탈: LLM 이 초기 분포, 사회적 영향에 대한 취약성, 동질적 네트워크 선택과 관련하여 신념 역학 측면에서 인간과 근본적으로 다른 방식으로 이탈한다는 경험적 증거를 제시합니다.
2. 페르소나의 한계: 인구통계학적 및 성격 데이터로 제한된 "디지털 트윈"방법의 효능에 도전하며, 이러한 제한된 페르소나로는 복잡한 신념 역학을 포착하기에 불충분함을 시사합니다.
3. 스케일링 법칙의 이상: 더 큰 파라미터 크기가 반드시 인간 신념 역학과의 더 나은 정렬을 가져오지는 않는다고 지적하며, 신념 경직성과 동기 부여 추론은 일반적으로 스케일링 법칙이 적용되는 추론 및 지식 검색 작업과 구별됨을 시사합니다.

중요성 및 함의

저자들은 양극화, 설득 및 네트워크 개입과 관련된 연구에서 LLM 을 인간 대리인으로 무비판적으로 배포하는 것에 대해 "예리한 경고"로 결론을 내립니다.

• 근본적 비대칭: 이 발견들은 LLM 이 인간과 비교하여 사회적 맥락을 처리하는 방식에 근본적인 비대칭이 있음을 강조합니다. LLM 은 인간 신념 역학을 주도하는 정체성, 동기, 정서적 과정을 결여한 것으로 보입니다.
• 연구 주의: 이 논문은 LLM 을 인간 신념 네트워크 시뮬레이션에 사용하는 것이 모델이 본질적으로 인간보다 더 순응적이고 덜 경직적이기 때문에 오류가 있는 결론으로 이어질 수 있다고 주장합니다.
• 미래 방향: 저자들은 향후 연구가 소셜 미디어 습관과 삶의 경험 등을 포함한 더 정교한 페르소나를 탐구하고, 폐쇄형 모델이나 라운드 간 기억을 가진 모델이 이 격차를 메울 수 있는지 조사해야 한다고 제안하지만, 현재 능력에 대해서는 회의적입니다.