Overstating Attitudes, Ignoring Networks: LLM Biases in Simulating Misinformation Susceptibility
이 논문은 대규모 언어 모델 (LLM) 이 인간의 허위 정보 취약성 패턴을 모방할 때 네트워크 특성은 간과하고 태도와 행동 요소를 과도하게 강조하는 체계적인 편향을 보이며, 따라서 인간 판단을 대체하기보다는 인간과 LLM 의 체계적 차이를 진단하는 도구로 활용해야 함을 주장합니다.
원저자:Eun Cheol Choi, Lindsay E. Young, Emilio Ferrara
연구자들은 인공지능을 가상의 요리사로 상정했습니다. 그들은 실제 사람 3,000 명에게 "이 가짜 뉴스 (예: "백신에 블루투스가 나온다") 를 믿나요? 친구에게 공유할까요?"라고 물었습니다. 그리고 그 사람의 정보 (나이, 성향, 친구 관계 등) 를 인공지능에게 주면서 **"이 사람이면 어떻게 답할 것 같아?"**라고 시켰습니다.
그런데 결과는 놀라웠습니다. 인공지능은 요리 레시피 (데이터) 는 잘 읽었지만, 실제 사람의 '맛 (심리)'을 완벽하게 재현하지는 못했습니다.
🔍 주요 발견 3 가지
1. "믿음"과 "공유"를 너무 뭉개버렸다 (과도한 연관성)
현실: 사람은 가짜 뉴스를 믿지 않아도 공유할 수 있습니다. "이거 웃긴데", "내 정치적 신념을 표현하고 싶어서" 같은 이유로요. (믿음과 공유는 별개입니다.)
인공지능: 인공지능은 **"믿으면 무조건 공유하고, 공유하면 무조건 믿는다"**라고 생각했습니다.
비유: 마치 **"우유를 마시면 무조건 배가 부르다"**라고 생각하는 것과 같습니다. 실제로는 우유를 마셔도 배가 안 부를 수 있지만, 인공지능은 두 가지를 100% 연결된 것으로 착각합니다.
2. "내 마음"만 보고, "주변 사람"은 무시했다 (네트워크 무시)
현실: 우리가 가짜 뉴스를 믿는 이유는 내 성향도 중요하지만, 주변 친구들이 뭐라고 말하느냐가 매우 중요합니다. (예: 친구들이 다 믿으면 나도 믿게 됨)
인공지능: 인공지능은 **"내 성향 (정치적 신념, 과학 신뢰도 등)"**에만 집중하고, **"친구 관계 (네트워크)"**는 거의 무시했습니다.
비유: 인공지능은 **"내가 좋아하는 음식만 보고 메뉴를 정한다"**고 생각하지만, 실제 사람은 **"친구들이 뭐라고 하느냐, 식당 분위기가 어떨지"**도 중요하게 생각합니다. 인공지능은 사람이라는 존재를 '고립된 개인'으로만 봐서, 사회적 영향을 간과한 것입니다.
3. "완벽한 로봇"처럼 너무 예측 가능했다 (과도한 설명력)
현실: 사람은 예측하기 어렵습니다. 똑같은 정보를 줘도 사람마다 반응이 다르고, 때로는 논리적으로 설명할 수 없는 이유 (감정, 우연) 로 행동합니다.
인공지능: 인공지능은 주어진 정보 (프로필) 만으로 정답을 너무 정확하게 맞춰냈습니다. (통계적으로 설명되는 비율이 실제 사람보다 훨씬 높음)
비유: 인공지능은 **"레시피대로 요리하면 100% 맛있는 요리가 나온다"**고 생각하지만, 실제 인간은 "오늘 컨디션이 안 좋거나, 기분이 나빠서" 같은 변수 때문에 결과가 달라집니다. 인공지능은 사람의 '불규칙함'과 '우연성'을 빼먹은 것입니다.
💡 왜 이런 일이 일어났을까?
연구진은 인공지능의 **머릿속 (학습 데이터)**을 들여다봤습니다.
인공지능은 학습할 때 "과학을 믿지 않는 사람은 가짜 뉴스를 믿는다" 같은 명확하고 흔한 문장들을 많이 봤습니다.
반면, "친구 A 가 B 에게 말해서 C 가 믿게 됐다" 같은 복잡한 사회적 관계에 대한 데이터는 상대적으로 적거나, 텍스트로 잘 표현되지 않았습니다.
그래서 인공지능은 **가장 눈에 띄고 흔한 규칙 (내 성향)**만 따라가다가, 복잡한 사회적 관계를 놓쳐버린 것입니다.
📝 결론: 인공지능은 '대리'가 아니라 '진단 도구'다
이 연구는 **"인공지능이 사람을 완전히 대체할 수 있는가?"**에 대해 **"아직은 아니다"**라고 말합니다.
잘하는 점: 인공지능은 가짜 뉴스를 믿는 **큰 흐름 (트렌드)**이나 일반적인 경향성을 파악하는 데는 유용합니다.
못하는 점: 하지만 사람들 사이의 복잡한 관계나 미묘한 심리를 분석할 때는 인공지능이 만든 결과가 실제와 달라질 수 있습니다.
마무리 비유: 인공지능은 정교한 인형과 같습니다. 인형은 사람의 옷차림이나 표정을 완벽하게 흉내 낼 수 있지만, 인형이 친구와 수다를 떨며 감정을 나누는 모습을 기대하면 안 됩니다. 우리는 인공지능을 사람을 대신하는 '대리인'으로 쓰기보다, 사람의 행동이 어떻게 왜곡될 수 있는지 '진단'하는 도구로 써야 합니다.
1. 연구 배경 및 문제 제기 (Problem)
대형 언어 모델 (LLM) 은 계산 사회과학 분야에서 인간의 판단을 대체하는 프록시 (proxy) 로 점점 더 많이 사용되고 있습니다. 특히 허위 정보 (misinformation) 의 확산 시나리오를 시뮬레이션하는 데 활용되지만, LLM 이 인간의 허위 정보 취약성 (신뢰 및 공유 의도) 패턴을 얼마나 정확하게 재현하는지에 대한 실증적 검증은 부족합니다.
기존 연구는 LLM 이 인구통계학적, 심리적 요인을 반영할 수 있음을 보여주었으나, 개인 네트워크 (personal network) 의 구조와 구성이 허위 정보 취약성에 미치는 영향을 포함한 복잡한 사회적 관계를 재현하는 능력은 의문시되었습니다. 인간 데이터에서는 허위 정보에 대한 '신뢰 (belief)'와 '공유 (sharing)'가 밀접하게 연관되어 있지만 개념적으로 구분되며, 네트워크 환경이 이 과정에 중요한 역할을 합니다. 본 연구는 LLM 시뮬레이션이 이러한 인간 데이터의 구조적 관계 (특히 네트워크 요인의 부재와 태도 요인의 과대평가) 를 왜곡하는지 확인하는 것을 목표로 합니다.
2. 연구 방법론 (Methodology)
데이터셋
세 가지 다른 온라인 설문 조사를 'Ground Truth(실제 인간 데이터)'로 활용했습니다:
공중보건 (Public Health, US, 2023): 백신 및 만성 질환 관련 허위 정보 5 건.
기후 변화 (Climate Change, US, 2025): 기후 변화 관련 이미지 (밈) 기반 허위 정보 3 건.
팬데믹 정치 (Pandemic Politics, KR, 2020): 코로나19 팬데믹 기간의 정치적 허위 정보 5 건.
각 데이터셋은 인구통계학적 정보, 태도/행동 특성, 개인 네트워크 (이름 생성기 및 해석 모듈 기반) 정보를 포함합니다.
실험 절차
프로파일 생성: 인간 응답자의 인구통계, 태도, 행동, 네트워크 정보를 구조화된 텍스트 프로파일로 변환했습니다.
LLM 프롬프팅: LLM 에게 해당 프로파일을 기반으로 허위 정보에 대한 '신뢰도'와 '공유 의도'를 1~7 점 척도로 응답하도록 지시했습니다.
강건성 검증: 프롬프트 내 변수 순서 변경, 복합 점수 (composite scores) 사용, 다양한 LLM 아키텍처 (추론 모델, 채팅 모델 등) 를 테스트했습니다.
분석 절차
분포 유사성: 인간 데이터와 LLM 시뮬레이션 결과의 분포 차이를 Jensen-Shannon Divergence (JSD) 와 Earth Mover's Distance (EMD) 로 측정.
상관관계 분석: 신뢰와 공유 간의 상관관계, 그리고 예측 변수와 결과 간의 관계를 비교.
예측 모델링: Elastic Net 회귀 모델을 사용하여 인구통계, 태도/행동, 네트워크 변수가 허위 정보 취약성에 미치는 영향을 추정하고, 인간 데이터와 LLM 데이터 간의 설명 분산 (R2) 과 변수 중요도를 비교.
편향 분석: 시뮬레이션 지표와 예측 변수 간의 상호작용 항 (interaction terms) 을 통해 LLM 이 특정 변수의 효과를 과대/과소 평가하는지 확인.
근본 원인 분석: LLM 의 추론 과정 (Chain-of-Thought) 과 학습 데이터 (OLMoTrace 를 활용한 오픈소스 코퍼스 분석) 를 검토하여 편향의 원인을 탐구.
3. 주요 기여 (Key Contributions)
네트워크 요인 무시와 태도 요인 과대평가: LLM 시뮬레이션이 인간의 허위 정보 취약성 패턴을 재현할 때, 개인 네트워크 특성 (네트워크 크기, 밀도, 동질성 등) 을 거의 무시하고, 대신 태도 및 행동적 요인 (과학에 대한 신뢰, 정치적 성향 등) 에 비정상적으로 큰 가중치를 둔다는 것을 최초로 체계적으로 규명했습니다.
신뢰 - 공유 관계의 왜곡: 인간 데이터에서는 신뢰와 공유가 상관관계가 있지만 구분되는 개념인 반면, LLM 은 이 두 요소를 거의 완전히 동일한 것으로 간주하여 과도하게 결합 (tightly coupled) 시킵니다.
시뮬레이션 편향의 원인 규명: LLM 의 왜곡된 결과가 학습 데이터에서 허위 정보와 특정 태도 변수 (예: 과학 신뢰도) 간의 빈번한 공발현 (co-occurrence) 과 추론 과정에서 이러한 변수들을 과도하게 참조하는 경향에서 기인함을 분석을 통해 제시했습니다.
4. 주요 결과 (Results)
RQ1: 분포 및 상관관계
LLM 은 인간 데이터의 광범위한 분포 경향을 부분적으로 모방하지만, 분포 차이는 모델과 프롬프트 구성에 따라 크게 달라졌습니다.
인간 데이터와 LLM 결과 간의 순위 상관관계는 moderate 수준이었으나, 신뢰와 공유 간의 상관관계는 인간 데이터 (0.340.61) 에 비해 LLM 시뮬레이션에서 **압도적으로 높게 (0.740.96)** 나타났습니다. 이는 LLM 이 두 개념을 구분하지 못함을 의미합니다.
RQ2: 예측 구조 및 설명력
과도한 설명 분산: LLM 데이터를 기반으로 한 회귀 모델의 설명 분산 (R2) 은 인간 데이터 기반 모델보다 약 10 배 이상 높게 나타났습니다. 이는 LLM 이 입력된 프로필 정보에 대해 인간보다 훨씬 결정론적이고 예측 가능한 반응을 보임을 의미합니다.
변수 중요도 왜곡: 인간 데이터에서는 태도/행동 변수와 네트워크 변수가 모두 유의미한 예측력을 보였으나, LLM 시뮬레이션에서는 네트워크 변수를 제거해도 예측력이 거의 감소하지 않았습니다. 반면, 태도/행동 변수의 중요도는 인간 데이터보다 훨씬 크게 부각되었습니다.
RQ3: 편향의 원인
추론 및 학습 데이터: LLM 이 허위 정보 판단을 내릴 때 '과학에 대한 신뢰', '정치적 성향', '소셜 미디어 사용'과 같은 태도/행동 변수를 추론 과정 (CoT) 에서 빈번하게 언급하는 반면, 네트워크 관련 변수는 거의 언급하지 않았습니다.
학습 코퍼스: 학습 데이터에서 허위 정보와 태도 변수 간의 연관성이 불균형적으로 강조되어 있으며, 이는 LLM 이 통계적 고정관념 (stereotypes) 에 의존하여 네트워크와 같은 관계적 맥락을 간과하게 만듭니다.
5. 의의 및 결론 (Significance)
LLM 의 한계: LLM 기반 설문 시뮬레이션은 인간 데이터의 대체재 (substitute) 로 사용하기에는 적합하지 않습니다. 특히 사회적 상호작용, 네트워크 구조, 그리고 '신뢰'와 '공유'의 미묘한 차이를 다루는 연구에서는 심각한 왜곡을 초래할 수 있습니다.
진단 도구로서의 가치: LLM 시뮬레이션은 인간 데이터와 비교하여 시스템적 편향을 진단하거나, 기존에 잘 알려진 개인적 요인 (인구통계, 태도) 이 모델에서 어떻게 반영되는지 탐색적으로 분석하는 도구로는 유용할 수 있습니다.
미래 방향: LLM 이 관계적 구조 (relational structure) 를 이해하도록 하려면 단순한 텍스트 프롬프팅을 넘어, 그래프 신경망 (GNN) 과 같은 명시적인 관계적 인덕티브 바이어스 (relational inductive biases) 를 도입하거나, 학습 데이터의 편향을 교정하는 아키텍처적 개선이 필요합니다.
핵심 요약: 이 연구는 LLM 이 허위 정보 확산 시뮬레이션에서 개인의 태도와 행동을 과도하게 강조하고 사회적 네트워크 맥락을 무시함으로써 인간 행동의 복잡성을 왜곡한다는 것을 실증적으로 증명했습니다. 이는 LLM 을 사회과학 연구에 사용할 때 신중한 검증과 한계 인식이 필수적임을 시사합니다.