Debiasing International Attitudes: LLM Agents for Simulating US-China Perception Changes

이 논문은 2005 년부터 2025 년까지의 미국 대중의 중국에 대한 태도 변화를 시뮬레이션하기 위해 뉴스 데이터와 소셜 미디어 프로필을 기반으로 한 LLM 에이전트 프레임워크를 개발하고, 사실 도출, 반대 입장 에이전트 도입, 반사실적 노출이라는 세 가지 편향 완화 기법을 통해 주관적 뉴스 프레임보다는 비판적 맥락화 에이전트가 더 효과적인 편향 교정 및 인간과 유사한 의견 형성 메커니즘을 제공함을 입증했습니다.

핵심

🎭 1. 실험의 배경: "AI 배우들"을 모집하다

연구진은 먼저 **2,000 명의 'AI 배우'**를 만들었습니다. 이들은 실제 미국인들처럼 성별, 인종, 정치적 성향, 사는 지역, 취미 등을 가진 가상의 인물들입니다. 마치 연극을 위해 실제 미국 사회를 완벽하게 재현한 인형극의 인형들이라고 생각하시면 됩니다.

이들은 2005 년부터 2025 년까지 약 20 년 동안 매일 아침 뉴스를 접하게 됩니다. 이때 중요한 점은, AI 가 읽는 뉴스가 실제 미국인들이 보는 뉴스 (정치, 경제, 중국 관련 기사 등) 와 똑같다는 것입니다.

📰 2. 문제 발생: "뉴스를 보면 왜 그렇게 부정적이게 될까?"

AI 배우들이 20 년 동안 뉴스를 읽으며 중국에 대한 생각을 업데이트하게 했습니다. 그런데 놀라운 결과가 나왔습니다.

• 현실: 실제 미국인들은 중국에 대해 부정적이지만, 완전히 절망적이지는 않습니다.
• AI: 뉴스를 읽은 AI 배우들은 현실보다 훨씬 더 극단적으로 중국을 싫어하게 되었습니다.

이는 마치 악성 댓글만 보고 세상을 비관하는 사람처럼, AI 가 뉴스의 부정적인 면만 과장해서 받아들이고 있다는 뜻입니다. 연구진은 "아마 AI 가 뉴스의 '감정적인 말투'나 '편향된 시각'에 너무 쉽게 넘어가는 것 같다"고 추측했습니다.

🛠️ 3. 해결책: "생각을 바로잡는 3 가지 도구"

이제 연구진은 AI 가 더 현실적인 생각을 하도록 돕기 위해 **세 가지 '생각 교정 도구'**를 개발했습니다.

1. 사실만 뽑아내기 (Fact Elicitation):

   • 비유: 뉴스 기사가 "중국이 무섭게 진압했다!"라고 감정적으로 쓰여 있다면, 이를 **"중국이 새로운 규정을 발표했다"**라고 감정 없는 사실만 남기는 편집자가 개입하는 것입니다.
   • 효과: 감정을 걷어내니 조금 나아졌지만, 여전히 완벽하지는 않았습니다.

2. 변론가 (Devil's Advocate) - 🏆 가장 성공적인 방법:

   • 비유: 뉴스 기사를 읽은 후, **"잠깐만! 이 기사가 정말 사실일까? 다른 관점은 없을까?"**라고 질문하는 비판적인 친구가 등장합니다. 이 친구가 기사의 논리적 허점이나 빠진 맥락을 지적해 줍니다.
   • 효과: AI 가 뉴스를 맹신하지 않고, 스스로 비판적으로 생각하게 만들었습니다. 이 방법이 실제 인간의 생각과 가장 비슷해졌습니다. 마치 우리가 뉴스 볼 때 "이건 저널리즘인가, 아니면 선전인가?"라고 의심해 보는 과정과 같습니다.

3. 역설적 실험 (Counterfactual):

   • 비유: "중국"이라는 단어를 모두 "미국"으로 바꿔서 기사를 다시 읽게 합니다.
   • 효과: AI 가 자신의 나라 (미국) 에 대한 기사를 읽을 때와 중국에 대한 기사를 읽을 때 반응이 어떻게 다른지 비교했습니다. 결과는 흥미로웠습니다. **미국에서 만든 AI(GPT-4o)**는 미국 기사를 읽으면 더 긍정적으로 반응했고, **중국에서 만든 AI(Qwen)**는 중국 기사를 읽으면 더 긍정적으로 반응했습니다. 이는 AI 도 자신의 '출신'에 따라 편향된 생각을 가지고 있음을 보여줍니다.

📊 4. 실험 결과: 무엇을 배웠을까?

• 가장 중요한 발견: 단순히 뉴스를 읽는 것만으로는 AI 가 인간처럼 생각하지 못합니다. 하지만 **"비판적으로 생각해보는 과정 (변론가)"**을 거치면 AI 의 생각이 훨씬 더 인간적이고 현실에 가까워집니다.
• AI 의 편향: AI 모델이 어디에서 만들어졌는지에 따라 (미국 vs 중국), 같은 뉴스라도 다르게 해석하는 '문화적 편향'이 존재했습니다.
• 뉴스의 영향: 정치나 경제 뉴스는 부정적인 감정을, 기술이나 스포츠/문화 뉴스는 긍정적인 감정을 더 많이 자극했습니다.

💡 5. 결론: 이 연구가 우리에게 주는 메시지

이 연구는 **"AI 가 사회를 시뮬레이션할 때, 단순히 뉴스를 주입하는 것만으로는 부족하다"**는 것을 보여줍니다. AI 가 인간처럼 복잡한 생각을 하려면, 뉴스를 비판적으로 분석하고, 논리적으로 검증하는 과정이 반드시 필요합니다.

마치 요리와 같습니다.

• **원재료 (뉴스)**만 주면 AI 는 맛이 너무 짜거나 쓴 요리 (극단적인 생각) 를 만들어냅니다.
• 하지만 **요리사 (비판적 사고 도구)**가 재료를 다듬고 맛을 보정해주면, 비로소 **사람들이 실제로 먹는 것과 같은 맛있는 요리 (현실적인 의견)**를 만들어낼 수 있습니다.

이 연구는 앞으로 AI 를 이용해 국제 정세나 여론을 예측할 때, AI 의 편향을 어떻게 잡아낼지에 대한 중요한 지도를 제시해 줍니다.

기술 요약

논문 요약: LLM 에이전트를 활용한 국제적 태도 편향 제거 및 미 - 중 인식 변화 시뮬레이션

1. 문제 제기 (Problem Statement)

• 배경: 계산 사회과학 (Computational Social Science) 에서 여론의 진화를 모델링하는 것은 오랜 과제였으며, 특히 미디어가 국경을 초월한 태도 (예: 미국인의 중국에 대한 인식) 에 미치는 영향은 글로벌 양극화의 핵심 동인입니다.
• 한계: 기존 대규모 언어 모델 (LLM) 기반 에이전트 시뮬레이션은 단기적 추론이나 특정 시나리오에 초점을 맞추었으나, 장기적인 여론 변화 추세를 재현하고 실제 인간과 유사한 인지 과정을 반영하여 국제적 인식 변화를 모델링한 연구는 부족했습니다.
• 핵심 문제: LLM 은 외부 정보 (뉴스) 에 노출되었을 때 실제 인간보다 과도하게 부정적인 태도를 형성하는 경향이 있으며, 이는 모델의 내재적 편향이나 비현실적인 정보 처리 방식에 기인할 수 있습니다. 본 연구는 이러한 편향을 완화하고 현실 세계의 여론 추세와 더 잘 부합하는 시뮬레이션 프레임워크를 제안합니다.

2. 방법론 (Methodology)

가. 에이전트 초기화 (Agent Initialization)

• 데이터 소스: 2024 년 일반 사회조사 (GSS, 3,309 명) 와 X(Twitter) 의 3,849 개 프로필 데이터를 결합하여 약 2,000 개의 에이전트 프로필을 생성했습니다.
• 특징: 인구통계학적 정보 (성별, 인종, 정치 성향 등), 미디어 습관, 정치적 견해, 관심사 등을 포함하여 미국 인구를 대표하는 샘플을 구성했습니다.

나. 시뮬레이션 프레임워크 (Simulation Framework)

• 기간: 2005 년부터 2025 년까지 20 년간의 장기 시뮬레이션.
• 뉴스 노출: 56 개 매체의 10 만 개 이상의 기사를 기반으로 에이전트에게 매년 뉴스 헤드라인을 제공하고, 에이전트의 프로필에 기반하여 관심 기사를 선택하게 한 후全文을 노출시킵니다.
• 인지 메커니즘 (Reflection): 인지 부조화 이론 (Cognitive Dissonance Theory) 을 적용하여 에이전트가 새로운 정보를 기존 신념과 대조하고, '수정 (Revise)', '강화 (Reinforce)', '무시 (Dismiss)' 중 하나를 선택하여 의견을 업데이트하도록 설계했습니다.
• 설문 조사: 매년 말 에이전트들이 중국에 대한 전반적인 태도 (0~4 점 척도) 를 조사하여 실제 Pew 연구소 및 Gallup 데이터와 비교합니다.

다. 편향 제거 (Debiasing) 메커니즘
연구는 세 가지 편향 제거 전략을 제안하여 실험했습니다:

1. 사실 도출 (Fact Elicitation): 뉴스 기사의 감정적, 선동적 언어를 제거하고 객관적 사실만 추출하여 에이전트에게 제공합니다.
2. 악마의 변호인 (Devil's Advocate, DA): 기사에 대한 비판적 분석 (논리적 오류, 생략된 맥락 등) 을 제공하는 추가 에이전트를 도입하여, 에이전트가 뉴스를 맹목적으로 받아들이지 않고 비판적으로 사고하도록 유도합니다.
3. 반사실적 노출 (Counterfactual, CF): 중국 관련 언급을 미국 관련 언급으로, 그 반대로 교체하여 모델의 내재적 편향 (내집단 선호 등) 을 탐지합니다.

3. 주요 기여 (Key Contributions)

1. 대표성 있는 에이전트 풀 생성: 실제 설문 및 소셜 미디어 데이터를 결합하여 국가 인구를 대표하는 에이전트 프로필 생성 워크플로우 제안.
2. 데이터 및 인지 기반 시뮬레이션 프레임워크: 대규모 실세계 데이터와 인지 이론 (인지 부조화) 을 결합하여 장기적인 국제 태도 추세를 재현하는 프레임워크 개발.
3. 효과적인 편향 제거 메커니즘: 뉴스 미디어의 부정적 영향을 완화하고 현실 세계의 추세와 일치하도록 LLM 의견의 편향을 제거하는 메커니즘 설계 및 검증.

4. 실험 결과 (Results)

• 모델: GPT-4o(미국 기반) 와 Qwen3-14b(중국 기반) 두 가지 최첨단 LLM 을 사용했습니다.
• 전반적 태도 점수:
  • 편향 제거가 없는 통제군 (Control) 은 두 모델 모두 실제 인간보다 훨씬 더 부정적인 태도를 보였습니다.
  • 악마의 변호인 (Devil's Advocate) 메커니즘이 두 모델 모두에서 실제 데이터 (Ground Truth) 와 가장 높은 일치도 (가장 낮은 MAE) 를 보였습니다. 이는 인간이 새로운 정보를 받아들이기 전에 비판적 사고를 거치는 과정을 시뮬레이션했기 때문입니다.
  • 사실 도출 (Fact Elicitation) 도 두 번째로 좋은 성과를 보였으나, 악마의 변호인보다는 효과가 낮았습니다.
• 모델 간 편향 차이:
  • 반사실적 (Counterfactual) 실험: 모델의 기원 지역에 따라 결과가 상반되었습니다. Qwen 은 중국 관련 주제를 더 긍정적으로, GPT-4o 는 미국 관련 주제를 더 긍정적으로 평가하는 등 내집단 선호 (In-group favoritism) 와 문화적 편향을 보였습니다. 이는 LLM 이 내재적으로 지리적/문화적 편향을 가지고 있음을 시사합니다.
• 트렌드 반전 (Trend Reversal) 분석:
  • 전체 점수의 정확도와는 별개로, 여론이 반전되는 시점 (예: 외교적 사건 발생 시) 을 포착하는 능력은 모델마다 달랐습니다. Qwen3-14b 가 반전 지점을 더 잘 포착했으나, 이는 점수 정확도와 직접적인 상관관계가 없음을 발견했습니다.
• 도메인 분석: 정치 및 경제 뉴스는 부정적인 태도 변화와 강하게 연관된 반면, 기술, 문화, 스포츠 뉴스는 긍정적인 태도 변화를 유도했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 인지적 현실성 증대: 단순한 정보 노출이 아닌, 비판적 사고 (악마의 변호인) 를 거치는 중간 분석 단계를 도입함으로써 LLM 에이전트의 의견 형성을 인간과 더 유사하게 만들 수 있음을 증명했습니다.
• 정책 및 연구 활용: LLM 기반 사회 시뮬레이션이 정책 수립에 활용될 경우, 편향 제거 (Debiasing) 과정이 필수적임을 강조합니다. 편향된 시뮬레이션은 실제 여론을 왜곡하여 잘못된 정책 결정으로 이어질 수 있습니다.
• 모델 편향 탐지: 반사실적 실험을 통해 LLM 모델 자체의 지리적/문화적 편향을 탐지할 수 있음을 보여주었습니다.
• 한계 및 향후 과제: 현재 시뮬레이션은 모든 에이전트가 뉴스에 노출된다고 가정하며, '관심 없음'이나 '무응답'을 가진 비참여 인구를 배제했습니다. 향후 기억 메커니즘의 정교화와 비참여 에이전트 도입이 필요합니다.

핵심 요약: 본 연구는 LLM 에이전트를 사용하여 미 - 중 인식 변화를 시뮬레이션하는 새로운 프레임워크를 제시하며, 악마의 변호인 (Devil's Advocate) 전략이 뉴스의 부정적 편향을 완화하고 실제 인간과 유사한 여론 추세를 재현하는 데 가장 효과적임을 입증했습니다. 이는 LLM 기반 사회과학 연구의 신뢰성을 높이고, 모델의 내재적 편향을 이해하는 데 중요한 통찰을 제공합니다.