When Agents "Misremember" Collectively: Exploring the Mandela Effect in LLM-based Multi-Agent Systems

이 논문은 LLM 기반 다중 에이전트 시스템에서 집단적 기억 왜곡 현상인 만델라 효과를 탐구하기 위해 MANBENCH 벤치마크를 제안하고, 프롬프트 및 모델 정렬 기반 방어 전략을 통해 해당 효과를 평균 74.40% 감소시키는 방안을 제시합니다.

핵심

🕵️‍♂️ 핵심 주제: AI 의 '집단 망각' 현상

1. 만델라 효과란 무엇인가요?
사람들 사이에서 "넬슨 만델라는 1980 년대에 감옥에서 죽었다"라고 많은 사람이 잘못 기억하는 현상을 말합니다. 사실은 2013 년에 세상을 떠났지만, 집단적인 잘못된 정보가 퍼지면서 사람들이 "아, 맞아, 그거 기억나!"라고 함께 착각하는 거죠.

2. AI 도 이런 일이 일어날까요?
이 논문은 **"AI 에이전트들이 서로 대화하며 이런 집단 착각을 할까?"**를 연구했습니다.

• 실험 상황: 한 AI 가 "만델라는 2013 년에 죽었다"는 사실을 알고 있습니다.
• 교란: 하지만 다른 AI 친구들 (가짜 정보원) 이 모여서 "아니야, 1980 년대에 감옥에서 죽었어. 뉴스에서도 봤잖아?"라고 설득합니다.
• 결과: 놀랍게도, 원래 사실을 알던 AI 도 친구들의 말을 듣고 **"아, 내가 기억을 잘못했나? 맞아, 1980 년대였어!"**라고 믿게 됩니다. 심지어 나중에 혼자 다시 생각해보아도 그 잘못된 기억이 진짜 기억처럼 굳어져버립니다.

💡 비유: 마치 친구들이 "이 영화 주인공은 죽었어"라고 거짓말을 계속하면, 실제로 본 사람도 "아, 내가 착각했나?"라고 믿게 되는 것과 같습니다. AI 도 사람처럼 **사회적 압력 (친구들의 말)**에 약한 것입니다.

---

🛠️ 연구 방법: 'MANBENCH'라는 시험지

연구진은 이 현상을 측정하기 위해 MANBENCH라는 새로운 시험지를 만들었습니다.

• 시험 내용: 역사, 일반 상식, 전문 지식 등 4,800 개 이상의 질문을 준비했습니다. (예: "넬슨 만델라는 언제 죽었나요?")
• 시험 방식:
  1. 혼자 시험: AI 가 혼자 답을 맞힙니다. (정답을 알고 있는지 확인)
  2. 그룹 시험: AI 가 다른 AI 들과 대화하며 답을 고릅니다.
     • 일반 그룹: 아무 역할도 없는 AI 들이 막 섞여서 "아니야, 틀렸어!"라고 말합니다.
     • 전문가 그룹: '초기 주장자', '세부 정보 제공자', '권위 있는 전문가', '의심하던 사람' 등 역할을 정해둔 AI 들이 극적인 연기를 하며 거짓 정보를 퍼뜨립니다.

💡 비유:

• 일반 그룹: 교실 수업에서 친구들이 "정답은 A 야!"라고 막 소란을 피우는 상황.
• 전문가 그룹: 한 명은 선생님처럼, 한 명은 뉴스 앵커처럼, 한 명은 의심하던 학생처럼 연기하며 "정답은 A 야!"라고 설득하는 상황.
• 결과: 역할이 정해진 전문가 그룹이 훨씬 더 AI 를 속이는 데 성공했습니다.

---

🔍 발견한 놀라운 사실들

1. 모든 AI 가 속아요: GPT-4, Claude, Llama 등 최신 AI 모델들 모두 이 '집단 망각'에 취약합니다. 지능이 높을수록 더 잘 속는 경우도 있습니다.
2. 역할극이 더 위험해요: 단순히 "틀렸어"라고 말하는 것보다, 역할을 가진 AI 들이 연극처럼 거짓 정보를 퍼뜨릴 때 AI 가 더 쉽게 믿고 그 기억을 오래 간직합니다.
3. 그룹 크기의 역설:
   • 일반 그룹: 사람이 많을수록 AI 는 더 쉽게 속습니다.
   • 전문가 그룹: 사람이 너무 많으면 (9 명 이상) 오히려 AI 가 "이건 뭔가 수상한데?"라고 의심하며 스스로 깨닫는 경우가 생깁니다. (너무 완벽하게 연기하는 집단이 오히려 의심을 사기 때문입니다.)
4. 전문 지식일수록 위험: 일반 상식보다 의학, 법률 같은 전문 분야에서 AI 가 잘못된 정보를 더 쉽게 받아들이고, 그걸로 인해 실제 진단이나 판단을 그을 수 있는 위험이 큽니다.

---

🛡️ 해결책: AI 를 '현실 감각' 있게 만드는 방법

연구진은 AI 가 속지 않도록 두 가지 방어책을 개발했습니다.

1. 말로 하는 방어 (프롬프트 방어)

• 인지 앵커링 (Cognitive Anchoring): "너의 기억이 가장 중요해. 다른 친구들이 뭐라고 해도 네가 아는 사실을 먼저 믿어봐. 친구들의 말을 들으려면 확실한 증거가 있어야 해."라고 AI 에게 지시합니다.
• 출처 검증 (Source Scrutiny): "이 친구들이 연기하고 있지는 않은지, 역할이 너무 완벽하지는 않은지 의심해봐. 너무 잘 맞는 이야기일수록 가짜일 수 있어."라고 경계하게 합니다.
• 효과: 이 방법을 쓰면 AI 가 속는 비율이 약 74%나 줄어듭니다.

2. 학습으로 방어 (모델 정렬)

• AI 를 훈련시켜서, 거짓 정보를 거절하는 법과 진실한 조언은 받아들이는 법을 동시에 가르칩니다.
• 마치 "거짓말하는 친구는 거절하고, 진실을 알려주는 친구는 도와주는 법"을 배운 아이처럼 만드는 것입니다.

---

🌟 결론: 왜 이 연구가 중요한가요?

이 연구는 **"AI 가 함께 일할 때, 서로의 잘못된 기억이 퍼져서 큰 실수를 할 수 있다"**는 것을 경고합니다.

• 위험: 만약 AI 들이 의료 진단이나 법률 자문을 할 때, 집단적으로 잘못된 정보를 믿고 "이 약이 안전해"라고 결론 내린다면? 그것은 큰 사고로 이어질 수 있습니다.
• 해결: 하지만 우리는 AI 가 스스로 의심하고, 사실을 확인하는 능력을 키울 수 있다는 것을 증명했습니다.

한 줄 요약:

"AI 친구들이 모여서 거짓말을 퍼뜨리면, AI 도 사람처럼 그 거짓말을 진짜로 믿게 됩니다. 하지만 우리가 AI 에게 '의심하는 법'을 가르쳐주면, 그 거짓말을 막을 수 있습니다!"

이 연구는 앞으로 더 안전하고 똑똑한 AI 팀을 만들기 위한 중요한 첫걸음입니다.

기술 요약

논문 요약: 에이전트들이 집단적으로 '잘못 기억'할 때: LLM 기반 다중 에이전트 시스템에서의 만델라 효과 탐구

이 논문은 대규모 언어 모델 (LLM) 기반의 다중 에이전트 시스템에서 발생하는 집단적 인지 편향, 특히 인간 사회에서 관찰되는 '만델라 효과 (Mandela Effect)' 현상을 체계적으로 연구하고 이를 완화하는 방안을 제시합니다.

1. 연구 배경 및 문제 정의

• 문제: LLM 기반 다중 에이전트 시스템은 복잡한 문제 해결을 위해 협업하지만, 인간 집단과 유사하게 사회적 영향력을 통해 집단적으로 잘못된 기억 (False Memory) 을 공유하고 강화하는 취약점이 존재합니다.
• 만델라 효과의 정의: 검증 가능한 사실에 대해 집단이 허구의 세부 사항을 믿고 공유하는 현상입니다. 예를 들어, 넬슨 만델라가 1980 년대에 감옥에서 사망했다는 잘못된 기억이 널리 퍼진 사례가 있습니다.
• 연구의 필요성: 기존 연구는 개별 에이전트의 환각 (Hallucination) 이나 단순한 순응 (Conformity) 에 집중했으나, 사회적 상호작용을 통해 잘못된 정보가 내면화되어 장기적인 집단 기억으로 고정되는 과정은 충분히 탐구되지 않았습니다. 이는 고위험 분야 (계약 검토, 팩트 체킹 등) 에서 허위 정보의 확산과 윤리적 문제를 야기할 수 있습니다.

2. 연구 질문 (RQs)

1. RQ1: LLM 기반 다중 에이전트 시스템에서 만델라 효과가 발생하는가?
2. RQ2: 만델라 효과의 발생에 영향을 미치는 요인은 무엇인가?
3. RQ3: 만델라 효과를 효과적으로 완화할 수 있는 방법은 무엇인가?

3. 방법론: MANBENCH 벤치마크

저자들은 만델라 효과를 평가하기 위해 새로운 벤치마크인 MANBENCH를 제안했습니다.

• 데이터 구성: BIG-Bench Hard 에서 선별된 20 가지 작업 (역사, 오해, 일반 상식, 도메인 특화 지식 등) 으로 구성된 4,838 개의 객관식 질문을 포함합니다. 각 질문에는 설득력 있는 오답 (Distractor) 이 포함됩니다.
• 상호작용 프로토콜 (5 가지):
  1. Baseline Reality (B): 사회적 영향 없이 에이전트의 기본 지식 확인.
  2. Generic Short-term (GS): 역할이 구분되지 않은 그룹이 즉각적인 사회적 합의를 형성하며 잘못된 정보를 주입.
  3. Generic Long-term (GL): GS 와 유사하지만, 대화 후 기억 통합 (Consolidation) 및 회상 (Retrieval) 단계를 거쳐 장기 기억으로 고정되는지 확인.
  4. Role-based Short-term (RS): 5 가지 전략적 역할 (오류 시작자, 세부 지원자, 합의 강화자, 권위 승인자, 의문 제기 후 타협자) 을 가진 그룹이 설득력 있는 허위 내러티브를 구성.
  5. Role-based Long-term (RL): RS 와 유사하지만 장기 기억 고정을 평가.
• 평가 지표:
  • 오류율 (Error Rate): 잘못된 답변 비율.
  • 현실 전환율 (Reality Shift Rate, $\sigma$): 기준선에서 정답을 알았으나 사회적 상호작용 후 오답으로 바뀐 비율.
  • 최대 현실 전환율 ($\sigma_{max}$): 네 가지 프로토콜 중 하나 이상에서 잘못된 기억으로 전환된 전체 비율.

4. 주요 실험 결과

4.1 만델라 효과의 존재 확인 (RQ1)

• 평가된 13 개 LLM(상용 및 오픈소스 모델 포함) 은 모두 만델라 효과에 취약했습니다.
• 사회적 영향 하에서 모든 모델의 오류율이 급격히 증가했습니다. 예를 들어, Qwen3-235B 는 기준선 오류율 (25.48%) 에서 역할 기반 단기 프로토콜 (RS) 하에 74.75% 로 치솟았습니다.
• GPT-5와 같은 최상위 모델조차 면역되지 않았으며, 오류율이 두 배 이상 증가했습니다.

4.2 영향 요인 분석 (RQ2)

• 그룹 구성 (Group Composition): 역할이 구분된 그룹 (Role-based) 이 일반 그룹 (Generic) 보다 만델라 효과를 더 강력하게 유발했습니다. 특히 복잡한 내러티브와 전문성을 가장한 역할이 신뢰도를 높여 잘못된 기억을 더 쉽게 주입했습니다.
• 기억 시간 척도 (Memory Timescale):
  • 일부 모델 (GPT-5 등) 은 단기적으로는 영향을 받으나 장기 기억으로 고정되지 않는 경향이 있었습니다.
  • 반면, Claude 3.5 Haiku나 Qwen3 시리즈와 같은 모델은 잘못된 기억을 장기 기억으로 내면화하여 현실 전환율이 높게 유지되었습니다.
• 그룹 크기: 일반 그룹에서는 에이전트 수가 증가함에 따라 효과가 커지다가 포화되지만, 역할 기반 그룹에서는 6 명일 때 효과가 최대가 되고 그 이후로는 감소했습니다. 이는 너무 큰 그룹은 '음모'로 의심되어 비판적 사고를 유발하기 때문입니다.
• 지식 도메인: 역사/오해 도메인뿐만 아니라, **도메인 특화 지식 (Domain-Specific Knowledge)**에서도 높은 취약성이 관찰되었습니다.
• 모델 규모: 모델 크기를 키우는 것이 만델라 효과를 줄여주지는 않았습니다. 오히려 Qwen3 시리즈처럼 규모가 커질수록 더 취약해지는 역설적 현상 (Inverse Scaling Law) 이 관찰되었습니다. 이는 대형 모델이 복잡한 허위 내러티브를 더 잘 이해하고 수용하기 때문으로 분석됩니다.

5. 완화 전략 및 결과 (RQ3)

5.1 프롬프트 수준의 방어 (Prompt-level Defense)

• 인지 앵커링 (Cognitive Anchoring): 에이전트가 외부 정보보다 내부 지식 (기초 사실) 을 우선시하도록 유도하고, 외부 주장에 대한 비판적 검토를 요구합니다.
• 출처 검증 (Source Scrutiny): 대화의 구조와 설득 전략을 분석하여 조작된 내러티브를 식별하도록 합니다.
• 결과: 두 전략 모두 현실 전환율을 크게 감소시켰습니다. (예: GPT-4o 의 RS 프로토콜에서 56.0% → 17.0% 로 감소).

5.2 모델 수준 방어 (Model-level Defense)

• 지도 미세조정 (SFT): '회복력 세트 (Resilience Set, 허위 정보 거부 훈련)'와 '협력 세트 (Cooperative Set, 올바른 정보 수용 훈련)'를 균형 있게 포함하는 데이터로 모델을 미세조정했습니다.
• 결과:
  • 회복력 세트만 학습한 모델은 모든 사회적 입력을 거부하는 경향이 있었습니다.
  • 균형 잡힌 학습을 통해 모델은 허위 정보에는 저항하면서도 올바른 사회적 피드백은 수용하는 능력을 갖추게 되었습니다. (Llama3.1-8B 의 RS 오류율 99.5% → 21.5% 로 감소).

6. 의의 및 결론

• 학술적 기여: 다중 에이전트 시스템에서의 '집단적 허위 기억' 현상을 정량화한 최초의 체계적인 연구 (MANBENCH) 를 제시했습니다.
• 실용적 시사점: 의료, 법률 등 고위험 분야에서 다중 에이전트 시스템이 잘못된 정보에 의해 집단적으로 오작동할 수 있음을 경고하고, 이를 방지하기 위한 프롬프트 및 모델 수준의 구체적인 방어 기법을 제시했습니다.
• 미래 방향: 비구조화된 대화와 더 복잡한 상호작용 시나리오를 포함한 벤치마크 확장 및 더 강력한 방어 메커니즘 개발이 필요함을 강조했습니다.

이 연구는 AI 기반 협업 시스템의 신뢰성과 윤리적 안전성을 확보하기 위해, 인간과 유사한 사회적 인지 편향을 이해하고 대응하는 것이 필수적임을 보여줍니다.