💬 NLP

Misinformation Propagation in Benign Multi-Agent Systems

이 논문은 의도적인 오정보가 선의의 다중 에이전트 시스템을 통해 어떻게 전파되는지를 조사하며, 이러한 오정보가 성능을 저하시키고 에이전트 간 상호작용을 통해 지속된다는 점을 밝히는 한편, 다중 에이전트 토론이 일반적으로 단일 에이전트 프롬프팅보다 더 높은 강건성을 제공하지만 그 결과는 집단 구성, 결정 프로토콜 및 기저 모델에 크게 의존한다는 것을 찾아냈다.

원저자: Jonas Becker, Jan Philip Wahle, Terry Ruas, Bela Gipp

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jonas Becker, Jan Philip Wahle, Terry Ruas, Bela Gipp

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

전문 탐정 팀이 미스터리를 해결하려고 노력하는 모습을 상상해 보세요. 보통 그들은 함께 협력하며, 단서를 공유하고 사실에 대해 논쟁하며 진실을 찾아냅니다. 이것이 인공지능 세계에서 **멀티 에이전트 시스템(Multi-Agent Systems, MAS)**이 작동하는 방식입니다. 여러 AI "에이전트"(고급 챗봇과 같은)들이 복잡한 문제를 해결하기 위해 서로 대화하며, 혼자 일하는 단일 탐정보다 결합된 지혜가 더 낫기를 기대합니다.

하지만 만약 그 탐정 중 한 명이 가짜 신문을 읽기 시작한다면 어떻게 될까요?

**"선량한 멀티 에이전트 시스템에서의 오정보 전파(Misinformation Propagation in Benign Multi-Agent Systems)"**라는 제목의 이 논문은 정확히 바로 그 시나리오를 조사합니다. 연구진은 여러 AI 에이전트가 문제를 해결하려고 노력하는 와중에, 일부 에이전트에게 비밀리에 잘못된 정보가 주어지는 상황을 살펴보고 싶었습니다. 결정적으로, 이 에이전트들은 누군가를 속이려는 의도가 없는 "선량한(benign)" 존재들입니다. 즉, 그들은 그저 잘못된 단서를 보고 있는 정직한 탐정들일 뿐입니다.

다음은 이들의 연구 결과를 쉬운 비유를 사용하여 정리한 내용입니다.

1. 설정: "가짜 단서" 실험

연구진은 MINT(Misinformation INTents)라고 불리는 방대한 양의 가짜 사실 데이터셋을 만들었습니다. 그들은 실제 질문(예: "베트남과 접경한 국가의 코드는 855이다. 어느 나라인가?")을 가져온 뒤, 그에 어울리는 가짜 이야기들을 작성했습니다. 이 이야기들은 다음과 같은 다양한 형태를 띠었습니다:

클릭베이트(낚시성 기사): "당신이 믿기 힘든 충격적인 진실!"
음모론: "정부가 진짜 코드를 숨기고 있다."
소문: "여행객으로부터 들은 바로는..."

그 후, 이 가짜 이야기들을 AI 에이전트들에게 입력하고 어떤 일이 벌어지는지 관찰했습니다.

2. 솔로 탐정 vs. 팀 (The Solo Detective vs. The Team)

솔로 탐정 (단일 에이전트):
단일 AI 에이전트에게 가짜 단서가 주어졌을 때, 에이전트는 종종 혼란에 빠졌습니다. 이는 마치 탐정이 가짜 지도를 발견하고 자신만만하게 잘못된 경로를 그려 넣는 것과 같습니다. AI의 성능은 특히 특정 지식이나 윤리적 판단이 필요한 작업에서 크게 떨어졌습니다.

탐정 팀 (멀티 에이전트 토론):
다음으로, 연구진은 에이전트들을 한 방에 모아 토론하게 했습니다. 어떤 에이전트는 가짜 단서를 가졌고, 다른 에이전트는 진실을 가졌습니다.

좋은 소식: 팀은 일반적으로 솔로 탐정보다 **더 견고(robust)**했습니다. 설령 한 에이전트가 가짜 단서로 시작했더라도, 그룹 토론을 통해 실수를 바로잡는 경우가 많았습니다. 토론의 "자기 성찰(self-reflection)" 기능이 안전망 역할을 한 것입니다.
나쁜 소식: 가짜 정보가 그냥 사라지지는 않았습니다. 그것은 종 often 계속 남아 있었습니다. 만약 어떤 에이전트가 "이 가짜 이야기 때문에 답이 라오스라고 생각합니다"라고 말하면, 다른 에이전트들도 토론이 끝난 후에도 그 생각을 머릿속에 계속 간직하는 경우가 있었습니다. 오정보는 비록 최종 답변이 때때로 수정되더라도 대화 속에 "감염"되어 남게 됩니다.

3. 투표 vs. 합의 (The Voting vs. The Consensus)

연구진은 팀이 최종 결정을 내리는 두 가지 방식(마치 배심원처럼)을 테스트했습니다:

투표(Voting): 모두가 자신의 답에 손을 들고, 다수가 승리합니다.
합의(Consensus): 마지막으로 발언한 사람이 다른 사람들이 말한 내용을 바탕으로 최종 답을 결정합니다.

연구 결과:

투표는 모두가 정직할 때는 보통 더 정확합니다. 하지만 "가짜 단서"를 가진 에이전트들이 다수가 되면, 팀 전체가 틀린 답에 투표하게 됩니다. 이는 마치 군중 심리와 같습니다. 만약 대부분의 사람이 거짓을 믿는다면, 투표 결과도 그 거짓을 반영하게 됩니다.
합의는 팀이 가짜 정보로부터 오는 "동료 압박(peer pressure)"을 받을 때 더 안정적이었습니다. 최종 결정권자는 소음(noise)을 걸러내고, 비록 다수가 혼란스러워하더라도 진실을 고수하는 데 더 뛰어난 모습을 보였습니다.

4. "동료 압박" 효과

가장 흥-미로운 발견 중 하나는 **자기 수정(self-correction)**에 관한 것이었습니다.

만약 어떤 에이전트가 가짜 단서로 시작했더라도, 주변에 3명 이상의 정직한 에이션트들이 있다면, 마음을 바꾸어 진실을 인정할 가능성이 훨씬 높았습니다.
그러나 정직한 에이전트들이 소수일 경우, 가짜 단서를 가진 에이전트는 자신의 주장을 굽히지 않는 경향이 있었습니다.
모델이 중요합니다: 모든 AI의 뇌가 똑같이 반응하는 것은 아닙니다. 한 모델(Llama-3.3)은 동료 압력에 매우 민적이었으며, 다른 사람들이 말하는 것에 따라 자주 답을 바꿨습니다. 반면 다른 모델(GLM-4.7)은 훨씬 더 고집스러웠으며, 다른 이들이 무엇을 말하든 상관없이 정확성을 유지했습니다.

5. 결론

이 논문은 AI 팀이 단일 AI보다 거짓을 찾아내는 데는 일반적으로 더 뛰어나지만, 그렇다고 면역이 있는 것은 아니라고 결론짓습니다.

오정보는 퍼집니다: 우호적인 토론 중에도 가짜 아이디어는 남아 남아 그룹에 영향을 줄 수 있습니다.
그룹 규모와 규칙이 중요합니다: 정직한 에이전트가 많을수록 도움이 되며, 팀이 결정을 내리는 방식(투표 vs. 합의)에 따라 거짓에 저항하는 능력이 달라집니다.
AI에 따라 다릅니다: 어떤 AI 모델은 다른 모델보다 동료 압력에 더 잘 휘둘리는 경향이 있습니다.

요약하자면, 정직한 AI 탐정들을 한 방에 모아놓으면 그들은 대개 진실을 찾아낼 만큼 똑똑합니다. 하지만 그들 사이에 가짜 단서를 슬쩍 끼워 넣는다면, 그 거짓은 그룹을 혼란에 빠뜨릴 수 있으며, 특히 팀 규모가 충분하지 않거나 잘못된 의사결정 규칙을 사용하고 있다면 더욱 그렇습니다. 시스템이 완벽하지는 않지만, 단독으로 일하는 단일 탐정보다는 종종 더 낫습니다.

기술 요약: 선량한 다중 에이전트 시스템에서의 오정보 전파

문제 정의

대규모 언어 모델(LLM) 기반의 다중 에이전트 시스템(MAS)이 의료 진단, 법률 분석, 포렌식 의사결정과 같은 고위험 영역에 점점 더 많이 배치됨에 따라, 이들의 신뢰성은 치명적인 위험 요소인 오정보 전파 문제에 직면해 있습니다. MAS는 토론과 작업 분해를 통해 추론 능력을 향상시킨다고 흔히 알려져 있지만, 에이전트가 잘못된 정보 하에서 작동할 때의 견고성(robustness)은 불확실합니다. 이러한 잘못된 정보는 검색 증강 생성(RAG) 오류, 환각 현상, 외부 소스의 오독, 또는 적대적 입력으로부터 기인할 수 있습니다.

본 연구가 다루는 핵심 문제는 완전하게 선량한(fully benign) 다중 에이전트 토론에서 문맥적 오정보가 결과에 어떤 영향을 미치는가입니다. 여기서 "선량함"이란 에이전트들이 속이려는 의도 없이 규정된 토론 프로토콜을 준수함을 의미하지만, 오정보는 특정 에이전트가 가용할 수 있는 로컬 문맥을 통해 시스템에 유입됩니다. 본 논문은 다중 에이전트 토론(MAD)이 이러한 오정보로 인한 성능 저하를 증폭시키는지 아니면 완화시키는지, 그리고 그룹 구성과 의사결정 프로토콜이 시스템의 견고성에 어떻게 영향을 미치는지 조사합니다.

방법론

실험 설정

저자들은 정보가 없는 상태(uninformed)와 오정보가 포함된 상태(misinformed) 모두에서 단일 에이전트 프롬프팅과 다중 에이전트 토론(MAD)을 비교 평가합니다. 실험은 다음 세 가지 핵심 요소를 변화시킵니다:

오정보 관련성(Misinformation Relevance): 과업 관련 오정보와 과업 무관 오정보를 구분합니다.
그룹 구성(Group Composition): 그룹 내에서 오정보를 가진 에이전트와 정보가 없는 에이전트의 비율을 변화시킵니다.
의사결정 프로토콜(Decision Protocol): 이전의 기여를 바탕으로 최종 에이전트가 결정하는 합의(Consensus) 방식과 토론 종료 후 다수결을 따르는 투표(Voting) 방식을 비교합니다.

데이터셋 및 모델

모델: 연구에는 Llama-3.3-70B-Instruct와 GLM-4.7-Flash가 사용됩니다. 특히, Llama-3.3은 오정보를 생성하는 데에도, 이를 평가하는 데에도 사용되어, 에이전트들이 동일한 모델 제품군의 콘텐츠를 소비하는 실제와 유사한 시나리오를 시뮬레이션합니다.
과업: 성능은 세 가지 차원에서 측정됩니다:
- 추론(Reasoning): WinoGrande (대명사 해소/상식).
- 지식(Knowledge): Complex Web Questions (CWQ) (사실 추출 및 결합).
- 정렬(Alignment): 윤리 벤치마크 (상식적 윤리 판단).
MINT 데이터셋: 이러한 실험을 지원하기 위해 저자들은 10,278개의 LLM 생성 오정보 텍스트로 구성된 MINT (Misinformation INTents) 데이터셋을 도입합니다. 이 텍스트들은 대상 데이터셋의 1,142개 샘플과 정렬되어 있으며, 중립(Neutral), 클릭베이트(Clickbait), 호색(Hoax), 루머(Rumor), 풍자(Satire), 프로파간다(Propaganda), 프레이밍(Framing), 음모론(Conspiracy), 기타(Other)의 9가지 의도 기반 유형으로 분류됩니다. 인간 감사 결과, 생성된 텍스트가 의도된 거짓 사실과 범주를 충실히 나타내는 것으로 확인되었으나, 검토자 간 일치도는 보통 수준이었습니다.

절차

단일 에이전트 설정에서는 오정보가 프롬프트에 직접 추가됩니다. 다중 에이전트 설정에서는 에이전트의 일부는 오정보가 포함된 프롬프트를 받고, 다른 에이전트는 정보가 없는 상태를 유지합니다. 에이전트들은 5회차의 토론을 진행합니다. 연구에서는 다음을 측정합니다:

과업 정확도(Task Accuracy): 최종 결정의 정확성.
의견 지속성(Opinion Persistence): 턴 $t$ 에서 제안된 답변이 턴 $t+1$ 에서 에이전트에 의해 반복되는 확률로, 오정보가 확산되는지 혹은 교정되는지를 나타냅니 다.
자기 교정(Self-Correction): 초기에 오정보를 가졌던 에이전트가 토론 종료 시까지 올바른 답변으로 전환하는 비율.

주요 결과

1. 단일 에이전트 성능에 미치는 영향

관련 있는 오정보에 노출될 경우 단일 에이전트의 성능이 크게 저하됩니다.

CWQ 데이터셋에서 Llama-3.3의 정확도는 26.75% (0.49에서 0.36으로) 감소했습니다.
윤리 정렬 과업(Ethics)과 추론 과업(WinoGrande)에서도 상당한 하락(각각 약 25% 및 19%)이 관찰되었습니다.
무관한 오정보는 영향이 더 약했으며, 무관한 참된 정보는 오히려 성능을 향상시키는 경우가 많았습니다. 이는 성능 저하가 단순한 토큰의 주의 분산 때문이 아니라 의미론적 정렬과 의도 때문임을 시사합니다.

2. 다중 에이전트의 견고성 및 지속성

다중 에이전트 토론은 일반적으로 단일 에이전트에서 관찰되는 성능 저하를 완화하지만, 오정보는 지속됩니다.

완화: MAD에서의 정확도 하락(-2.2% ~ -10.3%)은 단일 에이전트 설정(-12.9% ~ -17.2%)에 비해 작았습니다.
지속성: 완화 효과에도 불구하고, 한 에이전트에 의해 도입된 오정보는 여러 턴에 걸쳐 지속되는 경우가 많습니다. CWQ와 WinoGrande에서 에이전트들은 정보가 없는 에이전트들보다 오정보가 담긴 답변을 더 높은 비율로 유지했습니다 (평균 델타 값 각각 -10.4% 및 -7.7%).
모델 차이: Llama-3.3은 GLM-4.7에 비해 오정보 답변의 지속성이 더 강하게 나타났습니다. 저자들은 이를 부분적으로 LLM이 자신의 모델 제품군이 생성한 응답을 선호하는 "자기 선호(self-preference)" 효과 때문이라고 설명합니다.

3. 그룹 구성 및 의사결정 프로토콜의 영향

투표 vs. 합의:
- 투표는 일반적으로 더 높은 절대 정확도를 달성하지만, "오정보를 가진 동료의 압박(misinformed peer pressure)"에 더 민감합니다. 오정보를 가진 에이전트의 수가 증가함에 따라 투표 정확도는 급격히 떨어집니다.
- 합의는 오정보 노출 하에서 더 안정적입니다. Llama-3.3의 경우, 오정보 에이전트가 증가하더라도 합의 방식은 비교적 평탄한 정확도 곡선을 유지한 반면, 투표 방식의 성능은 저하되었습니다.
동료 압력 및 교정: 자기 교정의 급격한 증가는 정보가 없는 에이전트가 다수를 형성할 때만 발생합니다. 오정보 에이전트가 소수일 때는 시스템이 오류를 교정하는 경향이 있지만, 이들이 다수가 되면 오류가 지배적이 됩니다.
전원 오정보 그룹: 모든 에이전트가 오정보를 가지고 있는 경우에도 MAD는 여전히 오정보를 가진 단일 에이전트 설정을 능가하며, 이는 토론 과정 자체가 어느 정도 내재된 회복력을 제공함을 시사합니다. 다만, 오정보의 유병률이 높아짐에 따라 성능은 하락합니다.

의의 및 기여

본 논문의 주요 기여는 다음과 같습니다:

취약성 평가: 완전하게 선량한 다중 에이전트 시스템이 문맥적 오정보, 특히 지식 집약적 및 윤리적 정렬 과업에서 취약하다는 것을 입증했습니다. 다만, 이러한 취약성은 과업에 따라 달라집니다.
토론 역학 분석: MAD가 단일 에이전트에 비해 성능 저하를 완화할 수는 있지만, 오정보가 토론을 통해 지속될 수 있음을 밝혀냈습니다. 시스템의 자기 교정 능력은 정보가 없는 에이전트의 다수 여부에 크게 의존합니다.
설계 시사점: 견고성이 단순히 기초 모델의 기능만이 아니라, 그룹 구성과 의사결정 프로토콜에 의해 크게 영향을 받는다는 점을 확인했습니다. 구체적으로, 특정 모델 구성에서 합의 기반 의사결정이 투표 방식보다 오정보 동료 압력에 더 강한 모습을 보였습니다.
자원 공개: 저자들은 에이전트 시스템 내의 오정보 연구를 촉진하기 위해 MINT 데이터셋과 모든 실험 코드를 공개합니다.

한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

본 연구는 두 가지 특정 오픈 웨이트 모델에 집중되어 있어, 결과가 모든 모델 제품군으로 일반화되지 않을 수 있습니다.
오정보가 MINT를 통해 기계적으로 생성되었으므로, 인간이 작성하거나 적대적으로 최적화된 오정보와는 다를 수 있습니다.
실험 설정은 고정된 토론 구조와 턴 수를 사용하며, 동적인 역할 할당, 도구 사용 또는 장기 기억을 다루지 않습니다.
MINT에 대한 인간 감사 결과, 세밀한 오정보 전략은 모호할 수 있음을 나타내는 "보통" 수준의 검토자 간 일치도를 보였습니다.

결론적으로, 본 연구는 다중 에이전트 토론이 오정보에 대한 어느 정도의 회복력을 제공하지만, 위험을 완전히 제거하지는 못한다는 증거를 제시합니다. 고위한 환경에서 이러한 시스템의 신뢰성은 에이전트가 정보를 교환하는 방식, 에이전트 그룹의 구성, 그리고 채택된 의사결정 프로토콜에 결정적으로 달려 있습니다.