💬 NLP

The Consensus Trap: Rescuing Multi-Agent LLMs from Adversarial Majorities via Token-Level Collaboration

이 논문은 다중 에이전트 LLM 시스템이 응답 수준의 다수결 투표의 취약점을 극복하고, 토큰 수준의 순환적 협업 (Token-Level Round-Robin) 을 통해 악성 에이전트가 다수를 차지하는 상황에서도 견고한 추론 능력을 유지할 수 있음을 이론적으로 증명하고 실험적으로 입증합니다.

원저자: Jiayuan Liu, Shiyi Du, Weihua Du, Mingyu Guo, Vincent Conitzer

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiayuan Liu, Shiyi Du, Weihua Du, Mingyu Guo, Vincent Conitzer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "다수결의 함정" (The Consensus Trap)

지금까지 여러 AI 를 모아 문제를 풀 때는 '다수결 (Majority Voting)' 방식을 썼습니다. 마치 5 명의 전문가에게 질문을 던지고, 3 명 이상이 같은 답을 말하면 그걸 정답으로 믿는 방식이죠.

하지만 이 방식에는 치명적인 약점이 있습니다. 적의가 3 명 이상을 속여버리면, 다수결은 무조건 틀린 답을 정답으로 받아들이게 됩니다.

비유: "가짜 뉴스에 속은 회의"
회의실에 5 명의 전문가가 있습니다. 그런데 외부에서 누군가 3 명의 전문가에게 "이 건물은 지금 불타고 있으니, 3 층으로 대피하세요!"라고 속여줍니다 (실제로는 1 층이 안전합니다).
나머지 2 명은 "아니, 1 층이 안전해요"라고 말하지만, 3 대 2 로 다수결이 적용되면 회의는 "3 층으로 대피하자"는 결론을 내립니다.
핵심: 다수결은 **'최종 결론'**만 봅니다. 중간에 어떤 잘못된 논리가 들어갔는지, 혹은 누가 속았는지는 전혀 모릅니다.

2. 새로운 해결책: "조각난 퍼즐 맞추기" (Token-Level Collaboration)

저자들은 이 문제를 해결하기 위해 **"각자 따로 생각한 뒤 결론만 모으는 것"**이 아니라, **"서로 번갈아 가며 문장을 하나씩 이어가는 방식"**을 제안합니다. 이를 **'토큰 레벨 라운드 로빈 (Token-Level Round-Robin)'**이라고 부릅니다.

비유: "함께 쓰는 이야기책"
5 명의 전문가가 한 권의 책을 함께 씁니다.

A 가 첫 문장을 씁니다.

B 는 A 가 쓴 문장을 보고 다음 문장을 이어 씁니다.

C 는 B 가 쓴 문장을 보고 다음을 이어 씁니다.

만약 A 가 "3 층으로 가자"라고 속여 쓴다면, B 가 그 문장을 읽고 "잠깐, A 가 쓴 건 말이 안 돼. 화재 경보가 1 층에서 울렸으니 1 층으로 가야 해"라고 바로 수정할 수 있습니다.
그다음 C 는 "그래, 1 층으로 가자"라고 이어 씁니다.

핵심: 이 방식은 중간에 잘못된 논리가 끼어들면, 그다음 사람이 바로 잡아줄 수 있습니다. 마치 퍼즐을 맞추듯, 한 조각이 잘못되면 바로 다음 조각이 그걸 고쳐서 전체 그림을 바로잡는 것입니다.

3. 왜 이 방식이 더 강력한가?

이론적으로 증명된 바에 따르면, 이 방식은 적의가 50% 를 넘어서도 (심지어 60% 이상이어도) 진실을 찾아낼 수 있습니다.

비유: "진실의 중력"
이 방식에서는 **공유된 문맥 (Context)**이 마치 **'진실의 중력'**처럼 작용합니다.
거짓말을 하려는 AI 가 아무리 강하게 "3 층으로 가자"라고 외쳐도, 이미 공유된 문맥 속에 "1 층이 안전하다"는 논리가 단단하게 박혀 있다면, 그 AI 는 그 논리를 무시하고 다시 거짓말을 하기가 매우 어려워집니다.
마치 이미 쓰인 글씨를 지우기보다, 그 위에 올바른 글을 더 자연스럽게 이어 쓰는 것이 훨씬 쉽기 때문입니다.

요약: 이 연구가 왜 중요한가요?

기존 방식의 한계: AI 들이 따로따로 생각한 뒤 결론만 모으면, 적의가 다수를 장악하면 시스템이 완전히 무너집니다.
새로운 방식의 승리: AI 들이 문장 하나하나를 번갈아 가며 함께 작성하면, 진실에 가까운 AI 가 중간에 잘못된 논리를 바로잡을 수 있습니다.
실제 효과: 실험 결과, 기존 방식은 적의가 50% 를 넘으면 정확도가 0% 에 수렴했지만, 이 새로운 방식은 적의가 60% 를 넘어서도 높은 정확도를 유지했습니다.

한 줄 요약:

"혼자서 결론만 내면 다수가 속아 넘어가면 끝장나지만, 서로 문장을 이어가며 중간중간 서로를 감시하고 수정하면, 적의가 다수라도 진실을 찾아낼 수 있습니다."

이 연구는 AI 가 더 안전하고 신뢰할 수 있도록, 서로 협력하는 방식을 근본적으로 바꾸는 획기적인 아이디어를 제시합니다.

1. 문제 제기 (Problem Statement)

배경: 대규모 언어 모델 (LLM) 의 단일 모델 추론 한계를 극복하기 위해 다중 에이전트 협업 아키텍처가 급격히 확산되고 있습니다. 현재 지배적인 접근 방식은 여러 에이전트의 답변을 수집하여 응답 수준 (Response-Level) 에서 집계하는 것 (예: 다수결 투표, Majority Voting - MAJ) 입니다.
핵심 취약점 (Consensus Trap):
- 기존 다중 에이전트 시스템은 개별 에이전트의 오류가 서로 독립적이라는 가정에 의존합니다. 그러나 실제 오픈 환경에서는 은밀한 컨텍스트 오염 (Stealthy Contextual Corruption) (예: 표적 프롬프트 인젝션, 광고 삽입 등) 이 발생할 수 있습니다.
- 오염된 에이전트들이 전체의 다수 (Majority, $\rho > 0.5$ ) 를 차지하면, 기존 다수결 투표 방식은 수학적으로 붕괴됩니다.
- 이유: 응답 수준 집계는 완성된 결론만 집계하므로, 중간 추론 과정의 논리적 결함을 감지하거나 수정할 수 없습니다. 오염된 다수가 동일한 잘못된 결론을 내면, 소수의 정직한 에이전트들은 무시당하게 됩니다.

2. 제안 방법론 (Methodology)

저자들은 이 한계를 극복하기 위해 마이크로스코픽 (미시적) 인 토큰 수준 (Token-Level) 의 라운드 로빈 (Round-Robin, RR) 협업을 제안합니다.

핵심 아이디어:
- 에이전트들이 독립적으로 답변을 생성한 후 투표하는 대신, 공유된 자동 회귀 (Auto-regressive) 컨텍스트 윈도우 내에서 토큰 단위로 번갈아 가며 생성합니다.
- 각 에이전트는 이전 에이전트들이 생성한 전체 문맥을 읽고, 정해진 토큰 수 ( $K$ ) 만큼만 생성한 후 다음 에이전트에게 넘깁니다.
작동 원리 (Truth Attractor):
- 공유된 문맥은 객관적 진실의 흡인력 (Truth Attractor) 역할을 합니다.
- 오염된 에이전트가 악의적인 논리를 생성하더라도, 그 다음 순번의 정직한 에이전트가 문맥을 읽으면서 생성 중간에 논리적 오류를 지적하고 수정할 수 있습니다 (예: "잠깐, sqrt(9) 는 3 이므로 3+1=4 입니다"라고 수정).
- 일단 수정된 논리가 공유 컨텍스트에 통합되면, 이는 이후의 오염된 에이전트들에게도 강력한 제약 조건으로 작용하여 잘못된 경로로 다시 돌아가는 것을 방지합니다.
비용 효율성:
- 기존 다수결 투표 (MAJ) 와 비교하여 계산 비용이 거의 동일합니다. $N$ 개의 에이전트가 $L$ 길이의 답변을 생성할 때, MAJ 는 $N \times L$ 의 디코딩 단계를 거치는 반면, RR 도 $N$ 번의 실행 (Multi-Shot) 을 통해 전체적으로 $N \times L$ 의 토큰을 생성하므로 비용이 동등합니다.

3. 이론적 기반 및 기여 (Theoretical Framework & Contributions)

이론적 증명 (The Impossibility Trinity vs. Token-Level RR):
- 명제 1 (불가능 삼각형): 응답 수준 집계 메커니즘은 소수 오염과 소수 다수 오염을 동시에 견딜 수 없습니다. 즉, 오염된 에이전트가 다수가 되면 정답을 도출할 수 없습니다.
- 정리 1 (Lyapunov 안정성): 토큰 수준 RR 은 이를 극복합니다. 정직한 에이전트의 생성은 논리적 일관성을 유지하며 오류를 감소시키는 수축 사상 (Contraction Mapping) 역할을 하고, 오염된 에이전트의 오류는 순종성 병목 (Sycophancy Bottleneck) 으로 인해 점진적으로만 누적됩니다.
- 결과: 토큰 단위 ( $K$ ) 가 작을수록 정직한 에이전트의 교정력이 오염된 에이전트의 누적 오류를 압도하여, 오염 비율이 50% 를 초과하더라도 ( $\rho > 0.5$ ) 시스템이 안정적으로 정답을 도출할 수 있음을 수학적으로 증명했습니다.
주요 기여:
1. 회복력의 위상 전이 (Phase Transition): 다수결 투표는 오염 비율 0.5 에서 급격히 붕괴하지만, RR 은 이를 훨씬 넘어선 고오염 환경에서도 정확도를 유지함을 실험적으로 입증했습니다.
2. 비대칭적 방어 수익 (Asymmetric Yield): 안전 환경에서는 미세한 오버헤드 (Robustness Tax) 만 발생하지만, 위협 환경에서는 막대한 정확도 회복 효과를 가져옵니다.

4. 실험 결과 (Results)

실험 설정:
- 모델: Llama-3.3-70B, Llama-4-Scout-17B, Mistral, Qwen 등 다양한 크기와 아키텍처의 모델 사용.
- 데이터셋: 수학 추론 (GSM8K, MATH500, AQuA), 논리 추론 (Logic3, Logic7), 공간 추적 (Track7) 등 객관적 정답이 존재하는 5 가지 벤치마크.
- 공격 시나리오: 'Moderate Advisory' (설득력 있는 오답 유도) 와 'Strong Imperative' (강제 명령) 두 가지 수준의 프롬프트 인젝션 공격 적용.
주요 발견:
- 기존 방식 (MAJ) 의 붕괴: 오염된 에이전트가 3 명 (5 명 중, $\rho=0.6$ ) 이상일 때, MAJ 의 정확도는 거의 0% 에 수렴하거나 극도로 낮아졌습니다 (예: GSM8K 에서 1.2% 로 하락).
- RR 의 압도적 회복: 동일한 조건에서 RR 은 정확도를 80% 이상으로 회복시켰습니다.
  - 예: Llama-3.3-70B 모델의 Track7 데이터셋에서 오염 비율 0.6 시 MAJ 는 0.8% 였으나, RR 은 89.1% 로 회복 (+88.3%p).
  - GSM8K 에서 MAJ 가 1.2% 로 추락한 반면, RR 은 69.3% 를 기록 (+68.1%p).
- 이질적 에이전트 협업: 약한 정직한 에이전트 (예: 8B 모델) 가 논리적 제약을 공유 컨텍스트에 주입하면, 강력한 오염된 에이전트 (예: 70B 모델) 도 그 논리에 따라 정답을 생성하도록 강제되는 현상이 관찰되었습니다.
- 최종 발언자 무관성: 마지막 토큰을 생성한 에이전트가 정직한지 오염되었는지와 최종 정확도 사이에는 통계적으로 유의미한 차이가 없었습니다. 이는 공유된 문맥 자체가 강력한 제약 조건으로 작용함을 의미합니다.

5. 의의 및 결론 (Significance)

패러다임의 전환: 다중 에이전트 시스템의 안전 장치를 '최종 답변의 투표'에서 '생성 과정의 실시간 상호작용'으로 전환했습니다.
실용적 가치:
- 비용 대비 효과: 추가적인 계산 비용 없이 기존 인프라를 활용하여 강력한 방어 메커니즘을 구현할 수 있습니다.
- 실제 적용 가능성: 자율 연구 보조, 여행 플래너 등 오픈 환경에서 외부의 은밀한 조작 (광고, 정치적 선전, 사이버 범죄 유도) 에 대한 강력한 방어 수단이 됩니다.
미래 작업: 적응형 적대적 공격 (Shared Context 를 모니터링하여 교정을 우회하는 공격) 에 대한 대응 및 동적 토큰 크기 ( $K$ ) 최적화를 통한 대규모 에이전트 군집 확장 연구가 필요하다고 제언합니다.

요약하자면, 이 논문은 다중 에이전트 LLM 시스템이 '다수결의 함정'에 빠지지 않도록, 에이전트들이 토큰 단위로 문맥을 공유하며 상호 교정하는 새로운 협업 메커니즘을 제안하고, 이를 통해 이론적, 실험적으로 오염된 다수 환경에서도 시스템이 회복될 수 있음을 입증했습니다.