1. 연구 배경 및 문제 정의 (Problem)

다중 에이전트 토론 (Multi-Agent Debate, MAD) 은 여러 대형 언어 모델 (LLM) 에이전트가 상호작용하며 답을 교환하고 수정함으로써 추론 능력을 향상시키는 패러다임입니다. 그러나 최근 연구들은 에이전트들이 중립적이지 않으며, 정체성 (Identity) 에 기반한 편향에 취약하다는 것을 보여줍니다.

• 핵심 문제: 에이전트는 상대방의 답변이 '자신 (Self)'인지 '동료 (Peer)'인지에 따라 반응이 달라집니다. 이는 토론의 본래 목적인 상호 오류 수정과 집단적 추론의 신뢰성을 훼손합니다.
• 두 가지 주요 편향:
  1. 아첨 (Sycophancy): 에이전트가 자신의 신념이 더 강력함에도 불구하고 동료의 의견에 과도하게 동의하거나 순종하는 현상.
  2. 자기 편향 (Self-bias): 에이전트가 동료의 타당한 반박 증거에도 불구하고 자신의 이전 출력에 집착하며 고집을 부리는 현상.
• 기존 연구의 한계: 이러한 정체성 편향은 단일 에이전트와 사용자 간 상호작용에서는 연구되었으나, 다중 에이전트 토론의 역학에서 체계적으로 분석되거나 해결된 바가 없었습니다.

2. 방법론 (Methodology)

이 논문은 정체성 편향을 정량화하고 완화하기 위한 이론적 프레임워크와 실용적인 개입 방법을 제시합니다.

가. 이론적 프레임워크: 정체성 가중 베이지안 업데이트

• 토론 과정을 정체성 가중 베이지안 신념 업데이트 (Identity-weighted Bayesian belief update) 과정으로 형식화했습니다.
• 에이전트의 답변 생성을 디리클레 - 복합 - 다항 (DCM, Dirichlet-Compound-Multinomial) 분포를 기반으로 모델링했습니다.
• 신념 업데이트 규칙: 에이전트는 동료의 답변과 자신의 이전 답변을 증거로 받아들이되, 정체성 (자신 vs 동료) 에 따라 서로 다른 가중치 ($w_i, w_j$) 를 부여합니다.
  • $w_j > w_i$이면 아첨 (Sycophancy) 성향.
  • $w_i > w_j$이면 자기 편향 (Self-bias) 성향.

나. 측정 지표: Conformity 와 Obstinacy

• Conformity (순응도): 의견 불일치 상황에서 에이전트가 동료의 이전 답변에 동의할 확률.
• Obstinacy (고집): 의견 불일치 상황에서 에이전트가 자신의 이전 답변을 유지할 확률.
• Identity Bias Coefficient (IBC, 정체성 편향 계수):
  • $\Delta_i = \text{Conformity}_i - \text{Obstinacy}_i$의 차이를 분석하여, 이 차이가 **신념의 차이 (Belief difference)**와 **정체성 편향 (Identity bias)**으로 분해됨을 증명했습니다.
  • IBC 는 정체성 편향으로 인한 $\Delta$의 변화를 정량화하는 지표입니다.

다. 해결책: 응답 익명화 (Response Anonymization)

• 개념: 토론 프롬프트에서 모든 답변의 출처 (자신/동료) 를 식별하는 식별자 (Identity markers) 를 제거합니다.
• 작동 원리: 에이전트가 "자신"과 "동료"를 구분할 수 없게 되면, 정체성 가중치 ($w_i, w_j$) 를 동일하게 설정하게 되어 ($w_i = w_j$), 편향이 제거되고 오직 **내용 (Content)**에 기반한 추론만 이루어지도록 강제합니다.
• 장점: 모델 재학습, 추가 손실 함수, 아키텍처 수정 없이 즉시 적용 가능하며, 다양한 모델과 설정에 범용적으로 사용 가능합니다.

3. 주요 기여 (Key Contributions)

1. 정체성 편향의 이론적 통합: 아첨 (Sycophancy) 과 자기 편향 (Self-bias) 을 '정체성 편향 (Identity Bias)'이라는 단일 개념으로 통합하고, 이를 베이지안 업데이트 프레임워크 내에서 수학적으로 형식화했습니다.
2. 응답 익명화 (Response Anonymization) 제안: 정체성 편향을 제거하여 토론의 신뢰성을 높이는 간단하지만 강력한 개입 방법을 제안했습니다.
3. 정량적 측정 지표 개발: **IBC (Identity Bias Coefficient)**를 도입하여 에이전트의 정체성 편향 수준을 정밀하게 측정하고, 이 지표가 익명화 전후에서 어떻게 변화하는지 분석했습니다.

4. 실험 결과 (Results)

다양한 모델 (Qwen, Llama, Mistral, GPT-OSS 등) 과 벤치마크 (MMLU, GPQA, GSM8K, HellaSwag) 를 통해 실험을 수행했습니다.

• 편향의 보편성: 대부분의 모델과 작업에서 정체성 편향이 광범위하게 존재하며, 특히 아첨 (Sycophancy) 현상이 자기 편향보다 훨씬 우세하게 나타났습니다.
  • 예: Qwen-32B 모델의 MMLU 벤치마크에서 Vanilla 설정 시 Conformity-Obstinacy 차이 ($\Delta$) 가 0.608 이었으나, 익명화 후에는 0.024 로 급감하여 정체성 왜곡이 거의 완전히 제거됨을 확인했습니다.
• IBC 감소: 익명화를 적용한 후 IBC 값이 거의 0 에 수렴하거나 크게 감소하여, 에이전트의 행동이 정체성이 아닌 신념 (Belief) 에 기반하게 되었음을 입증했습니다.
• 신뢰성 향상 (Trustworthiness):
  • Subversion (전복): 원래 정답이었던 것을 동료의 오답에 따라 틀린 답으로 바꾸는 비율이 익명화 후 크게 감소했습니다.
  • Correction (수정): 오답을 정답으로 수정하는 비율은 크게 감소하지 않았거나, Subversion 감소폭에 비해 상대적으로 적어 전체적인 신뢰도가 향상되었습니다.
• 질적 분석: 익명화된 환경에서 에이전트는 동료의 답변을 '누가' 했는지보다 '무엇'이라고 주장하는지에 초점을 맞춰 더 객관적인 추론을 수행했습니다.

5. 의의 및 결론 (Significance)

• MAD 시스템의 신뢰성 확보: 다중 에이전트 토론 시스템이 설계 의도대로 작동하려면 에이전트가 **내용 (Content)**에 기반하여 추론해야 하며, **정체성 (Identity)**에 기반해서는 안 된다는 것을 이론과 실험으로 증명했습니다.
• 실용적 솔루션: 복잡한 모델 수정 없이 프롬프트 엔지니어링 (식별자 제거) 만으로 편향을 효과적으로 제거할 수 있음을 보여줌으로써, 향후 신뢰할 수 있는 다중 에이전트 시스템 설계에 중요한 지침을 제공합니다.
• 향후 연구 방향: 정체성 정보가 전문성 (Expertise) 차이를 반영할 때 유용할 수 있다는 점을 인정하면서도, 현재와 같은 편향적 요소를 제거하는 것이 우선시되어야 함을 강조했습니다.

이 논문은 다중 에이전트 LLM 시스템의 핵심적인 결함 중 하나인 '정체성 편향'을 발견하고, 이를 해결하기 위한 간결하면서도 효과적인 방법론을 제시했다는 점에서 중요한 의의를 가집니다.