기술 요약: 모든 태도 변화가 순응은 아니다: 다중 에이전트 LLM 토론에서의 태도 수렴 분해

문제 정의

다중 에이전트 토론(Multi-Agent Debate, MAD)은 여러 에이전트가 서로의 답변에 이의를 제기하고 정교화하도록 함으로써 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위해 널리 활용된다. 그러나 결정적인 모호함이 남아 있다: 에이전트들이 공유된 답변으로 수렴할 때, 이 수렴이 진정한 숙고와 추론의 개선을 반영하는 것인가, 아니면 단순히 사회적 순응(Conformity)에 불과한 것인가?

기존 문헌은 피어(peer)의 노출 이후 발생하는 모든 답변 변화를 설득의 증거로 해석하는 경며가 있다. 본 논문은 이러한 해석이 세 가지 뚜로 구별되는 메커니즘을 구분하지 못하기 때문에 결함이 있다고 주장한다:

1. 자발적 불안정성(Spontaneous Instability): 새로운 정보 없이도 재검토 시 답변을 수정하는 모델의 경향.
2. 태도 유도 순응(Stance-Induced Conformity): 오직 피어의 입지(position) 존재에 의해서만 발생하는 변화(규범적 영향).
3. 추론 유도 설득(Reasoning-Induced Persuasion): 피어 추론의 논리적 내용에 노출되어 발생하는 변화(정보적 영향).

이러한 요인들을 격리하지 않으면, "태도 변화율(flip rate, 에이전트가 답변을 바꾸는 비율)"은 모델의 기저 불안정성과 진정한 사회적 영향력을 혼재하게 만들며, 결과적으로 순응도를 과대평가하고 MAD의 효용성을 오해하게 만든다.

방법론

저자들은 대조적인 조건(counterfactual conditions)을 사용하는 통제된 실험 설계를 통해 운영되는 **3원 분해 프레임워크(three-source decomposition framework)**를 제안한다.

실험 설정

• 에이전트: 5명의 에이전트(주로 GPT-4o를 사용하며, DeepSeek-V4-Flash 및 Qwen-Plus에 대한 강건성 검증 수행)가 라운드 0에서 여러 선택형 질문에 독립적으로 답한다.
• 불일치 필터링: 에이전트들이 초기에 의견이 일치하지 않는 질문들만 라운드 1로 진행한다.
• 대조적 조건: 라운드 1에서 각 에이전트-질문 쌍은 세 가지 병렬적이고 독립적인 조건 하에서 관찰된다:
  1. 자기 성찰($a^{(sr)}$): 에이전트가 피어 정보 없이 자신의 초기 답변을 재평가한다.
  2. 태도 전용($a^{(so)}$): 에이전트가 피어의 답변은 보지만 추론 과정은 보지 못한다.
  3. 전체 추론($a^{(r)}$): 에이전트가 피어의 답변과 그들의 추론 궤적을 모두 본다.

분해 로직

관찰된 답변 변화는 에이전트의 행동을 다음과 같은 조건들에 따라 특정 원인으로 귀속된다:

• 자발적 변화: $a^{(sr)}_i \neq a^{(0)}_i$. 피어의 입력 없이도 에이전트가 변화함.
• 엄격한 순응 (태도 유도): $a^{(sr)}_i = a^{(0)}_i$ (고립 상태에서 안정적임) 이면서 $a^{(so)}_i \neq a^{(0)}_i$ 이고 $a^{(so)}_i \in \{a^{(0)}_j\}_{j \neq i}$ 인 경우. 에이전트가 오직 피어의 태도에 노출되었을 때만 변화함.
• 추론 유도 변화: $a^{(sr)}_i = a^{(0)}_i$, $a^{(so)}_i = a^{(0)}_i$ 이지만 $a^{(r)}_i \neq a^{(0)}_i$ 인 경우. 에이전트가 자기 성찰과 태도 노출에는 저항했으나, 피어의 추론을 보고 변화함.

정보 구배 실험(Information Gradient Experiment)

추론의 '형태(form)'와 '내용(content)'의 설득력을 분리하기 위해, 저자들은 고위험 하위 집단(초기에 정답이며 안정적인 에이전트)을 대상으로 통제된 실험을 수행했다. 이들은 다음을 도입했다:

1. 무효한 추론(Invalid Reasoning): 추론 구조는 갖추었으나 도메인 내용은 없는 공허한 텍스트.
2. 틀린 추론(Wrong Reasoning): 오답으로 이끄는 그럴듯한 논거.
   이를 통해 논리적 타당성이 아닌, 추론의 구조적 외양 자체에 의한 오류 채택률을 측정할 수 있었다.

예측 및 개입

본 연구는 또한 라운드 0의 특징(예: 피어 불일치 구조, 확신도)을 바탕으로 해로운 순응(정답 $\to$ 오답) 위험이 있는 에이전트를 식별하는 예측 모델을 개발했다. 이 모델은 진단적(정답 레이블이 있는 경우) 및 배포(정답 레이블이 없는 경우) 설정 모두에서 표적 개입(독립성을 장려하는 프롬프트)을 테스트하는 데 사용되었다.

주요 결과

1. 태도 수렴의 분해

• 자발적 불안정성이 지배적임: MMLU-Pro 환경에서, **37%**의 에이전트-질문 관측치가 자기 성찰만으로 변화했다. 이는 "피어 영향"의 상당 부분이 실제로는 모델의 기저 불안정성임을 나타낸다.
• 엄격한 순응은 낮지만 해로움: 불안정성을 통제한 후, 엄격한 순응률은 **29%**이다. 결정적으로, 이 순응은 주로 해롭다: 이 변화 중 **63.6%**는 정답 에이전트가 오답으로 전환되는 경우였다.
• 순 정확도 영향: 피어 정보가 개별 정확도는 약간 향상시킬 수 있으나, 집계 수준(다수결)에서는 해로운 순응과 유익한 순응이 서로 상쇄되기 때문에 피어 영향이 자기 성찰 이상의 측정 가능한 이득을 제공하지 못한다.

2. 추론의 역할

• 추론은 종종 오류를 증가시킴: 자기 성찰과 태도 전용 노출에 저항하는 에이전트들 사이에서, 전체 피어 추론에 대한 노출은 추가적인 변화를 일으켰다. 그러나 이 변화 중 정확도를 개선한 경우는 **30%**에 불에 불과했으며, 대다수(70%)는 정확도를 떨어뜨리거나 개선하지 못했다.
• 내용보다 형태: 정보 구배 실험 결과, 추론과 유사한 제시 방식(공허하더라도)은 저항력이 있는 에이전트의 **29.7%**가 정답을 포기하게 만든다. 실질적이지만 틀린 추론을 추가했을 때는 이 비율이 **54.5%**로 증가했다. 이는 LLM이 논리적 타당성이 아닌, 추론의 구조적 외양에 취약함을 시사한다.

3. 예측 및 완화

• 예측 가능성: 해로운 순응은 라운드 0의 특징(특히 피어 불일치 구조)으로부터 AUC 0.79의 성능으로 예측 가능하다.
• 진단적 개입: 정답 레이블이 있는 설정에서, 위험도가 높은 상위 20%의 에이전트를 대상으로 독립성 촉진 프롬프트를 적용했을 때, 해로운 순응은 13.6 퍼센트 포인트 감소했고 정확도는 14.6 pp 향상되었다.
• 배포의 한계: 정답 레이블이 없는 실제 배포 설정에서, 동일한 개입은 피어 채택을 줄였으나 전체 정확도를 개선하지는 못했다. 이는 해당 개입이 해로운 채택(정답 $\to$ 오답)과 유익한 채택(오답 $\to$ 정답)을 모두 차단하며, 정답 신호 없이는 둘을 구분하기 어렵기 때문이다.

의의 및 주장

본 논문은 다중 에이전트 시스템의 신뢰성에 대한 이해를 단순한 사회적 영향력 문제가 아닌, 개별 추론의 불안정성과 사회적 순응이라는 이중적 문제로 전환한다고 주장한다.

• MAD의 재평가: 저자들은 태도 수렴을 태도 변화율(flip rate)만으로 성공 신호로 해석해서는 안 된다고 주장한다. 수렴의 상당 부분은 자발적 퇴보이며, 남은 엄격한 순응 또한 정확도를 저하시키는 경우가 많다.
• 맥락 유도 순응: LLM은 인간의 권위 편향(authority bias)과 유사하게, 피어 추론의 존재 자체를 증거로 취급한다는 점을 시사한다. 이는 다중 에이전트 시스템의 맥락 설계가 중요한 안전 관련 선택임을 의미한다.
• 프롬프트 수준 완화의 한계: 본 연구는 프롬프트 기반 개입의 경계를 강조한다. 정답 신호를 사용할 수 있을 때는 표적 프롬프트가 해로운 순응을 줄일 수 있지만, 정답을 알 수 없는 블라인드 배포 시나리오에서는 정확도를 높일 수 없다. 왜냐하면 이는 해로운 영향과 유익한 영향을 구분 없이 억제하기 때문이다. 따라서 신뢰할 수 있는 배포를 위해서는 리스크 스코어링 외에도 런타임 검증 메커니즘이나 정답 신호가 필요하다.

결론적으로, 향후 MAD 설계는 피어 답변에 대한 균일한 노출을 넘어, 자발적 불안정성과 해로운 순응의 위험을 완화하기 위한 검증, 확신도 교정, 또는 불일치 인지형 게이팅(disagreement-aware gating)을 포함해야 한다.