From Debate to Decision: Conformal Social Choice for Safe Multi-Agent Deliberation

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 기반의 다중 에이전트 토론 (Multi-agent Debate) 은 단일 에이전트보다 추론 능력을 향상시키는 것으로 알려져 있습니다. 그러나 기존 시스템은 에이전트들이 합의 (Consensus) 에 도달하면 그 답을 최종 정답으로 간주하고 자동화 행동을 취하는 방식을 취합니다.

이 접근법의 근본적인 문제는 다음과 같습니다:

• 잘못된 합의 (Wrong Consensus): 에이전트들이 사회적 강화 (Social Reinforcement) 를 통해 서로의 의견을 따르며, 틀린 답에 대해 높은 확신으로 일치하는 경우가 발생합니다.
• 보안 부재: 현재의 합의 기반 중단 (Consensus Stopping) 은 이러한 잘못된 합의를 식별하지 못하며, 오류가 자동화된 행동으로 이어져 수정할 수 없는 재앙을 초래할 수 있습니다.
• 불확실성 무시: 점 추정 (Point Estimate, 예: 다수결) 은 불확실성을 무시하고 단순히 '누가 이겼는지'에만 초점을 맞춥니다.

따라서 본 논문은 **"누가 토론에서 이겼는가?"**가 아니라 **"언제 행동하는 것이 안전한가?"**라는 배포 (Deployment) 관점의 질문을 해결하고자 합니다.

2. 방법론: 합의적 사회적 선택 (Conformal Social Choice)

저자들은 Conformal Social Choice라는 사후 (Post-hoc) 의사결정 레이어를 제안합니다. 이는 모델의 재학습이나 내부 구조 접근 없이, 토론 출력을 보정된 '행동 vs. 에스컬레이션 (인간 검토)' 결정으로 변환합니다.

주요 파이프라인 (4 단계)

1. 다중 에이전트 토론 및 확률 elicitation:
   • 이질적인 LLM 에이전트들 (Claude Haiku, DeepSeek-R1, Qwen-3 등) 이 T 라운드에 걸쳐 토론합니다.
   • 각 에이전트는 토큰 로그 확률 대신, 구조화된 태그를 통해 구두화된 확률 분포 (Verbalized Probability Distribution) 를 출력합니다.
2. 사회적 확률 집계 (Social Probability Aggregation):
   • 개별 에이전트의 확률 분포를 선형 의견 풀 (Linear Opinion Pool) 을 통해 집계하여 전체적인 사회적 확률 분포를 생성합니다.
   • 단순 다수결이 아닌, 각 에이전트의 확신 정도 (신뢰도) 를 반영한 가중 평균을 사용합니다.
3. 합의적 보정 (Conformal Calibration):
   • 분할 합의 예측 (Split Conformal Prediction) 기법을 적용합니다.
   • 검증 세트 (Calibration Set) 를 사용하여 비동일성 점수 (Non-conformity Score, $s_{nc} = 1 - P_{social}$) 를 계산하고, 이를 기반으로 임계값 $\hat{q}$를 결정합니다.
   • 이 과정은 개별 모델의 보정 상태에 대한 가정이 없으며, 주변 커버리지 보장 (Marginal Coverage Guarantee, $\Pr[y \in C(x)] \ge 1-\alpha$) 을 제공합니다.
4. 예측 집합 구성 및 행동 정책:
   • 테스트 입력에 대해 예측 집합 $C(x)$를 생성합니다.
   • 단일원 집합 (Singleton, $|C(x)|=1$): 시스템이 자율적으로 행동 (Action).
   • 다중원 집합 (Larger Set, $|C(x)|>1$): 불확실성이 높으므로 인간 전문가에게 에스컬레이션 (Escalation).
   • 공집합 (Empty Set): 이상 탐지 (Anomaly Detection).

3. 주요 기여 (Key Contributions)

1. 의사결정 재구성: 다중 에이전트 토론을 '정답 선택' 문제에서 '위험 통제된 행동 선택' 문제로 재정의했습니다.
2. 실패 모드 정량화: 초기에 이견이 있었음에도 토론을 거친 후 23.9% 의 경우 잘못된 합의 (Wrong Consensus) 에 도달함을 발견했습니다.
3. 운영적 완화 (Operational Mitigation): 제안된 레이어는 잘못된 합의 사례의 81.9% 를 자동화 전에 차단 (Escalation) 하여, 남은 단일원 사례의 정확도를 기존 합의 중단 방식 대비 최대 22.1%p 향상시켰습니다. 이는 추론 능력의 향상이라기보다 보정된 거절 (Calibrated Refusal) 에 의한 선택 효과입니다.

4. 실험 결과 (Results)

• 데이터셋: MMLU-Pro (수학, 물리, 법학, 공학 등 8 개 전문 도메인, 10 지선다형).
• 모델: Claude Haiku, DeepSeek-R1, Qwen-3 32B (3 개 에이전트).
• 커버리지 (Coverage): $\alpha=0.05$ (95% 타겟) 설정 시, 모든 도메인에서 93.0%~97.6% 의 커버리지를 유지하여 이론적 보장을 실증했습니다.
• 정확도 향상:
  • 법학 (Law) 도메인에서 합의 중단 방식의 정확도는 67.9% 였으나, 제안 방법은 90.0% 로 크게 향상되었습니다 (단, 자동화 비율은 87.7% 에서 6.2% 로 감소하여 인간 검토로 전환됨).
  • 수학 (Math) 과 같이 명확한 도메인에서는 자동화 비율이 높게 유지되면서도 높은 정확도를 달성했습니다.
• 잘못된 합의 차단: $\alpha=0.05$에서 잘못된 합의 사례의 81.9% 를 성공적으로 차단했습니다. 반면, 올바른 합의 사례를 불필요하게 차단하는 비율은 31.9% 에 불과했습니다.
• 안전성: 제안된 방법은 잘못된 답을 자동화하는 오류를 240:1 비율로 예방하는 효과를 보였습니다.

5. 의의 및 결론 (Significance)

• 안전한 AI 배포: 다중 에이전트 시스템이 높은 확신으로 틀린 답을 내놓을 때, 이를 자동으로 실행하지 않고 인간에게 넘기는 안전 장치 (Safety Mechanism) 를 제공합니다.
• 블랙박스 호환성: 모델의 내부 가중치나 로그 확률에 접근할 필요 없이, 외부에서 출력된 확률 분포만으로도 적용 가능합니다.
• 유연한 운영점: 사용자 정의 파라미터 $\alpha$를 통해 자동화 비율과 안전성 사이의 트레이드오프를 조절할 수 있습니다. (예: 법학처럼 모호한 도메인에서는 자동화를 줄이고 인간 검토를 늘리는 것이 바람직함).
• 선택 효과의 명확화: 시스템이 더 똑똑해진 것이 아니라, 위험한 경우를 식별하여 거절함으로써 남은 자동화 사례의 신뢰도를 극대화했다는 점을 강조합니다.

결론적으로, 이 연구는 다중 에이전트 토론의 잠재적 위험 (잘못된 합의) 을 통계적으로 엄격하게 제어하여, 고신뢰도가 요구되는 실제 환경에서의 LLM 에이전트 배포를 가능하게 하는 프레임워크를 제시했습니다.