1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM), 특히 Mixture-of-Experts (MoE) 아키텍처를 사용하는 모델들은 다양한 자연어 처리 작업에서 뛰어난 성능을 보이지만, 다음과 같은 두 가지 치명적인 결함을 가지고 있습니다.

• 할루시네이션 (Hallucination): 사실과 다르거나 입력 맥락에 근거하지 않은 내용을 유창하고 그럴듯하게 생성하는 현상. MoE 아키텍처에서는 게이트 네트워크가 특정 유형의 쿼리를 훈련 중 잘못된 상관관계를 학습한 전문가 (Expert) 로 라우팅하는 '전문가 붕괴 (Expert Collapse)' 현상이나, 전체 파라미터 지식의 일부만 활성화되어 발생하는 지식 공백으로 인해 이 문제가 악화됩니다.
• 체계적 편향 (Systematic Bias): 게이트 함수가 의미 내용보다는 표면적 특징에 기반하여 라우팅 결정을 내리거나, 특정 전문가가 특정 도메인에 과도하게 특화되면서 발생하는 편향.

기존의 단일 모델 기반 해결책 (RAG, RLHF 등) 은 모델의 파라미터적 기억과 추론 능력의 한계 내에서만 작동하여 근본적인 해결이 어렵습니다.

2. 방법론: Council Mode 아키텍처 (Methodology)

이 논문은 Council Mode라는 새로운 다중 에이전트 합의 프레임워크를 제안합니다. 이는 단일 모델에 의존하는 대신, 아키텍처가 서로 다른 여러 최첨단 (Frontier) LLM 을 병렬로 호출하고, 전용 합의 모델이 이를 통합하여 최종 응답을 생성하는 3 단계 파이프라인으로 구성됩니다.

3 단계 파이프라인:

1. 지능형 트라이지 (Intelligent Triage):
   • 사용자 쿼리의 복잡성을 평가하여 전체 Council deliberation(심의) 이 필요한지 판단합니다.
   • 간단한 인사말이나 초단문 쿼리는 클라이언트 측 정규식 (Regex) 및 경량 LLM 을 통해 바로 처리하여 (Bypass) 연산 자원을 절약합니다.
2. 병렬 전문가 생성 (Parallel Expert Generation):
   • 복잡도가 높은 쿼리의 경우, 3 개의 서로 다른 공급업체 (OpenAI, Anthropic, Google) 의 모델 (GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro) 에게 동일한 프롬프트를 동시 (Promise.all) 로 전송합니다.
   • 각 모델은 독립적으로 응답 ($R_i$) 을 생성하며, 이는 아키텍처적 다양성을 극대화합니다.
3. 구조화된 합의 합성 (Structured Consensus Synthesis):
   • 전용 합성 모델 (Synthesis Model, Seed 2.0 Pro) 이 모든 전문가의 응답을 수집하여 4 가지 구조화된 섹션으로 통합합니다:
     • 합의 (Consensus): 모든 전문가가 동의하는 사실적 주장.
     • 이견 (Disagreement): 전문가 간 상충되는 정보.
     • 고유 발견 (Unique Findings): 한 명의 전문가만이 제시한 고유한 통찰.
     • 종합 분석 (Comprehensive Analysis): 이견을 해결하고 고유 발견을 문맥화한 최종 사실 확인 응답.

이론적 배경:

모델 간 독립성 (아키텍처적 다양성) 을 가정할 때, 모든 전문가가 동일한 사실에 대해 동시에 할루시네이션을 일으킬 확률은 각 모델의 할루시네이션 확률의 곱 ($\prod p_i$) 으로 급격히 감소합니다. 예를 들어, 3 개 모델의 개별 할루시네이션률이 약 18% 라면, 세 모델이 모두 같은 오류를 범할 확률은 약 0.55% 로 감소합니다.

3. 주요 기여 (Key Contributions)

1. Council Mode 프레임워크 제안: 트라이지 → 병렬 생성 → 합의 합성의 3 단계 프로세스를 통해 할루시네이션과 편향을 체계적으로 감소시키는 새로운 아키텍처 제시.
2. 수학적 형식화: 합의 합성 메커니즘, 트라이지 함수, 구조화된 집계 프로세스에 대한 수학적 정의 제공.
3. 오픈소스 구현 및 평가: 오픈소스 AI 워크스페이스에 통합된 완전한 구현체 제공 및 다양한 벤치마크를 통한 실증적 평가.
4. 심층 분석: 파이프라인 구성 요소별 기여도 분석 (Ablation Study) 및 전문가 다양성이 합의 품질에 미치는 영향 규명.

4. 실험 결과 (Results)

HaluEval, TruthfulQA, 다중 도메인 추론 벤치마크 등을 통해 단일 최첨단 모델 및 기존 앙상블 방법과 비교 평가되었습니다.

• 할루시네이션 감소: HaluEval 벤치마크에서 단일 최상위 모델 (Claude Opus 4.6) 대비 35.9% 의 상대적 할루시네이션률 감소 (평균 16.7% → 10.7%) 를 달성했습니다.
• 진실성 향상: TruthfulQA 벤치마크에서 7.8 포인트 향상 (82.6% 진실성 점수) 을 기록했습니다.
• 편향 완화: 도메인 간 편향 분산 (Bias Variance) 이 개별 모델 대비 약 85~89% 감소하여 (0.021~0.028 → 0.003), 도메인 간 일관성이 크게 향상되었습니다.
• 복잡도별 성능: 추론 단계가 증가할수록 (10 단계) 단일 모델의 정확도가 급격히 떨어지는 반면, Council Mode 는 71.2% 의 정확도를 유지하며 우아한 성능 저하 (Graceful Degradation) 를 보였습니다.
• Ablation Study 결과:
  • 이질적 전문가의 중요성: 동일한 모델 3 개를 사용한 앙상블보다 서로 다른 아키텍처의 3 개 모델을 사용한 Council 이 할루시네이션 감소 효과가 훨씬 컸습니다 (35.9% vs 18.3%).
  • 구조화된 합성의 필수성: 단순 다수결 투표 (Majority Vote) 를 사용한 경우 할루시네이션률이 32.7% 증가하여, 심층적 합성 모델의 역할이 필수적임을 입증했습니다.

5. 의의 및 한계 (Significance & Limitations)

의의:

• 단일 모델의 한계를 넘어 인지적 다양성 (Cognitive Diversity) 을 활용하여 신뢰할 수 있는 AI 시스템을 구축하는 새로운 패러다임을 제시했습니다.
• 단순한 다수결이 아닌, 이유와 근거를 분석하는 구조화된 합의 프로세스를 도입하여 복잡한 질문에서도 사실 기반의 답변을 보장합니다.
• 오픈소스로 공개되어 향후 다중 모델 오케스트레이션 연구의 기반을 마련했습니다.

한계:

• 지연 시간 (Latency): 개별 모델 대비 약 2~3 배 증가한 지연 시간 (평균 8.4 초) 으로 인해 저지연이 필수적인 실시간 응용에는 부적합할 수 있습니다.
• 비용 및 접근성: 여러 최첨단 모델의 API 에 접근해야 하므로 비용과 인프라 요구 사항이 높습니다.
• 공통 오해의 재생산: 모든 전문가가 동일한 잘못된 지식을 공유하는 경우 (공통 편향), 합의 메커니즘으로도 이를 완전히 제거할 수 없습니다.

결론:
Council Mode 는 모델 수준의 정렬 (Alignment) 노력과 상호 보완적으로 작용하여, 특히 사실성과 편향에 민감한 고신뢰도 AI 애플리케이션을 구축하기 위한 유망한 방향성을 제시합니다.