Every Response Counts: Quantifying Uncertainty of LLM-based Multi-Agent Systems through Tensor Decomposition

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 기반의 **다중 에이전트 시스템 (Multi-Agent Systems, MAS)**은 복잡한 작업에서 단일 에이전트 시스템보다 우수한 성능을 보이지만, 에이전트 간의 복잡한 상호작용으로 인해 신뢰성 문제가 발생합니다. 기존 연구들은 주로 단일 에이전트의 출력에 초점을 맞춘 불확실성 정량화 (Uncertainty Quantification, UQ) 방법을 제시했으나, MAS 환경에서는 다음과 같은 세 가지 고유한 과제를 해결하지 못했습니다.

1. 다단계 추론의 연쇄적 불확실성 (Cascading Uncertainty): 기존 방법들은 최종 출력의 의미적 일관성 (Semantic Consistency) 만을 평가하여, 추론 과정 중간에 발생한 오류가 어떻게 후속 단계로 전파되는지 (cascading) 를 포착하지 못합니다. 또한, 긴 추론 경로를 하나의 긴 문서로 연결하면 기존 NLI(자연어 추론) 모델의 문맥 제한으로 인해 분석이 어렵습니다.
2. 에이전트 간 통신 경로의 다양성 (Inter-agent Communication Diversity): 동일한 질문이라도 실행마다 에이전트 간의 상호작용 순서와 경로가 달라질 수 있습니다. 기존 방법들은 이러한 '경로의 다양성'을 고려하지 못합니다.
3. 통신 토폴로지 다양성 (Communication Topology Diversity): MAS 는 스타 (Star), 체인 (Chain), 동적 구조 등 다양한 통신 구조를 가질 수 있는데, 기존 UQ 방법은 고정된 단일 모델 구조에 맞춰 설계되어 다양한 토폴로지에 적용하기 어렵습니다.

2. 제안된 방법론: MATU (Methodology)

저자들은 이러한 문제를 해결하기 위해 **MATU (Multi-Agent Tensor Uncertainty)**라는 새로운 프레임워크를 제안했습니다. 이 방법은 전체 추론 궤적 (Reasoning Trajectory) 을 텐서 (Tensor) 로 표현하고 텐서 분해 (Tensor Decomposition) 를 통해 불확실성을 정량화합니다.

핵심 단계:

1. 다단계 추론을 위한 임베딩 (Embedding for Multi-step Reasoning):

   • 각 에이전트의 모든 중간 출력 (자연어 또는 도구 호출 결과) 을 사전 학습된 임베딩 모델 (예: Qwen3-embedding) 을 사용하여 고정 차원의 잠재 공간 (Latent Space) 으로 매핑합니다.
   • 이를 통해 가변적인 길이의 추론 단계를 행렬로 변환하여, 표면적 형식과 길이에 구애받지 않고 의미적 유사성을 비교할 수 있게 합니다.

2. 에이전트 간 통신을 위한 Ragged Tensor 표현 (Tensor Representation):

   • 여러 번의 실행 (Repeated Runs) 에서 수집된 임베딩 행렬들을 **Ragged Tensor (불규칙 텐서)**로 구성합니다.
   • 일반적인 텐서가 고정된 차원을 가진다면, Ragged Tensor 는 실행마다 다른 길이의 추론 경로 ($T_{j,k}$) 를 허용하여 통신 패턴의 다양성을 구조적으로 보존합니다.

3. 통신 다양성을 위한 텐서 분해 (Tensor Decomposition):

   • PARAFAC2 (CP-2) 분해 기법을 적용합니다. 이는 길이가 다른 차원 (에이전트, 단계, 실행 횟수) 을 가진 불규칙 텐서를 처리하도록 설계된 특수 분해 방법입니다.
   • 원리: 일관된 상호작용은 저랭크 (Low-rank) 구조를 따를 것이라고 가정합니다. 분해를 통해 재구성된 텐서와 원본 텐서 간의 **재구성 오차 (Reconstruction Loss)**를 계산합니다.
   • 불확실성 측정: 재구성 오차가 크다는 것은 각 실행 간의 궤적이 일관되지 않고 (높은 불확실성), 공통된 잠재 요인으로 설명하기 어렵다는 것을 의미합니다. 다양한 랭크 (Rank) 에 대한 재구성 오차를 합산하여 최종 불확실성 점수 ($U$) 를 도출합니다.

3. 주요 기여 (Key Contributions)

1. MAS 를 위한 최초의 체계적 불확실성 정의: 도구 사용, 다단계 추론, 에이전트 간 통신에서 발생하는 고유한 불확실성 소스를 식별하고 정의했습니다.
2. MATU 프레임워크 설계: 응답 수준과 실행 수준 (Run-level) 의 신호를 통합하여 전체적인 시스템 불확실성을 추정하는 텐서 분해 기반 프레임워크를 제안했습니다.
3. 광범위한 실험 및 검증: 정적 (Static) 및 동적 (Dynamic) 토폴로지, 도구 통합 환경 등 다양한 시나리오에서 기존 방법론 (SAUP, Eigv, P(true) 등) 보다 우수한 성능을 입증했습니다. 또한, 불확실성 점수를 활용한 모델 선택 (Backbone Selection) 과 OOD(Out-of-Distribution) 검출 능력을 입증했습니다.

4. 실험 결과 (Results)

저자들은 MATH, MoreHopQA, MMLU, HumanEval 등 4 가지 다양한 데이터셋과 GPT-4o, Qwen2.5, Llama3 등 다양한 LLM 을 사용하여 실험을 수행했습니다.

• 정적/동적 설계 성능 (RQ1, RQ2):
  • Camel(정적), AutoGen(정적), AnyMac(동적) 시스템에서 MATU 는 AUROC 및 AUARC 지표에서 모든 베이스라인을 일관되게 상회했습니다.
  • 특히 동적 시스템 (AnyMac) 에서 에이전트 상호작용 순서가 실행마다 변하는 상황에서도 MATU 는 높은 적응력을 보여주었습니다.
• 도구 통합 성능 (RQ3):
  • HumanEval(코드 생성) 과 같은 도구 사용 환경에서도 MATU 가 다른 방법들보다 우수한 신뢰성 평가를 보여주었습니다.
• OOD(Out-of-Distribution) 검출:
  • 수학 프롬프트를 일반 지식 (MMLU) 태스크에 적용하는 등 분포 이탈 상황에서 MATU 는 높은 불확실성 점수를 부여하여 OOD 데이터를 효과적으로 탐지했습니다 (SAUP 는 구별 실패).
• 하류 작업 (Model Selection):
  • 여러 LLM 백본 중 불확실성 점수가 가장 낮은 응답을 선택하는 전략을 적용했을 때, MATU 를 사용한 경우 무작위 선택이나 다른 방법론보다 정확도가 유의미하게 향상되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 기반 다중 에이전트 시스템의 신뢰성을 평가하는 데 있어 텐서 분해를 도입한 선구적인 연구입니다.

• 전체적 관점의 도입: 단순한 최종 답변의 일관성이 아닌, 전체 추론 궤적과 에이전트 간 상호작용의 동역학을 통합적으로 분석함으로써 MAS 고유의 복잡성을 해결했습니다.
• 일반화 가능성: Ragged Tensor 와 CP-2 분해를 통해 다양한 통신 토폴로지와 실행 길이에 구애받지 않는 범용적인 불확실성 측정 도구를 제공했습니다.
• 실용적 가치: 단순한 평가 지표를 넘어, 실제 시스템에서 오류를 예방하고 가장 신뢰할 수 있는 에이전트 구성을 선택하는 데 활용 가능한 실용적인 솔루션을 제시했습니다.

결론적으로, MATU 는 다중 에이전트 시스템이 과학적 발견, 의료, 교통 등 고신뢰성 분야에서 안전하게 적용되기 위해 필수적인 불확실성 정량화 문제를 해결하는 강력한 프레임워크로 평가됩니다.