기술적 요약: 국소적 일관성, 전역적 비일관성

1. 문제 제기

다중 구성 요소 대규모 언어 모델 (LLM) 에이전트는 종종 복잡한 공동 문제를 전문 하위 에이전트나 도구가 처리하는 하위 작업으로 분해합니다. 개별 구성 요소는 자체 하위 질문에 대해 국소적으로 일관성 있고 (내부적으로 일관되고 보정된) 있을지라도, 그 출력들의 집계는 기본 확률 공리를 위반할 수 있습니다. 이러한 현상을 **"국소적 일관성, 전역적 비일관성"**이라고 명명하며, 이는 전체 확률 질량이 1 을 초과하거나 ($P(A) + P(\neg A) = 1$과 같은 논리적 제약 위반) 합성된 믿음 상태를 초래합니다.

기존 평가 지표 (질문별 정확도, 보정, 컨포멀 예측) 는 개별 모델 출력을 기반으로 작동하며 구성 요소 간 논리적 위반을 감지하지 못합니다. 결과적으로 다중 구성 요소 에이전트는 모든 구성 요소가 개별적으로 타당함에도 불구하고 합성 과정에서 도입된 비일관성으로 인해 시스템에 확실한 손실을 보장하는 "더치북 (Dutch-book)" 노출을 초래할 수 있습니다.

2. 방법론

이론적 프레임워크

본 논문은 볼록 기하학과 확률 이론을 사용하여 실패 모드를 형식화합니다:

• 합성 잔차 ($\varepsilon^\star$): 국소적 수리 후의 합성 견적과 전역 일관성 다면체 ($M_\star$) 사이의 $L_2$ 거리로 정의됩니다. 이 다면체는 결합 논리적 제약 (예: 분할, 부정, 논리곱) 을 만족하는 모든 확률 벡터의 집합을 나타냅니다.
• 곱 구조 이분법 (정리 3.3): 국소적 일관성이 전역적 일관성을 함의하기 위한 필요충분 조건을 확립합니다. "소유자 선택 집계"(각 구성 요소가 고유한 좌표 부분집합을 소유하는 경우) 하에서, 결합 다면체가 국소 다면체의 데카르트 곱으로 인수분해될 때 ($M_\star = M_\boxtimes$) 전역적 일관성이 보장됩니다. 만약 구성 요소 간 결합 제약 (예: 합이 1 이 되는 분할) 이 존재한다면, 국소적 일관성만으로는 부족하며 $\varepsilon^\star > 0$이 가능합니다.
• 크기 예측 (계 3.9): 기대 제곱 잔차는 전문 패널의 공분산과 구속 제약의 법선 벡터를 기반으로 한 레이리 몫 (Rayleigh-quotient) 형태로 예측됩니다. 이를 통해 라우팅 발생 전 비일관성 크기를 폐형식 (closed-form) 으로 예측할 수 있습니다.
• 노출 상한 (계 3.5): 자산 가격 결정 기본 정리 (FTAP) 하에서, 시스템 수준의 더치북 노출은 $\sqrt{m^\star} \varepsilon^\star$로 제한되며, 여기서 $m^\star$는 결합 좌표의 수입니다.

알고리즘적 수리

• 계층적 보일 - 다이크스트라 투영: 비일관된 합성을 결정론적으로 수리하기 위해 저자들은 순환 투영 알고리즘을 제안합니다. 이는 합성 견적을 국소 다면체와 결합 집합 (제약) 에 반복적으로 투영하여 전역 일관성 다면체로 수렴할 때까지 수행합니다.
• 순차적 모니터링: 운영자가 사전에 중단 시점을 고정하지 않고도 시간에 따른 합성 잔차 흐름을 모니터링하여 지속적인 비일관성을 감지할 수 있도록 하는 **어떤 시간에도 유효한 e-과정 (anytime-valid e-process)**을 도입했습니다.

실험 설정

저자들은 네 가지 논리적 관계 클래스인 부정, 논리곱, 논리합, 분할에 걸쳐 1,876 개의 앙상블 클라이크를 평가했습니다.

• 모델: 중급 패널 (Claude-Haiku-4.5, GPT-5.4-mini/nano, Llama-3.3-70b) 과 최첨단 패널 (GPT-5.5, Claude-Opus-4.7, DeepSeek-V3.2 포함).
• 벤치마크: Paleka(질문 간 일관성) 와 Polymarket(분할 사건).
• 프로토콜: 전문가에게 무작위 질문 할당, 구조화된 라우팅, 그리고 계획자 재량 하네스.

3. 주요 결과

경험적 발견

• 비일관성 보편성: 관계 클래스에 따라 클라이크의 **33~94%**에서 $\varepsilon^\star > 0$이 관찰되었습니다. 분할 작업이 가장 높은 실패율 (94%) 을 보였으며, 그 다음으로 부정 (66%), 논리합 (43%), 논리곱 (33%) 순이었습니다.
• 크기 예측: 레이리 몫 예측은 네 가지 관계 클래스 중 세 가지에서 관찰된 잔차와 7% 이내로 일치했습니다. 논리곱 클래스는 패널 평균이 프레셰 반공간 (Fréchet halfspace) 내부에 위치하여 이론이 예측한 영역에 있었기 때문에 약간 과소평가되었습니다 (0.83 배).
• 의사결정에 미치는 영향: 1,770 건의 해결된 배팅에서, 비약적인 합성은 비례 할당 규칙 하에서 배팅당 +0.115 nats의 후회를 초래했습니다. 계층적 JCD 수리는 이를 거의 0 으로 줄여 단일 LLM 오라클의 성능과 일치시켰습니다.
• LLM 측 완화 조치의 실패:
  • 검색: 검색 도구로 전문가를 보강하는 것은 $\varepsilon^\star$를 감소시키지 못했습니다. 30 건 중 20 건에서 오히려 비일관성이 증가했습니다.
  • 프롬프트 엔지니어링: 분할 인식 프롬프팅은 잔차를 감소시켰지만, 53% 의 분할에서 $\varepsilon^\star > 0.05$로 남았습니다.
  • 어그리게이터 LLM: 일관성을 어그리게이터 LLM 에 위임하면 평균 잔차는 감소했지만, 여전히 15% 의 분할이 0.05 임계값을 초과했고 7% 는 비약적 합성 대비 퇴보했습니다.
  • 최첨단 모델: 최첨단 모델만 사용한 패널에서도 분할 배팅의 **97.8%**에서 $\varepsilon^\star > 0$이 지속되었으나, 크기는 39% 감소했습니다.

메커니즘 검증

• 결합 가시성: 전문가에게 분할 제약과 동료 견적을 명시적으로 보여준 실험 ("INFORMED") 은 고립된 프롬프트 ("BLIND") 에 비해 $\varepsilon^\star$를 유의하게 감소시켰습니다. 이는 실패가 전문가들이 구성 요소 간 결합 제약에 대한 가시성이 부족하기 때문에 발생함을 확인시켜 주었습니다.
• 라우팅 토폴로지: 구조화된 라우팅(특정 모델을 특정 관계 유형에 할당) 은 비일관성을 제거하지는 않았지만 잔차 분포를 변경했습니다.

4. 기여

1. 실패 모드의 형식화: 본 논문은 "국소적 일관성, 전역적 비일관성" 체계를 정의하고 특성화하며, 결합 하에서는 구성 요소별 보정만으로는 시스템 수준의 일관성이 부족함을 증명합니다.
2. 런타임 인증서 ($\varepsilon^\star$): 합성 출력과 선언된 제약만 필요로 하는 분산 자유형 계산 가능 시스템 수준 비일관성 지표를 도입합니다.
3. 이론적 이분법: 국소적 일관성이 충분할 때의 정확한 조건 (정리 3.3) 을 제공하여 곱 구조 인수분해와 결합 제약 사이를 구분합니다.
4. 구체적 수리: 계층적 보일 - 다이크스트라 투영이 단일 2 차 계획법 (QP) 풀이 비용으로 $\varepsilon^\star$를 결정론적으로 제거할 수 있음을 시연하며, 모든 프롬프트 기반 또는 LLM 어그리게이터 대안을 능가합니다.
5. 경험적 벤치마크: 다면체의 제한적 정도에 관한 이론적 예측과 일치하는 난이도 순서 (분할 > 부정 > 논리합 > 논리곱) 를 가진 분해 가능한 벤치마크를 확립합니다.

5. 중요성 및 주장

본 논문은 시스템 수준의 일관성이 구성 요소별 보정과 구별되는 속성으로, 다중 에이전트 시스템에서 명시적으로 관리되어야 한다고 주장합니다. 주요 기여는 더치북 노출을 감지하고 수리할 수 있는 런타임 인증서로서 $\varepsilon^\star$를 운영적으로 재구성하는 것이며, 이는 개별 구성 요소가 식별할 수 없는 노출을 다룹니다.

저자들은 다음과 같은 점을 강조합니다:

• 프롬프트 엔지니어링과 검색은 이 문제를 해결하기에 불충분하며, 실패는 고립된 확률 예측의 합성 구조에 내재되어 있습니다.
• 기하학적 수리는 결합 집합이 명시적일 때 일관성을 복원하기 위해 필요충분합니다.
• 실패는 모델 규모를 막론하고 지속되므로, 모델 능력 향상이 합성적 비일관성을 본질적으로 해결하지는 못함을 시사합니다.

이 연구는 논리적 일관성이 최우선인 고위험 응용 분야 (예측, 의사결정 지원) 를 위한 $\varepsilon^\star$를 중요한 안전 장치로 위치시키며, 컨포멀 예측과 같은 기존 불확실성 정량화 방법을 보완하는 결정론적 해결책을 제시합니다.