기술 요약: 국소적 신뢰도 경계(Local Reliability Bounds)를 이용한 예산 기반 Act-or-Defer 다중 에이전트 LLM 심의 시스템

1. 문제 정의

본 논문은 다중 에이전트 대규모 언어 모델(LLM) 심의 시스템의 배포 문제를 다룬다. 다중 에이전트 토론은 추론 능력을 향상시키지만, 실제 배포를 위해서는 시스템이 언제 자율적으로 행동(act)하고 언제 인간의 검토로 미룰(defer) 것인지 결정하는 원칙적인 메커니즘이 필요하다. 기존 방식들은 대개 고정된 중단 라운드(fixed stopping rounds)에 의존하며, 이는 분할 컨포멀 예측(split conformal prediction)과 같이 미미한 커버리지 보장만을 제공하거나, 잘못된 행동에 대한 확률을 명시적으로 제어하지 못하는 휴리스틱한 합의 임계값에 의존한다.

핵심 문제는 예산 기반의 act-or-defer 의사결정으로 정식화된다: 사용자 지정 "잘못된 행동 예산"($\beta$)이 주어졌을 때, 시스템은 잘못된 답에 근거하여 행동할 확률이 $\beta$ 이하가 되도록 하는 중단 규칙 $\tau$를 결정해야 하며, 동시에 자율 행동률(automation)을 극대화해야 한다. 이를 위해서는 토론의 국소적 상태에 적응하는 인스턴스별, 라운드별 신뢰도 경계가 필요하다.

2. 방법론

제안된 방법은 데이트(debate) 상태의 메트릭 공간 내에서 $k$-최근접 이웃($k$-NN) 접근 방식을 사용하여 **국소적 하한 신뢰 구간(local lower confidence bounds)**을 구축한다.

2.1 상태 표현 및 교정(Calibration)

• 상태 임베딩: 각 라운드 $t$에서, 토론 이력(필트레이션 $F_t$)은 메트릭 공간 $(\mathcal{U}, d)$ 내의 저차원 상태 $U_t = \phi_t(F_t)$로 압축된다. 기본 상태는 최상위 사회적 확률($p^{(1)}_t$)과 상위 두 선택지 간의 마진($\Delta_t$)으로 구성된다.
• 교정: 전체 토론을 실행한 교정 데이터셋 $$D_{cal}$$이 사용된다. 각 인스턴스와 라운드에 대해 상태 $U_{i,t}$와 정답 여부 지표 $Z_{i,t}$를 기록한다. 데이터는 모듈러스 추정 세트($D_{mod}$)와 룩업 세트($D_{loc}$)로 나뉜다.

2.2 하한 구축

테스트 인스턴스의 라운드 $t$와 상태 $U_t$에 대해, 본 방법은 국소적 정답 확률 $q_t(U_t) = \Pr(Y = \hat{Y}_t | U_t = u)$에 대한 하한 $L_t$를 계산한다.

1. $k$-NN 룩업: 가족 단위의 이웃 크기 $K$에 대하여, $D_{loc}$에서 $k$개의 최근접 이웃을 식별한다.
2. 편향-분산 교정(Bias-Variance Correction): 국소적 평균 정답률은 다음 두 항에 의해 페널티를 받는다:
   • 국소 편향 엔벨로프(Local Bias Envelope, $b_{t,k}$): 이웃 내의 근사 오차를 제어하는 플러그인 인터페이스이다. 본 논문에서는 디폴트로 **경험적 모듈러스(empirical modulus)**를 사용하는데, 이는 반경 내에서 파일럿 스무더(pilot smoother)의 최대 변동을 측정하며, $D_{mod}$를 통해 적합된 로지스틱 GAM을 통해 산출된다.
   • 샘플링 분산: 호프딩 집중 항(Hoeffding concentration term) $\sqrt{\frac{\log(T|K|/\delta)}{2k}}$를 적용한다.
3. 적응형 선택: 최종 경계는 모든 $k \in K$에 대한 최댓값이다:
   $$L_t = \max_{k \in K} \left[ \hat{q}_{t,k}(U_t) - b_{t,k}(U_t) - \sqrt{\frac{\log(T|K|/\delta)}{2k}} \right]$$
   이를 통해 각 인스턴스는 편향-분산 트레이드오프를 최적화하는 $k$를 자동으로 선택할 수 있다.

2.3 예산 분해 및 중단 규칙

사용자는 총 잘못된 행동 예산 $\beta$를 지정한다. 방법론은 이 예산을 세 가지 구성 요소로 분해한다:
$$\beta = \underbrace{\delta}_{\text{교정 실패}} + \underbrace{\alpha}_{\text{잔여 행동 위험}} + \underbrace{\epsilon_{act}}_{\text{표현 격차}}$$

• $\delta$: 하한 $L_t$가 실제 정답 확률을 초과할 확률(교정 실패)을 제어한다.
• $\alpha$: 시스템이 행동할 때 발생하는 잔여 위험이다. 중단 임계값은 $1 - \alpha$로 설정되며, 여기서 $\alpha = \beta - \delta - \epsilon_{act}$이다.
• $\epsilon_{act}$: 전체 토론 이력 $F_t$를 상태 $U_t$로 압축할 때 손실되는 정보에 대한 단측 경계(one-sided bound)이다.

중단 규칙: 시스템은 $\tau = \inf \{ t \le T : L_t \ge 1 - \alpha \}$에서 행동한다. 만약 라운드 $T$까지 경계에 도달하지 못하면, 해당 인스턴스는 인간의 검토로 미뤄진다(defer).

2.4 상대적 위험 배포(Relative-Risk Deployment)

다양한 난이도의 작업을 처리하기 위해, 본 논문은 상대적 위험 배포 정책을 도입한다. 모든 작업에 절대적인 $\beta$를 고정하는 대신, 훈련 데이터의 최종 라운드 오차($\hat{e}_T$)로부터 예산을 유도한다: $\beta_d = \lambda \cdot \hat{e}_T$. 승수 $\lambda$는 정규화된 예산 사용량($WA/\beta$)을 목표치(예: 0.10) 미만으로 유지하면서 자동화를 극대화하도록 훈련 스플릿에서 선택된다.

3. 주요 기여

1. 적응형 중단의 정식화: 본 논문은 다중 에이전트 심의 중단을 세 가지 방식으로 예산이 분해된($\beta = \delta + \alpha + \epsilon_{act}$) 국소 상태 조건부 리스크 제어 문제로 정식화하였다.
2. 국소 편향 엔벨로프 인터페이스: 국소 근사 오차를 제어하기 위한 범용적인 플러그인 편향 엔벨로프 $b_{t,k}(u)$를 도입하였으며(Lipschitz, Hölder, 경험적 모듈러스를 특수 사례로 포함), 하한의 동시 유효성을 증명하였다.
3. 명시적 가정을 포함한 조건부 보장: 분포 불변(distribution-free) 방식과 달리, 본 방법은 감사 가능한 국소 가정(편향 엔벨로프의 유효성 및 액션-리전 표현 격차)에 조건부된 보장을 제공한다. 가정 실패의 비용은 Proposition 4를 통해 리스크 경계에 명시적으로 추가된다.
4. 상대적 위험 배포: 제안된 방법은 훈련 데이터를 사용하여 서로 다른 난이도의 작업 간에 예산을 정규화함으로써, 사용자가 선언한 잘못된 행동 예산을 전향적(prospective)이고 감사 가능한 운영 지점으로 변환한다.
5. 실험적 검증: 6개의 벤치마크(MMLU-Pro, LogiQA, ARC, BBH, MuSR, GPQA)에서 9개의 베이스라인과 비교 실험을 수행한 결과, 제안된 방법은 선언된 예산의 9~12%만을 사용하면서도 높은 자동화율(최대 84%)과 행동 시 정확도(최대 96%)를 달erm했다. 스트레스 테스트 데이터셋(GPQA, MuSR)에서 본 방법은 신뢰할 수 없는 자동화를 강제하는 대신 올바르게 결정을 미루었다(defer).

4. 결과

• 활성화된 데이터셋: MMLU-Pro, BBH, LogiQA, ARC에서 본 방법은 28%84%의 자동화율과 89%97%의 행동 시 정확도를 달성했다. 결정적으로, 잘못된 행동률($WA$)은 선언된 예산의 9~12$WA/\beta \in [0.09, 0.12]$).
• 스트레스 테스트 데이터셋: GP-QA 및 MuSR(작은 샘플 크기와 높은 기본 오차가 특징)의 경우, 유도된 예산은 크지만, 국소 하한이 임계값을 넘지 못하므로 대부분의 인스턴스에서 결정을 미룬다(자동화율 0%~53%). 이는 신뢰할 수 없는 자동화를 피하기 위한 의도된 동작이다.
• 매칭된 자동화(Matched-Automation) 비교: 베이스라인들이 제안된 방법의 자동화율과 일치하도록 사후 튜닝되었을 때, 그들의 행동 시 정확도와 예산 사용량은 통계적으로 구별할 수 없을 정도로 유사했다. 본 논문은 제안된 방법의 가치가 개별 작업별 임계값 탐색 없이, 선언된 예산으로부터 전향적인 정책을 구축할 수 있다는 점에 있다고 주장한다.
• 어블레이션 연구(Ablations): 편향 엔벨로프($b_{t,k}$)를 제거하면 예산 사용량이 2~3배 증가한다. 최종 라운드만 사용하는 경우(적응형 중단 없음) 조기 종료에 따른 이득이 사라진다.

5. 의의 및 주장

본 논문은 주요 기여가 튜닝된 스칼라 임계값보다 더 높은 서브셋 품질을 달성하는 것이 아니라, 사용자가 선언한 잘못된 행동 예산을 act-or-defer 정책으로 변환하는 전향적이고 감사 가능한 프레임워크를 제공하는 것이라고 명시한다.

• 명시적 가정: 본 방법은 (편향 엔벨로프를 통한) 국소 매끄러움과 표현 격차라는 구조적 가정을 노출하며, 이를 검증하기 위한 진단용 프록시(예: 모듈러스 팽창, 예측기-격차 체크)를 함께 제공한다.
• 우아한 성능 저하(Graceful Degradation): 가정이 위반되더라도, 실패 확률이 리스크 경계에 명시적으로 추가될 뿐, 보장의 치명적인 실패를 일으키지 않는다.
• 추론 시간 연산(Inference-Time Compute)의 템플릿: 저자들은 이를 반복적인 자율 행동은 저렴하지만 가끔 발생하는 잘못된 행동의 비용이 높은 다른 추론 시간 연산 파이프라인을 위한 템플릿으로 간주한다.

본 논문은 자신이 분포 불변의 조건부 정확도를 제공하는 것이 아님을 명시한다. 대신, 국소적 가정을 위한 비용을 명시적으로 드러내는 리스크 분해 프레임워크를 제공하여, 명시된 조건 하에서의 감사 가능한 배포를 가능하게 한다.