기술 요약: 계층적 LLM 에이전트에서의 베이지안 자기 상승(Bayesian Self-Escalation)

문제 정의

현재의 대규모 언어 모델(LLM) 에이전트 시스템은 일반적으로 추론이 시작되기 전(라우터가 모델을 선택)이나 응답이 완료된 후(검증기가 출력을 점수화하고 잠재적으로 재시도)에 위임 결정을 내린다. 두 방식 모두 작동 중인 모델이 생성 과정 도중에 자신이 역량 범위를 벗어났음을 인지하고 더 강력한 모델로 제어권을 넘겨야 한다는 사실을 인식할 수 있게 하지는 못한다.

본 논문은 **생성 중 위임(intra-generation delegation)**의 공백을 다룬다. 핵심 문제는 다음과 같이 정식화된다: 주니어 에이전트 $J$가 $T$ 단계에 걸쳐 응답을 생성할 때, 어느 단계 $t$에서 $J$가 멈추고 시니어 에이전트 $S$에게 쿼리를 에스컬레이션(상승 전달)해야 하는가? 이 결정은 계속 진행하는 데 드는 계산 비용($\kappa$), 에스컬레이션에 드는 일회성 비용($\gamma$), 그리고 최종 오류 발생 비용($L$) 사이의 균형을 맞춰야 한다.

방법론

1. 베이지안 정식화

저자는 자기 상승을 **베이지안 최적 정지 문제(Bayesian optimal-stopping problem)**로 모델링한다.

• 잠재 상태(Latent State): $Y \in \{0, 1\}$은 주니어 에이전트의 최종 완성된 답변이 정답일지 여부를 나타낸다.
• 관측(Observation): 각 단계 $t$에서 에이전트는 가공되지 않은 불확실성 신호 $e_t$(예: 토큰 엔트로피, 다음 토큰 마진)를 방출한다.
• 사후 확률(Posterior): 시스템은 역량 사후 확률 $B_t = P(Y=1 | \mathcal{F}_t)$를 유지하며, 여기서 $\mathcal{F}_t$는 신호의 이력을 의미한다. 결정적으로, 본 논문은 $B_t$가 단순히 원시 엔트로피를 읽어내는 것이 아니라, 레이블이 지정된 궤적으로부터 학습된 것임을 강조한다. 원시 신호는 보정되지 않은 증거이며, 사후 확률은 성공에 대한 보정된 추정치이다.
• 가정: 신호들은 $Y$에 대해 조건부 독립이다(가정 1). 이를 통해 로그 오즈(log-odds) 재귀가 가능하다.

2. 결정 정책

에이전트는 계속 진행(비용 $\kappa$ 발생 및 다음 신호 관측) 또는 에스컬레이션(비용 $\gamma$ 발생 및 시니어로 핸드오프) 중 하나를 선택한다.

• 근시적 임계값(Myopic Threshold): 저자는 현재 믿음 $B_t$가 특정 임계값 아래로 떨어지면 에스컬레이션을 선호하게 되는 폐쇄형 임계값 $\tau^{myo}_t$를 도출한다. 이 임계값은 로컬에서 작업을 완료하는 데 남은 계산 비용이 증가함에 따라 시간이 지남에 따라 감소한다.
• 최적 정지(Optimal Stopping): 진정한 최적 정책은 동적 계획법(dynamic programming)을 통해 도출된다. 가치 함수 $V_t(b)$는 최소 기대 미래 비용을 나타낸다.
• 구조적 결과: 저자는 최적 정책이 역량 사후 확률($B_t \leq \tau^*_t$)에 대한 시간 가변적 임계값 규칙임을 증명한다. 이는 가치 함수의 오목성(concavity)이나 원시 신호의 단조 밀도 비(monotone-likelihood ratios)를 요구하지 않고, 단조성 논증(First-Order Stochastic Dominance)을 사용하여 증명된다.

3. 보정(Calibration) 및 후회(Regret)

본 논문의 핵심적인 이론적 기여는 **미보정(miscalibration)**에 대한 분석이다.

• 후회 경계(Regret Bound): 추정된 사후 확률 $\hat{B}_t$를 사용하는 배포된 정책과 오라클 $B_t$ 사이의 초과 비용(후회)은 보정 오차 $E[|B_t - \hat{B}_t|]$에 의해 제한됨을 증명한다.
• 핵심 통찰: "확신에 찬 오답(confidently wrong)" 예측(모델이 높은 확신을 갖지만 실제로는 틀린 경우)이 결정적인 실패 모드이다. 사후 확률의 결정 규칙 자체를 정교화하는 것보다 사후 확률의 보정도를 높이는 것이 더 중요하다.
• 유한 샘플 보장: 후회는 레이블이 지정된 보정 궤적의 수 $n$에 대해 $O(1/\sqrt{n})$의 속도로 감소한다.

4. 알고리즘

제안된 시스템은 두 가지 구성 요소로 이루어진다:

1. 오프라인: 비용과 보정된 신호 분포를 기반으로 최적 임계값 스케줄 $\{\tau^*_t\}$를 계산하기 위한 후방 귀납 절차(알고리즘 2).
2. 온라인: $O(1)$의 시간 복잡도로 믿음 $B_t$를 업데이트하고 $B_t < \tau^*_t$일 때 에스컬레이션을 트리거하는 스트리밍 추론 알고리즘(알고리즘 1). 핸드오프 시에는 은닉 상태(hidden states)가 아닌 컨텍스트(텍스트, 스크래치패드, 도구 이력)를 증류하여 전달한다.

주요 결과

시뮬레이션 연구 (합성 데이터)

알려진 데이터 생성 프로세스(신호를 위한 Beta 분포)를 사용하여 저자는 다음을 검증했다:

• 비용-정확도 프런티어: 베이지안 최적 정지 정책은 고정 규칙 베이스라인(엔트로피가 $\theta$보다 크면 에스컬레이션) 및 사후 선택 베이스라인(완전히 생성한 후 결정)보다 우수하다.
• 근시적 vs 최적: 근시적 규칙(명제 1)은 생성 초기 단계에서 과도하게 에스컬레이션을 수행하는 경향이 있는 반면, 최적 정지 스케줄은 더 많은 증거를 수집하기 위해 초기에는 보수적인 태도를 유지한다.
• 보정 민감도: "확신에 찬 오답" 오염(틀린 답변이 성공 신호를 모방하는 경우)을 도입하면 정확도가 급격히 떨어지고 에스컬레이션 비율이 감소하는데, 이는 모델이 자신의 오류를 감지하지 못함을 확인시켜 주며, 이는 이론적 후회 경계를 뒷받heng한다.
• 샘플 복잡도: 믿음 오차는 $1/\sqrt{n}$의 속도로 감소하며, 이는 적절한 양의 레이블 데이터가 효과적인 보정에 충분함을 확인시켜 준다.

실제 모델 검증 (Qwen2.5-Coder)

저자는 Qwen2.5-Coder 1.5B $\to$ 7B 코드 생성 캐스케이드에 대해 사전 등록된 프로토콜을 실행했다:

• 설정: 주니어 모델(1.5B)이 코드를 생성하고, 시니어(7B)가 전문가 역할을 한다. 정답 여부는 유닛 테스트 실행으로 정의된다.
• 결과:
  1. 스트리밍 우위: 스트리밍 에스컬레이션 정책(믿음이 떨어질 때 조기 중단)은 주니어 전용 모델의 계산 비용의 0.98배만 사용하면서도 75%의 정확도를 달성했다. 반면, 사후 라우팅은 유사한 정확도에 도달하기 위해 1.41배의 계산 비용이 필요했다.
  2. 믿음 역학: 누적 역량 믿음의 변별력(AUROC)은 순간적인 신호(엔트로피 등)가 비단조적이거나 생성 중간에 붕괴하더라도 생성 과정 동안 거의 단조 증가하며 상승했다.
  3. 한계점: 실제 모델 테스트에서는 전체 최적 정지 스케줄 대신 상수 임계값을 사용했으며, 믿음은 재귀적 필터가 아닌 러닝 평균 근사치를 사용했다. 따라서 동적 계획법의 옵션 가치(option value)에 의한 구체적인 이득은 완전히 분리되어 입증되지 않았다.

의의 및 주장

본 논문은 세 가지 주요 기여를 주장한다:

1. 정식화: 선(pre-) 또는 후(post-) 라우팅과 구별되는, 생성 중 위임을 최적 정지 문제로 보는 원칙적인 의사결정론적 프레임워크를 구축했다.
2. 이론: 특정 신호의 형태나 오목성에 의존하지 않고, 단조성과 조건부 독립성에만 기초하여 최적 정책이 학습된 역량 사후 확률에 대한 임계값임을 엄밀하게 증명했다.
3. 설계 원칙: **보정(Calibration)**을 핵심 제약 조건으로 격상시켰다. 논문은 자기 상승 시스템에서 실패의 비용은 라우터의 정교함이 아니라 사후 확률이 얼마나 잘 보정되었는지에 의해 결정된다고 주장한다. "확신에 찬 오답"은 더 나은 보정 없이는 어떤 임계값 정책도 극복할 수 없는 주요 실패 모드로 식별된다.

저자는 현재의 검증이 단일 코드 생성 캐스케이드와 상수 임계값 구현으로 제한되어 있음을 언급하며 실제 결과에 대해 겸손한 태도를 유지한다. 저자는 이 연구를 하나의 검증 가능한 프레임워크로 위치시키며, 궁극적인 테스트는 현재의 LLM이 이론적 이득을 실현할 만큼 충분히 보정된 불확실성 신호를 보유하고 있는지 여부라고 밝힌다.