기술 요약: Bayesian-Agent: LLM 에이전트를 위한 사후 확률 기반 기술 진화 (Posterior-Guided Skill Evolution)

1. 문제 정의

대규모 언어 모델(LLM) 에이전트는 모델 가중치 자체보다는 프롬프트, 도구, 메모리, 표준 운영 절차(SOP), 그리고 하네스 피드백으로 구성된 외부 추론 환경에 점점 더 많이 의존하고 있습니다. 이러한 재사용 가능한 자산들은 모델을 재학습시키지 않고도 실행 능력을 향상시킬 수 있지만, 이를 업데이트하는 현재의 방법들은 대개 휴리스틱한 성찰(reflection)이나 성공 및 실패의 단순 빈도 계산에 의존합니다.

본 논문은 기존 접근 방식의 두 가지 주요 한계를 지적합니다:

1. 보정되지 않은 업데이트 (Uncalibrated Updates): 희소한(sparse) 에이전트 궤적을 독립 동일 분포(i.i.d.) 관측치로 취급하면 노이즈가 섞인 편집이 발생합니다. 특정 맥락에서는 신뢰할 수 있는 기술이 다른 맥락에서는 해로울 수 있는데, 단순한 카운팅은 이러한 미묘한 차이를 포착하지 못합니다.
2. 외부화된 실패 (Externalized Failure): 역량이 기술과 SOP로 외재화될 때, 실패 또한 외재화됩니다. 만약 에이전트가 자연어 자기 비판(self-critique)에만 기반하여 자산을 업데이트한다면, 현재의 실패를 수습하는 과정에서 미래의 작업 성능을 저하시키는 편집을 도입할 수 있습니다. 반대로, 하네스가 기술을 전혀 수정하지 않는다면, 반복되는 실패는 모델의 학습 루프 밖에 머물게 됩니다.

핵심 과제는 검증된 증거에 기반하여 재사용 가능한 기술과 SOP가 진화할 수 있도록 외부 결정 환경(하네스)을 어떻게 유지하느냐 하는 것입니다.

2. 방법론: Bayesian-Agent

저자들은 Bayesian-Agent를 소개하며, 이는 재사용 가능한 기술과 SOP를 **증거를 담은 가설(evidence-bearing hypotheses)**로 취급하는 프레임워크입니다. 이 프레임워크는 LLM에게 특정 기술이 "좋은지"를 묻는 대신, 베이지안 질문을 던집니다: 고정된 모델과 특정 추론 환경이 주어졌을 때, 사전 가정(prior assumptions)과 검증된 증거를 결합한 후 우리는 이 기술에 대해 무엇을 믿어야 하는가?

2.1 문제 정식화

이 프레임워크는 모델 가중치($M_\theta$)를 고정하고, 하네스의 진화를 추론 조건($C_t$)에 대한 최적화로 취급합니다. 기술 $h_k$의 신뢰도는 모델, 맥락, 관측된 특징들이 주어졌을 때의 성공 확률로 정의됩니다:
$$p_{k,t} = P(y_t = 1 \mid M_\theta, C_t, h_k, z_t)$$
여기서 $z_t$는 검증된 궤적(예: 토큰 수, 턴 수, 실패 모드 등)에서 추출된 이산 특징 벡터입니다.

2.2 궤적 증거 (Trajectory Evidence)

Bayesian-Agent는 실행 하네스에 의해 생성된 **검증된 궤적($e_t$)**으로부터만 신념(belief)을 업데이트합니다. 이 궤적들은 다음을 포함합니다:

• 외부 검증기 또는 벤치마크 그레이더에 의해 결정된 태스크 맥락 및 결과 ($y_t \in \{0, 1\}$). 모델의 자기 평가가 아닌 외부의 판단을 사용합니다.
• 희소한 온라인 데이터셋을 처리하기 위해 고정된 버킷(bucket)으로 이산화된 런타임 신호 (토큰 비용, 지연 시간, 턴 수).
• 검증기로부터 도출된 실패 모드.

2.3 베이지안 증거 모델 (Bayesian Evidence Model)

시스템은 각 기술에 대해 **특징 조건부 범주형 베이지안 증거 모델(feature-conditioned categorical Bayesian evidence model)**을 유지합니다:

• 사전 확률 (Priors): 관측치가 희소할 때 보수적인 추정치를 제공하기 위해 라플라스 스무딩(Laplace smoothing)을 사용합니다.
• 우도 (Likelihood): 특정 특징 값(예: "맥락 Y에서 실패 모드 X가 발생함")에 조건화된 성공/실패 확률을 계산합니다.
• 사후 확률 (Posterior): 순위 지정 및 의사결정에 사용되는 성공 확률($s_{k,t}$)을 계산합니다.
• 요약 (Summary): 감사(audit) 및 실패 지배성 체크를 위해 공액 베타-베르누이(conjugate Beta-Bernoulli) 요약($\alpha, \beta$)을 유지합니다.

2.4 사후 확률 유도 기술 행동 (Posterior-Guided Skill Actions)

사후 확률 상태는 신념 상태를 다섯 가지 검사 가능한 행동으로 매핑하는 보수적인 재작성 정책을 구동합니다:

1. 탐색 (Explore): 관측치가 존재하지 않거나 사후 확률이 불확실할 때 트리거됩니다.
2. 패치 (Patch): 동일한 실패 모드가 최소 두 번 나타날 때 트리거됩니다 (반복되는 실패를 가드레일로 변환).
3. 분할 (Split): 광범위한 기술이 이질적인 케이스들을 포괄할 때 트리거됩니다 (3개 이상의 맥락, 4개 이상의 관측치).
4. 압축 (Compress): 기술이 신뢰할 수 있을 때(성공 $\ge$ 0.72) 맥락을 간결하게 유지하기 위해 트리거됩니다.
5. 퇴역 (Retire): 실패 증거가 지배적일 때(낮은 성공 확률, 높은 $\beta$) 트리거됩니다.

결정적으로, 이 프레임워크는 사후 확률 감사 정보(디버깅용으로 저장됨)와 모델 대상 지침(model-facing instructions)을 분리합니다. LLM은 가공되지 않은 확률 숫자가 아니라, 실행 가능한 가드레일과 실패 모드 패치를 전달받습니다.

2.5 실행 모드

• 전체 모드 (Full Mode): 벤치마크 실행 중에 레지스트리가 처음부터 온라인으로 진화합니다.
• 점진적 모드 (Incremental Mode): 완료된 베이스라인 실행에서 검증된 트레이스를 입력받아 레지스트리를 업데이트하고, 사후 확률에 따라 패치된 실패한 태스크만을 다시 실행합니다.

3. 주요 기여

1. 가설로서의 기술 정립: 자기 진화를 경험적인 프롬프트 축적이 아닌, 불확실성 하에서의 검증된 사후 확률 유도 최적화로 전환했습니다.
2. 통합 프레임워크: 효율적인 범주형 증거 모델과 사후 확률 유도 재작성 정책을 통해 프롬프트, 맥락, 하네스 엔지니어링에 대한 통합된 베이지안 관점을 제공합니다.
3. 네이티브 및 크로스 하네스 지원: 최소한의 네이티브 백엔드를 도입하는 동시에, 외부 하네스(GenericAgent, mini-swe-agent, Claude Code)가 동일한 궤적-증거 루프를 활용할 수 있도록 어댑터 경계를 정의했습니다.
4. 실증적 검증: DeepSeek 모델을 사용하여 SOP-Bench, Lifelong AgentBench, RealFin-Bench에서 베이스라인, 풀 베이지안, 점진적 수리 변형 모델을 비교하는 광범의 연구를 수행했습니다.

4. 실험 결과

논문은 DeepSeek-v4-flash 및 DeepSeek-v4-pro를 사용하여 세 가지 벤치마크와 여러 백엔드(Native, GenericAgent, mini-swe-agent, Claude Code)에 대해 Bayesian-Agent를 평가합니다.

4.1 성능 향상

• 점진적 수리 (Incremental Repair): 점진적 모드(실패한 태스크만 수리)는 상당한 개선을 보였습니다:
  • SOP-Bench: 80%(GA)에서 **95%**로 향상.
  • Lifelong AgentBench: 90%(GA)에서 **100%**로 향상.
  • RealFin-Bench: 45%(GA)에서 **65%**로 향상.
• 토큰 효율성: 점진적 접근 방식은 매우 효율적이었습니다. SOP-Bench 실패를 수리하는 데 전체 베이스라인 실행에 비해 단 153k 토큰만을 사용했습니다.
• 백엔드 불가지론 (Backend Agnosticism): 이 프레임워크는 다양한 백엔드(Native, GenericAgent, mini-swe-agent, Claude Code)에서 성능을 성공적으로 개선하여, 이점이 특정 런타임이 아닌 증거 루프에서 온다는 것을 확인했습니다.

4.2 관찰된 한계점

• Full Mode의 불안정성: Lifelong AgentBench 설정에서 DeepSeek-v4-flash를 사용할 때, Full Bayesian 모드(85%)가 베이스라인 GA(90%)보다 낮은 성능을 보였습니다. 이는 증거가 여전히 희소할 때 온라인 기술 진화가 부정적인 순서 효과(negative ordering effects)나 비용을 초래할 수 있음을 시사합니다.
• 포화 (Saturation): 베이스라인 모델이 이미 100% 정확도를 달달성한 설정(예: DeepSeek-v4-pro를 사용한 SOP-Bench)에서는 베이지안 레이어가 수리할 실패가 없어 점진적 모드가 활성화되지 않았습니다.

5. 의의 및 주장

본 논문은 에이전트 기술 진화가 보정되지 않은 프롬프트 축적이 아니라, 사후 확률 유도 하네스 최적화로 간주되어야 한다고 주장합니다.

• 감사 가능성 (Auditability): 기술을 명시적인 사후 확률 상태를 가진 가설로 취급함으로써, 프레임워크는 진화 과정을 검사 가능하게 만듭니다. 사용자는 특정 실패 모드에 근거하여 왜 기술이 패치, 분할 또는 퇴역되었는지 확인할 수 있습니다.
• 불확실성 보정 (Uncertainty Calibration): 이 접근 방식은 에이전트 궤적의 희소성과 맥락 의존성을 명시적으로 처리하여, 희소한 데이터를 신뢰할 수 있는 빈도수로 취급할 때 발생하는 함정을 피합니다.
• 실용적 수리 (Practical Repair): 점진적 수리 설정은 하네스가 관찰된 실패 모드를 재사용 가능한 맥락으로 전환하기 위해 실패 사례에 추가적인 추론 자원을 집중적으로 투입함으로써, 전체 벤치마크를 다시 실행하지 않고도 최종 정확도를 크게 높일 수 있음을 입증합니다.

저자들은 이 접근 방식이 일회성 작업이나 비정상적(non-stationary) 환경을 위한 만능 해결책은 아니지만, 검증기와 반복되는 실패 모드가 존재하는 환경에서 재사용 가능한 에이전트 기술을 개선하기 위한 견고하고 증거에 의해 보정된 메커니즘을 제공한다고 결론짓습니다.