기술 요약: 비평가 경험 뱅크 (Critic Experience Bank, CEB)

문제 정의

대규모 언어 모델(LLM) 에이전트는 행동이 이후의 모든 결정에 의존하는 상태를 변화시키는 외부 환경(웹, 모바일 GUI, 셸)에서 점점 더 많이 작동하고 있습니다. 이러한 환경에서는 단 한 번의 오류가 최종적인 작업 실패가 관찰되기 훨씬 이전에 작업 예산을 낭비하거나 되돌릴 수 없는 부작용을 초래할 수 있습니다. 결과적으로, 최종 작업 성공 여부는 배포를 위한 충분한 신뢰성 신호가 되지 못합니다.

해결하고자 하는 핵심 과제는 **단계별 신뢰도 추정(step-level confidence estimation)**입니다. 즉, 제안된 행동을 실행하기 전에 해당 행동이 생산적일 것이라는 교정된 확률을 생성해야 하는 필요성입니다. 기존의 신뢰도 추정 방법(예: 토큰 로짓, 언어화된 신뢰도, 일관성 체크)은 주로 응답 수준의 스코어링을 위해 설계되었습니다. 이들은 현재의 맥락을 바탕으로 단일 제안 단계를 평가하지만, 실행 결과—구체적으로 유사한 상황에서 유사한 행동을 취했을 때 환경의 반응 이후 실제로 작업을 진전시켰는지 여부—를 고려하지 못합니다. 이러한 구조적 격차는 표준 신호가 정적인 응답 생성에서 동적인 에이전트 실행으로 깔끔하게 전이되지 못하게 함으로써, 상호작용이 진행됨에 따라 불안정한 교정을 초래합니다.

방법론: 비평가 경험 뱅크 (CEB)

저자들은 정답 단계 레이블(ground truth step labels)이나 학습 가능한 검증기 없이 추론 단계에서 작동하도록 설계된, 훈련이 필요 없는 자기 진화형 비평가 프레임워크인 **비평가 경험 뱅크(CEB)**를 제안합니다.

핵심 메커니즘

CEB는 고정된 LLM 비평가에 사후 레이블링된 실행 경험(hindsight-labeled execution experiences)이 담긴 메모리 뱅크를 결합합니다. 이 프레임워크는 에이전트가 관련된 맥락에서 반복되는 결정에 직면하는 경우가 많다는 전제하에 작동합니다. 각 재발 사례를 단순히 현재의 쿼리만으로 판단하는 대신, 비평가는 자신의 과거 판단과 그로 인해 관찰된 결과를 경험 뱅크에서 검색합니다.

파이프라인은 두 단계로 구성됩니다:

1. 온라인 스코어링(Online Scoring): 각 단계 $t$에서 에이전트는 작업 $q$, 현재 상태 $s_t$, 그리고 히스토리 $h_{<t}$를 기반으로 행동 $a_t$를 제안합니다. 실행 전, 고정된 LLM 비평가는 신뢰도 점수 $\hat{z}_t$를 추정합니다. 이를 위해 비평가는 현재 맥락과 경험 뱅크에서 검색된 **대조 사례(contrastive examples)**를 프롬프트로 받습니다. 이 사례들은 복합 키(작업, 상태, 행동)를 사용하여 검색되며, 생산적인($B^+$) 기록과 비생산적인($B^-$) 과거 기록을 모두 포함합니다. 프롬프트에는 짧은 루프를 감지하기 위한 반복 플래그도 포함됩니다.
2. 사후 업데이트(Hindsight Update): 궤적 $\tau$가 완료되면, "사후 LLM"($g_\phi$)이 전체 상태, 행동, 관찰 시퀀스를 관찰합니다. 이는 각 단계가 생산적이었는지에 대해 $V$번의 샘플링을 통한 다수결 투표를 통해 결정하며, 의사 레이블(pseudo-labels) $\hat{y}_t$를 생성합니다. 상태 요약, 행동, 관찰, 의사 레이블 및 비평가의 원래 실행 전 점수를 포함하는 이 기록들은 뱅크에 추가됩니다.

주요 설계 특징

• 자기 진화형(Self-Evolving): 비평가의 가중치는 고정된 상태를 유지하며, 검색된 경험의 확장되는 맥락을 통해서만 행동이 진화합니다.
• 대조적 검색(Contrastive Retrieval): 뱅크는 생산적인 집합과 비생산적인 집합으로 나뉩니다. 비평가는 성공한 유사 행동과 실패한 유사 행동의 사례를 명시적으로 보여줌으로써, 결과에 기반하여 교정될 수 있도록 합니다.
• 훈련 불필요(No Training Required): 이 방법은 액터(actor)나 비평가(critic)의 미세 조정(fine-tuning)을 요구하지 않으며, 배포 중에 정답 단계 레이블에 접근할 필요가 없습니다.

주요 기여

1. 문제 정의: 본 논문은 LLM 에이전트를 위한 단계별 신뢰도 추정을 행동 실행 전 행동 생산성을 추정하는 작업으로 공식 정의하여, 표준적인 응답 수준의 신뢰도와 구분하였습니다.
2. CEB 프레임워크: 이전 궤적으로부터 얻은 사후 레이블링된 실행 경험을 활용하여 고정된 LLM 비평가를 보강하는 훈련이 필요 없는 비평가 프레임워크를 도입했습니다.
3. 경험적 우월성: 세 가지 다양한 에이전트 벤치마크(Mind2Web, AMEX, InterCode-Bash)와 세 가지 비평가 백본(GPT-4.1, GPT-5.4, Qwen3-Next)에 대해 CEB가 최첨단(SOTA) 교정 성능(ECE, Brier score) 및 순위 지정 능력(AUC)을 달 achieves함을 입증했습니다.

실험 결과

평가는 웹 네비게이션, 모바일 GUI 제어, 셸 상호작용 작업을 포괄합니다.

• 교정 성능(Calibration Performance): CEB는 모든 훈련 없는 베이스라인(Perplexity, Mean Entropy, Verbalized Confidence, P(True), Coв 포함)을 지속적으로 능가했습니다.
  • GPT-4.1을 사용한 InterCode-Bash 데이터셋에서 CEB는 가장 강력한 베이스라인 대비 ECE를 54% 감소시켰습니다.
  • GPT-5.4를 사용한 Mind2Web에서 CEB는 0.176의 ECE를 달성하였으며, 이는 차순위 베이스라인(P(True)의 0.396)보다 현저히 낮은 수치입니다.
  • CEB는 ECE, Brier score, AUC 측면에서 모든 데이터셋-비평가 조합에서 최고의 성능을 유지했습니다.
• 레이블 정의에 대한 강건성: CEB의 이점은 대안적인 유효 경로를 인정하는 관대한 "LLM-as-judge" 레이블을 사용하더라도 지속되었으며, 이는 이 방법이 엄격한 참조 매칭의 산물이 아님을 나타냅니다.
• 구성 요소 절제 실험(Ablation): 경험 뱅크를 완전히 제거했을 때 가장 큰 성능 저하가 발생하여, 과거의 실행 결과가 재교정에 결정적임을 확인했습니다. 또한, 뱅크의 대조적 특성(성공과 실패를 모두 보는 것)이 가장 중요한 구성 요소임이 확인되었습니다.
• 자기 진화 행동: 작업 스트림이 진행되고 뱅크가 사후 레이블링된 데이터로 채워짐에 따라, CEB의 교정 오차는 정적 비평가에 비해 크게 감소하여 시스템이 가중치 업데이트 없이도 시간이 지남에 따라 개선됨을 보여주었습니다.
• 다운스트림 유용성: 선택적 실행 작업(신뢰도가 낮은 단계를 인간의 검토를 위해 유보하는 작업)에서 CEB는 베이스라인보다 잘못된 단계를 더 효과적으로 식별하여, 고정된 검토 예산이 적용되었을 때 더 높은 최종 작업 성공률을 이끌어냈습니다.

의의 및 주장

본 논문은 LLM 에이전트 배포의 핵심적인 간극, 즉 행동이 환경을 변화시키기 전 단계별 신뢰도를 확보해야 할 필요성을 해결한다고 주장합니다. 에이전트 자신의 상호작용 이력을 교정 증거로 활용함으로써, CEB는 고정된 비평가가 동적으로 스코어링 행동을 적응하도록 합니다.

저자들은 이 접근 방식이 특히 다음과 같은 배포 환경에서 가치가 있다고 강조합니다:

• 액터와 비평가가 고정된 API 모델인 경우.
• 정답 단계 레이블을 사용할 수 없는 경우.
• 새로운 검증기를 훈련하는 것이 불가능한 경우.

결과는 추출된 실행 경험이 현재의 응답 스타일 신뢰도 방법보다 우수한 신호를 제공하며, 복잡하고 상태가 변하는 환경에서 더 안전하고 신뢰할 수 있는 자율 에이전트를 향한 실질적인 경로를 제시함을 시사합니다. 논문은 CEB의 주요 장점이 시간적(시간에 따른 증거 축적)인 것이지 감독적(더 나은 레이블에 의존)인 것이 아니며, 결과적으로 에이전트 자신의 과거 실수와 성공을 미래 의사결정을 위한 사전 확률(prior)로 전환하는 데 있다고 결론짓습니다.