기술 요약: 에이전트적 불확실성 정량화 (Agentic Uncertainty Quantification, AUQ)

1. 문제 정의

자율 AI 에이전트는 장기적 추론(long-horizon reasoning)과 도구 사용 측면에서 인상적인 능력을 보여주었습니다. 그러나 이들의 신뢰성은 "환각의 소용돌이(Spiral of Hallucination)" 현상으로 인해 심각하게 저해됩니다. 이는 초기 추론 단계에서의 미세한 인식론적 오류가 컨텍스트 윈도우를 통해 되돌릴 수 없이 전파되어, 이후의 계획을 실패 쪽으로 편향시키는 현상을 의미합니다. 이는 에이전트가 정답(ground-truth) 레이블 없이 동적인 환경에서 작동할 때 발생하는 **"재귀의 저주(Curse of Recursion)"**에 의해 더욱 악화됩니다.

기존 방식들은 다음과 같은 결정적인 딜레마에 직면해 있습니다:

• 수동적 불확실성 정량화 (Passive UQ): 현재의 UQ 방식은 위험을 진단(예: 신뢰도 점수를 통해)하는 센서 역할은 수행하지만, 이를 능동적으로 해결하는 메커니즘은 부족합니다.
• 맹목적 자기 성찰 (Blind Self-Reflection): 기존의 성찰 메커니즘은 정답에 대한 접근 권한 없이 끊임없이 혹은 목적 없이 수정을 시도하여 계산 효율성을 떨어뜨리거나, 모델이 자신의 오류에 대해 정당성을 환각해내는 "아첨 효과(sycophancy effect)"를 초래합니다.

핵심 과제는 오류 전파를 방지하면서 실행 효율성을 유지하기 위해, 불확실성을 탐지하는 것과 그에 따라 행동하는 것 사이의 간극을 메우는 것입니다.

2. 방법론: 이중 프로세스 에이전트적 UQ (Dual-Process Agentic UQ, AUQ)

저자들은 **이중 프로세스 에이전트적 UQ (AUQ)**라고 불리는 통합된 학습 불필요(training-free) 프레임워크를 제안합니다. 이 프레임워크는 언어화된 불확실성을 능동적이고 양방향적인 제어 신호로 변환하며, 인지의 이중 프로세스 이론(System 1 및 System 2)에서 영감을 얻어 에이전트의 행동을 두 가지 상호 보완적인 메커니즘으로 분리합니다.

System 1: 불확실성 인지 메모리 (Uncertainty-Aware Memory, UAM) – 순방향 전파

System 1은 "빠른 경로(Fast Path)" 역할을 하며, **인지적 연속성(Cognitive Continuity)**을 유지하고 맹목적인 의사결정을 방지하도록 설계되었습니다.

• 메커니즘: 에이전트는 불투명한 로짓 확률(logit probabilities)에 의존하는 대신, 행동과 함께 언어화된 신뢰도 점수($\hat{c}_t \in [0, 1]$)와 의미론적 설명($\hat{e}_t$)을 생성하도록 유도됩니다.
• 메모리 구조: 에이전트는 단순히 관찰과 행동만을 보유하는 것이 아니라, 각 단계마다 튜플 $(o_i, a_i, \hat{c}_i, \hat{e}_i)$를 명시적으로 유지하는 불확실성 인지 메모리($M_t$)를 유지합니다.
• 기능: $\hat{e}_i$(불확성의 설명)를 컨텍스트 윈도우에 유지함으로써, 트랜스포머의 어텐션 메커니즘은 자연스럽게 과잉 확신을 억제합니다. 이는 "연성 인지 제약(Soft Cognitive Constraint)"을 생성하여 불확실성을 앞으로 전파하며, 이전 단계가 불확실했을 경우 에이전트가 착취(exploitation, 고몰입 행동)에서 탐색(exploration, 정보 수집)으로 전환하도록 유도합니다.

System 2: 불확실성 인지 성찰 (Uncertainty-Aware Reflection, UAR) – 역방향 교정

System 2는 필요할 때만 활성화되어 **역방향 불확실성 교정(Inverse Uncertainty Calibration)**을 수행하는 "느린 경로(Slow Path)" 역할을 합니다.

• 트리거 조건: 에이전트의 자기 평가 신뢰도 $\hat{c}_t$가 신뢰도 임계값 $\tau$(통상 $0.8$~$0.95$) 미만으로 떨어질 때 System 2가 활성화됩니다.
• 합리적 단서: System 1의 언어화된 설명 $\hat{e}_t$는 구체적인 진단적 제약 역할을 합니다. 성찰 프롬프트는 모델에게 "$\hat{e}_t$에서 언급된 우려 사항을 해결하라"고 명시적으로 지시합니다.
• 일관성 가중 선택 (Consistency-Weighted Selection): 에이전트는 $N$개의 병렬 성찰 궤적(Best-of-N)을 생성합니다. 단순히 가장 높은 신뢰도만을 선택하는 대신, 신뢰도가 높으면서 동시에 샘플 간에 의미론적으로 일관된 답변에 보상을 주는 일관성 가중 점수($S_{cons}$)를 계산합니다.
• 적응형 메모리 확장: 만약 성찰이 불확실성을 해결하지 못하면(점수가 여전히 $\tau$ 미만이면), 에이전트는 전체 히스토리($M_{full}$)를 재평가하기 위해 컨텍스트 검색(Context Retrieval) 작업을 트리거하여, 비용이 많이 드는 롱 컨텍스트 처리가 로컬 추론이 실패했을 때만 사용되도록 보장합니다.

이중 프로세스 정책 (The Dual-Process Policy)

프레임워크는 스위칭 함수 $S(h_t)$를 통해 이 시스템들을 통합합니다.

• 만약 $\hat{c}_t \ge \tau$ 이면: 에이전트는 System 1 행동을 직접 실행합니다 (최소 비용).
• 만 if $\hat{c}_t < \tau$ 이면: 에이전트는 System 2 루프를 활성화하고, 초기 제안을 폐기한 후 교정된 행동을 실행합니다. 해결된 불확실성은 다시 메모리에 기록되어 교정 사항을 미래의 단계로 전파합니다.

3. 주요 기여

1. 에이전트적 UQ의 형식적 분리: 본 논문은 에이전트의 신뢰성을 두 가지 상호 보완적인 수학적 문제, 즉 순방향 불확실성 전파(오류가 이력으로 고착되는 것을 방지)와 역방향 불확실성 교정(추론 시 연산을 사용하여 편차를 수정)으로 프레임링했습니다. 이는 에이전트 신뢰성을 이러한 특정 이중 프로세스 관점으로 바라본 첫 번째 연구입니다.
2. 새로운 이중 프로세스 아키텍처: UAM(System 1)과 UAR(System 2)의 도입은 효율적인 실행과 깊은 숙고 사이의 균형을 동적으로 맞추는 학습 불필요 프레임워크를 구축합니다. 또한 장기적 신뢰성에 특화된 궤적 수준의 평가 지표를 도입했습니다.
3. 실증적 검증: 프로토콜은 다양한 도메인에서 AUQ를 검증했습니다:
   • ALFWorld: 체화된 의사결정(Embodied decision-making).
   • WebShop: 노이즈가 있는 웹 네비게이션.
   • DeepResearch Bench: 개방형, 박사 수준의 연구 과제.

4. 실험 결과

저자들은 다양한 LLM(GPT-4o, GPT-5.1, Gemini-2.5-Pro, Qwen3, DeepSeek-V3.1 포함)에 대해 ReAct, Reflexion, Self-Reflection, CoT-SC와 같은 베이스라인과 비교하여 광범위한 실험 결과를 보고했습니다.

• 교정(Calibration): AUQ는 우수한 Trajectory-ECE (T-ECE) 및 Brier Score를 달성했습니다. 특히, 순방향(UAM) 구성 요소는 과잉 확신을 효과적으로 억제하는 반면, 역방향(UAR) 구성 요소는 불확실성을 해결하여, 두 구성 요소 각각을 사용할 때보다 더 나은 교정 성능을 보였습니다.
• 성능:
  • ALFWorld: AUQ는 74.3%의 성공률을 기록하여, 최상위 베이스라인인 CoT-SC(69.5%)와 ReAct(63.6%)를 능가했습니다.
  • WebShop: AUQ는 42.9%의 성공률을 달성하여 베이스라인보다 유의미하게 높은 수치를 보였습니다.
  • DeepResearch: AUQ는 RACE 루브릭에서 52.09의 SOTA(State-of-the-art) 종합 점수를 획득하여, 강력한 폐쇄형 베이스라인(예: Gemini-2.5-Pro의 49.71) 및 오픈 소스 경쟁 모델들을 앞섰습니다.
• 효율성: 성찰에 따른 오버헤드에도 불구하고, AUQ는 우수한 **파레토 효율(Pareto efficiency)**을 보여줍니다. 낮은 신뢰도를 조기에 감지함으로써, 에이전트가 ReAct에서 흔히 발생하는 길고 무의미한 환각 루프에 토큰을 낭비하는 것을 방지합니다. 즉, "성공당 비용(Cost per Success)"이 AUQ에서 더 낮습니다.
• 강건성(Robustness): AUQ는 제한된 메모리 윈도우 내에서 ReAct에 비해 "망각"에 대한 우수한 저항성을 보여줍니다. 저장된 불확실성 메타데이터($\hat{c}, \hat{e}$)가 원래의 관찰 로그가 잘리더라도 리스크 상태를 캡슐화하기 때문입니다.

5. 의의 및 주장

본 논문은 AUQ가 불확실성을 수동적인 지표에서 능동적인 제어 신호로 변환함으로써 신뢰할 수 있는 에이전트를 향한 중요한 진전임을 피력합니다.

• 원칙적인 프레임워크: 저자들은 이것이 에이전트 신뢰성을 사후 진단을 넘어 런타임 예방으로 확장하여, 순방향 전파와 역방향 교정으로 공식적으로 분리한 첫 번째 연구라고 주장합니다.
• 학습 불필요(Training-Free): 이 접근 방식은 파라미터 업데이트나 미세 조정(fine-tuning)을 요구하지 않으므로, 언어화된 신뢰도를 활용하여 블랙박스 API를 포함한 광범위한 프런티어 모델에 적용 가능합니다.
• 동적 자원 할당: 이 프레임워크는 "적응형 리스크 예산 책정(Adaptive Risk Budgeting)"을 성공적으로 구현하여, 비싼 성찰 연산을 불확실성이 높은 단계에만 할당함으로써 수동적 UQ와 능동적 에이전트 제어 사이의 간극을 메웁니다.

저자들은 한계점으로, 이 프레임워크가 LLM의 불확실성 표현 능력(작은 모델에서는 감소함)에 의존하며 추론 지연(latency)을 유발한다는 점을 인정하면서도, 이것이 낭비되는 실패 루프를 방지함으로써 상쇄된다고 주장합니다. 또한, AUQ가 교정 능력을 향상시키더라도 고위험 영역에서는 인간의 감독이 여전히 필수적임을 강조합니다.