기술 요약: 실패 인지형 적응적 추론 (Failure-Aware Adaptive Inference, FAAI)

문제 정의

순차적 의사결정 환경에서 작동하는 대규모 언어 모델(LLM) 에이전트는 **실패 전파(failure propagation)**라고 불리는 근본적인 신뢰성 문제에 직면한다. 정적인 예측 작업과 달리, 순차적 에이전트는 여러 단계에 걸쳐 진화하는 환경과 상호작용해야 한다. 초기 실행 오류는 미래의 상태를 변화시키고, 후속 선택을 제약하며, 결국 전체 궤적(trajectory)의 실패로 이어질 수 있다. 저자는 단계별 정확도가 높더라도(예: 95%), 실행 오류가 없는 상태를 유지할 확률은 긴 호라이즌(예: 40단계) 동안 급격히 감소하며, 이는 실패의 양의 상관관계(하나의 실패가 다음 실패의 가능성을 높이는 현상)에 의해 더욱 악화된다고 지적한다.

Chain-of-Thought(CoT) 추론, Retrieval-Augmented Generation(RAG), 사후 성찰(post-hoc reflection)과 같은 기존 방식들은 과거의 경험을 주로 맥락 정보나 의미적 유사성으로 취급한다. 이러한 방식들은 새로운 행동을 유도할 때 성공한 궤적과 실패한 궤적을 명시적으로 구분하지 못하는 경우가 많다. 또한, 많은 교정 메커니즘은 실수가 발생한 후에 이를 분석하는 반응적(reactive) 방식인데, 이는 행동이 환경을 돌이킬 수 없이 변화시킬 수 있는 환경(예: 잘못된 명령을 내리거나 트랜잭션을 확정하는 경우)에서는 불충분하다.

방법론: 실패 인지형 적응적 추론 (FAAI)

저자는 실패 지식을 추론 시 의사결정 과정에 직접 통합하는 FAAI를 제안한다. FAAI는 이전의 실패를 버려진 실패한 시도가 아니라 재사용 가능한 의사결정 신호로 취급한다. 이 프레임워크는 세 가지 핵심 메커니즘을 통해 작동한다:

1. 실패 인지형 메모리 검색 (Failure-Aware Memory Retrieval):
   단순히 의미적 유사성에만 의존하는 대신, FAAI는 다음을 포함하는 결합된 관련성 점수를 기반으로 경험을 검색한다:

   • 의미적 관련성 ($S$)
   • 실패 관련성 ($F$)
   • 추정 메모리 효용성 ($U$)
     이 점수 함수 ($R = \lambda_s S + \lambda_f F + \lambda_u U$)는 의미적 거리와 관계없이, 현재의 위험을 예측할 수 있는 고위험 실패 경험을 우선순위에 둔다.

2. 명시적 위험 예측 (Explicit Risk Prediction):
   모든 후보 행동 $a_t$에 대해, 에이전트는 실행 위험 점수 $\rho_t = P(f_t = 1 | s_t, a_t, M_t)$를 추정한다. 여기서 $M_t$는 검색된 실패 인지형 메모리를 나타낸다. 이는 특정 행동이 실패로 이어질 확률을 정량화한다.

3. 실행 전 자기 교정 (Pre-Execution Self-Correction):
   추정된 위험 $\rho_t$가 사전 정의된 임계값 $\tau$를 초과하면, 에이전트는 행동이 실행되기 전에 교정 단계를 트리거한다. LLM에는 현재 상태, 제안된 행동, 관련 실패 메모리 및 결정을 재검토하기 위한 재고(reconsideration) 지침이 제공된다. 이러한 선제적 개입은 안전하지 않은 행동이 환경에 영향을 미치는 것을 방지한다.

시스템은 경험에 효용 점수를 할당하는 적응형 메모리 저장소를 유지하며, 고위험 실패는 미래의 오류를 방지하는 결정 경계를 인코딩하기 위해 우선적으로 보존된다.

주요 기여

본 논문은 네 가지 주요 기여를 설명한다:

• 실패 전파의 식별: 저자는 초기 실행 실패가 장기 호라이즌 LLM 에이전트에서 미래 실패의 확률을 유의미하게 증가시켜, 표준 추론 전략이 해결하지 못하는 의존성을 생성함을 분석하고 입증하였다.
• FAAI 프레임워크: 실패 인지형 메모리 검색, 명시적 실행 위험 추정, 실행 전 자기 교정을 통합하는 새로운 추론 프레 framework를 제안하였다.
• 경험적 검증: FAAI가 긴 호라이즌 설정에서 성공률을 실질적으로 개선하며, 기존 베이스라인과 달리 상호작용 호라이즌이 증가함에 따라 높은 신뢰성을 유지함을 보여주는 광범위한 실험을 수행하였다.
• 구성 요소 분석: 모든 구성 요소가 신뢰성에 기여하지만, **위험 예측(risk prediction)**이 가장 결정적인 요소이며, 그 다음으로 적응형 메모리와 자기 교정이 유사한 효용을 보인다는 체계적인 절제 연구(ablation studies)를 수행하였다.

실험 결과

저자는 두 가지 환경인 HotPotQA(멀티 홉 추론)와 WebShop(온라인 쇼핑 시뮬레이션)에서 상호작용 호라이즌 $H=5$에서 $H=40$까지 평가하였다.

• 장기 호라이즌 성능: FAAI의 성공률은 호라이즌 길이가 길어져도 일관되게 높게 유지되어, $H=20$에서 **95.83%**를 달성하고 $H=40$에서도 **95.83%**를 유지하였다. 이와 극명하게 대조적으로, 모든 베이스라인 방법(Direct LLM, CoT, ReAct, RAG, Reflection 기반 에이전트)은 $H=40$에서 성공률이 7% 미만으로 떨어졌다.
• 실패 전파 완화: 베이스라인 에이전트들은 조건부 실패 전이 확률 $P(F_{t+1} | F_t)$이 0.62로 나타나 강한 오류 축적을 보였다. FAAI는 이를 0.18로 낮추어 71.0%의 상대적 감소를 달성하였으며, 실패 전파 사슬을 효과적으로 끊어냈다.
• 절제 연구 (Ablation Studies): 위험 예측 구성 요소를 제거했을 때 성능 저하가 가장 심각하여 성공률이 95.83%에서 17.96%로 급락하였다. 적응형 메모리나 자기 교정을 제거했을 때도 상당한 하락(약 39-40%로)이 발생하였으며, 후자의 두 변체는 유의미한 차이를 보이지 않아, 위험 추정 없는 메모리와 위험 추정 없는 메모리가 유사한 효용을 가짐을 나타냈다.
• 예방 vs 회복: FAAI의 실행 전 교정은 단계의 38.7%에서 트리거되었으며, 이 중 89.2%의 사례에서 성공적인 결과를 이끌어냈다. 이는 실패가 있는 궤적에 대해 72.3%의 회복률을 기록한 것으로, 가장 우수한 Reflection 기반 베이스라인의 31.5%와 비교된다.
• 일반화: 프레임워크는 전이 가능성을 입증하여, WebShop 환경의 $H=20$에서 88.89%의 성공률을 달성한 반면, 베이스라인은 15% 미만에 머물렀다.

의의 및 주장

본 논문은 FAAI가 추가적인 모델 학습 없이도 LLM 기반 에이전트의 견고성을 향상시킬 수 있는 실용적인 메커즘을 제공한다고 주장한다. 저자는 장기 호리즌 에이전트의 신뢰성은 단순히 단계별 정확도나 추론 길이를 개선하는 것만으로는 달성될 수 없으며, 대신 에이전트가 위험한 상태 영역을 감지하고 오류가 발생하기 전에 개입하는 메커니즘이 필요하다고 주장한다.

실패를 버려진 오류가 아닌 정보가 풍부한 예측 신호로 취급함으로써, FAAI는 반응적 성찰(reactive reflection)과 의미 중심 검색의 한계를 해결한다. 결과는 더 넓은 설계 원칙을 시사한다: 견고한 자율 에이전트는 자신의 실패 패턴을 이해하고, 예측하고, 피할 수 있는 능력을 갖추어야 한다. 저자는 명시적인 실패 신호에 대한 의존성, 계산 오버헤드, 정상성(stationarity) 가정에 관한 한계를 인정하면서도, 실패 인지형 적응이 더 신뢰할 수 있고 배포 가능한 AI 에이전트로 나아가기 위한 중요한 단계라고 단언한다.