기술 요약: FALAT – 의존성 가이드 탐색을 통한 LLM 에이전트 궤적의 실패 추적

문제 정의

대규모 언어 모델(LLM) 에이전트는 추론 단계, 도구 호출, 에이전트 간 통신으로 구성된 긴 궤적을 통해 복잡한 과업을 수행합니다. 이러한 궤적이 실패할 때, 근본 원인을 식별하는 것은 "귀속 문제(attribution problem)"로 인해 매우 어렵습니다. 실수는 전파되는 경향이 있습니다: 초기 오류가 실행 상태를 오염시키면, 이후의 단계들은 국소적으로는 타당해 보일지라도 실제로는 결함을 상속받은 상태가 됩니다. 결과적으로, 후속 단계들이 실패의 원인인 것처럼 잘못 식별될 수 있습니다.

본 논문은 **실패 귀속(failure attribution)**을, 관찰된 잘못된 출력($\hat{o}$)으로부터 기대되는 최종 출력($o^*$)을 회복하기 위해 수정해야 하는 특정 에이전트("누가")와 결정적인 단계("언제")를 식별하는 작업으로 정의합니다. 결정적 단계는 (하위 단계들이 적응할 수 있도록 허용하면서) 만약 이를 수정했을 때 시스템이 올바른 결과를 생성하게 되는 단계로 정의됩니다. 단일 패스 LLM 판사나 단계를 독립적으로 평가하는 학습 기반 트레이서와 같은 기존 방법들은 위치 편향, 순서 민감성, 그리고 오류 발생과 오류 전파를 구분하지 못하는 한계가 있습니다.

방법론: FALAT 프레임워크

저자들은 실패 귀속을 독립적인 단계 분류가 아닌 **계층적 의존성 가이드 탐색(hierarchical dependency-guided search)**으로 재정의하는 진단 프레임워크인 FALAT을 제안합니다. 이 프레임워크는 네 단계로 작동합니다:

1. 탐색 공간 구축

FALAT은 실패한 궤적의 결함 있는 내부 추론에만 의존하는 것을 피합니다. 대신 다음을 구축합니다:

• 과업 조건부 사전 지식(Task-Conditioned Prior, $\pi$): 과업 명세, 에이전트 역할, 시스템 프롬프트 및 사용 가능한 도구로부터 도출된, 과업이 어떻게 해결되어야 하는지에 대한 외부적 기대치입니다. 이 사전 지식은 평가자가 에이전트 자신의 결함 있는 논리에 의해 현혹되는 것을 방지하기 위해 궤적의 중간 단계들과 독립적입니다.
• 계층적 궤적 표현 ($M$): 궤적을 조립식(coarse-to-fine) 탐색이 가능하도록 세 가지 수준으로 추상화합니다:
  • 상위 수준 ($M_{hi}$): 의심스러운 단계를 식별하는 글로벌 실행 요약.
  • 중간 수준 ($M_{mid}$): 에이전트, 행동 및 결정을 상세히 기술하는 로컬 단계 요약.
  • 하위 수준 ($M_{lo}$): 가공되지 않은 실행 증거 (도구 출력, 구체적인 값).
    이 구조를 통해 시스템은 먼저 의심스러운 영역을 식별한 다음 특정 단계로 범위를 좁힐 수 있습니다.

2. 후보군 제거를 위한 유형화된 의존성 구축

오류를 발생시키는 단계와 단순히 오류를 전파하는 단계를 구분하기 위해, FALAT은 유형화된 전이 어휘를 사용하여 후보 단계들에 대한 유향 의존성 구조를 구축합니다. 레이블은 다음과 같습니다:

• follow_up (후속): 정상적인 진행 또는 오류의 하향 전달.
• redundancy (중복): 새로운 증거 없는 반복.
• no_influence (영향 없음): 후보의 출력과 독립적인 단계.
• error_shift (오류 변형): 새로운 편차를 도입하거나 상류의 오류를 변형하는 단계.
• correction (교정): 상류의 편차를 수정하는 단계.
• dead_end (막다른 길): 사용되지 않는 출력으로 이어지는 단계.

이러한 레이블을 통해 시스템은 그 효과가 최종 출력에 도달할 수 없거나 단순히 이전 결함의 증상에 불과한 후보들을 제거하고, 실질적인 원인이 될 수 있는 후보들만을 남길 수 있습니다.

3. 의존성 가이드 탐색 및 검증

남은 후보들은 반사실적 충분성(counterfactual sufficiency) 목적 함수에 따라 순위가 매겨지고 검증됩니다. 후보가 결정적이기 위해서는 해당 단계를 수정하는 것이 $o^*$를 회복할 수 있어야 합니다. 검증 프로세스는 세 가지 기준을 확인합니다:

1. 오류 독립성: 이 단계가 오류를 도입하는가, 아니면 상속받는가? (역방향 의존성을 통해 추적됨).
2. 반사실적 충분성: 이 단계를 고치는 것이 기대된 결과를 회복할 수 있는가?
3. 시간적 선행성: 유효한 후보들 중 가장 이른 단계를 선택한다.

4. 로컬 재탐색: 적대적 검증

"앵커링(anchoring)"(LLM 판사가 그럴듯하지만 틀린 후보를 정당화하는 현상)을 완화하기 위해, FALAT은 로컬 재평가를 수행합니다. 예측된 결정적 단계 주변의 제한된 이웃 영역을 추출하고, 해당 후보를 즉각적인 이웃들과 비교합니다. LLM은 역할을 할당(ROOT_CAUSE, PROPAGATION, SYMPTOM, CONTRIBUTING)하고, 선택된 단계가 정말로 결정적인지 확인하기 위해 비교 논거와 반사실적 체크를 바탕으로 단계들의 순위를 다시 매깁니다.

주요 기여

1. 귀속의 재정의: 본 논문은 패러다임을 평면적인 단계별 분류에서 계층적 의서성 가이드 탐색으로 전환하여, 오류 발생과 전파의 구분을 명시적으로 모델링합니다.
2. FALAT 프레임워크: 외부 과업 조건부 사전 지식, 계층적 추상화, 유형화된 의존성 제거, 반사실적 검증을 통합한 4단계 진단 시스템입니다.
3. 실증적 검증: 세 가지 서로 다른 LLM 백본을 사용하여 Who&When 벤치마크(알고리즘 생성 및 수작업 제작 멀티 에이전트 시스템에서 추출한 184개의 실패한 실행 사례)에서 종합적인 평가를 수행했습니다.

결과

FALAT은 전문화된 귀속 베이스라인(CHIEF, AgentTracer) 및 단독 LLM을 이용한 직접 프롬프팅과 비교 평가되었습니다.

• 알고리즘 생성 궤적: FALAT은 단계 수준 정확도 46.0%(동일 백본의 CHIEF는 37.3%) 및 에이전트 수준 정확도 **68.0%**를 달성했습니다.
• 수작업 제작 궤적: FALAT은 단계 수준 정확도 29.1%(CHIEF는 17.0%) 및 에이전트 수준 정확도 **73.0%**를 달성했습니다.
• 단독 LLM과의 비교: Claude-Sonnet-4와 같은 대형 모델을 사용한 직접 프롬프팅조차 단계 수준 정확도가 현저히 낮게(수작업 과업에서 18.9%) 나타났으며, 이는 모델 규모 확장만으로는 신뢰할 수 있는 귀속이 불충분함을 입증합니다.
• 절제 연구(Ablation Studies): 계층적 표현을 제거했을 때 가장 큰 성능 저하(단계 수준 정확도 최대 -10.3%)가 발생했으며, 그 다음은 외부 사전 지식과 전이 유형화의 제거였습니다.

의의 및 주장

본 논문은 **의존성 인식 추론(dependency-aware reasoning)**이 LLM 에이전트 시스템의 신뢰할 수 있는 실패 진단을 위해 필수적이라고 주장합니다. 저자들은 실패 귀속을 독립적인 단계 분류로 취급하는 것이 궤적의 인과 구조를 무시하기 때문에 실패한다고 주장합니다. 문제를 유형화된 의존성과 반사실적 충분성에 의해 가이드되는 탐색으로 프레이밍함으로써, FALAT은 "근본 원인"과 "증상"을 효과적으로 분리합니다.

이러한 결과는 구조화된 탐색 절차가 단순히 모델 규모를 키우는 것 이상의 상당한 이점을 제공한다는 점을 시사합니다. 이 프레임워크는 단순히 오류가 보이는 단계를 찾는 것이 아니라, 결정적인 단계를 식별하는 데 특히 효과적이며, 자율적인 에이전트 시스템을 신뢰할 수 있고 디버깅 가능하게 만드는 데 있어 중요한 격차를 해소합니다. 저자들은 LLM 판단의 신뢰도에 대한 의존성 및 윈도우 경계 간의 매우 긴 범위 의존성을 포착하는 데 따르는 잠재적 어려움 등 한계를 언급하면서도, 제안된 접근 방식이 실패 귀속을 위한 견고한 토대를 제공한다고 강조합니다.