💬 NLP

Tracing Agentic Failure from the Flow of Success

이 논문은 성공적인 궤적 역학을 모델링하기 위해 신경 제어 미분 방정식(neural controlled differential equations)을 결합한 원 클래스 학습(one-class learning)을 사용하여, 기존의 프롬프트 기반 또는 지도 학습 방식보다 현저히 높은 속도와 정확도를 달면서 LLM 기반 에이전트 시스템의 오류 단계를 식별하는 경량 비지도 실패 원인 규명 모델인 OAT를 제안한다.

원저자: Samuel Yeh, Yiwen Zhu, Shaleen Deep, Sharon Li

게시일 2026-07-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Samuel Yeh, Yiwen Zhu, Shaleen Deep, Sharon Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 나무집을 지으려는 로봇 조수 팀을 지켜보고 있다고 상상해 보세요. 그들은 서로 대화를 나누고, 도구를 집어 들고, 나무의 치수를 잽니다. 그런데 갑자기 지붕이 무너집니다. 어떤 구체적인 동작이 재앙을 초래했을까요? 나무 치수를 재는 것을 잊어버린 걸까요? 잘못된 망치를 사용한 걸까요? 아니면 설계에 대해 너무 오래 논쟁한 걸까요?

이 단 하나의 잘못된 단계를 찾는 것은 천 개의 로봇 동작이라는 건더미 속에서 떨어진 바늘 하나를 찾는 것과 같습니다. 보통 이를 해결하기 위해 전문가들은 실패한 모든 시도 속에서 모든 실수를 일일이 수동으로 라벨링하여, 아주 똑똑한 AI(거대한 뇌와 같은)가 오류를 포착할 수 있도록 가르쳐야 합니다. 하지만 이는 느리고 비용이 많이 들며, 많은 인간의 노동력을 필요로 합니다.

논문의 핵심 아이디어: 성공으로부터 배우기
저자인 사무엘 예(Samuel Yeh)와 그의 팀은 이렇게 말합니다. "잠깐만요. 왜 우리는 실수를 찾기 위해 실패를 공부해야 하죠? 그냥 완벽한 나무집을 공부하면 안 될까요?"

그들은 OAT(One-class Agent Tracing)라고 불리는 새로운 방법을 제안합니다. AI에게 고장 난 로봇들의 라이브러리를 먹이고 무엇이 "틀린" 것인지 배우라고 요구하는 대신, 오직 성공적이고 완벽한 궤적만을 제공하는 것입니다. AI는 완벽한 작업을 수행할 때의 "리듬"이나 "흐름"을 배웁니다. 로봇이 모든 일이 제대로 풀릴 때 어떻게 움직이고, 생각하고, 행동해야 하는지를 배우는 것입니다.

마법 같은 기술: 보이지 않는 강
여기서부터 흥미진진해집니다. 팀은 로봇의 행동을 시간을 따라 흐르는 강처럼 취급합니다. 그들은 신경 제어 미분 방정식(Neural Controlled Differential Equations, Neural CDEs)이라는 수학적 도구를 사용합니다. 이것을 로봇이 가야 할 "이상적인 경로"를 그리는 매우 정밀한 지도라고 생각하면 됩니다.

로봇이 실패할 때, 그것은 마치 강물이 갑자기 바위에 부딪히거나 소용돌이치는 것과 같습니다. AI는 완벽하고 성공적인 강의 모습이 어떤 것인지 정확히 알고 있기 때문에, 물결이 어디서 거칠어지는지 즉각적으로 포착할 수 있습니다. AI는 모든 단계에 "이상함 점수"(anomaly score)를 부여합니다. 만약 어떤 단계가 완벽한 흐름과 너무 다르게 보인다면, AI는 그것을 범인으로 지목합니다.

그들이 제외한 것들
이 논문은 두 가지 일반적인 방식에 대해 명시적으로 반대 의견을 냅니다:

"거대한 뇌에게 물어보기" 방식: 거대하고 비싼 AI 모델(GPT-5와 같은)을 사용하여 전체 이야기를 읽고 실수를 추측하게 하는 방법입니다. 저자들은 이것이 너무 느리고 비용이 너무 많이 든다는 것을 보여줍니다.
"모든 것에 라벨링하기" 방식: 고장 난 로봇의 수천 가지 사례를 수집하고 모든 오류 단계를 수동으로 라벨링하려고 노력하는 방법입니다. 저자들은 이것이 규모를 키우기에 너무 어렵고 모호하다고 말합니다.

결과: 빠르고, 저렴하며, 놀라울 정도로 우수함
팀은 자신들의 아이디어를 실제 데이터로 테스트했습니다. 그들은 단 100개의 성공적인 로봇 여정으로 OAT를 훈련시켰습니다. 그런 다음, 한 번도 본 적 없는 고장 난 여정들을 던져주었습니다.

속도: OAT는 거대 AI 모델에게 물어보는 것보다 200배에서 5,000배 더 빠릅니다. 문제를 해결하기 위해 큰 모델과 대화할 필요가 없기 때문에 "토큰" 비용이 **제로(0)**입니다.
정확도: 단 100개의 완벽한 사례만 보았음에도 불구하고, OAT는 거대 AI 모델들을 이겼습니다. 유사한 작업 테스트에서 OAT는 오류를 찾아내는 데 있어 20% 더 뛰어난 성능을 보였습니다. 완전히 다른 까다로운 작업에서도 여전히 7% 더 나은 성과를 냈습니다.
"게이트키퍼(Gatekeeper)": 그들은 수학 모델에 특별한 "게이트"를 추가했습니다. 이 게이트는 시스템이 완전히 이상하고 새로운 방식(예: 다른 행성에서 온 로봇처럼)으로 행동하는 것을 볼 때 시스템이 침착함을 유지하도록 돕습니다. 이 게이트 덕분에 시스템은 혼란에 빠지지 않고 낯설고 생소한 상황을 훨씬 더 잘 처리할 수 있었습니다.

얼마나 확신하는가?
저자들은 여러 번의 무작위 시드(random seed)를 사용하여 테스트를 반복 수행했고 일관된 결과를 얻었기 때문에 이 수치들에 대해 매우 자신감이 있습니다. 그들은 표준 수학 점수(F1 점수 및 AUROC 등)를 사용하여 성능을 측정했으며, OAT가 경쟁 모델들을 지속적으로 능가한다는 것을 발견했습니다.

하지만 그들은 시스템이 훌륭하게 작동하지만 완벽하지는 않다는 점을 주의 깊게 언급합니다. 어떤 경우에는 아주 첫 번째 실수는 놓칠 수도 있지만, 오류가 명백해지는 단계는 잡아낼 수 있습니다. 그들은 몇 가지 조정을 거치면 더 좋아질 수 있다고 제안하지만, 현재로서는 성공으로부터 배우는 것이 실패를 진단하는 강력하고 실용적이며 빠른 방법임을 입증했습니다.

결론
무엇이 잘못되었는지 알아내기 위해 잔해를 연구하는 대신, OAT는 완벽한 건물의 청사진을 학습합니다. 무언가가 무너질 때, OAT는 어떤 벽돌이 잘못 놓였는지 즉각적으로 알아내며, 슈퍼컴퓨터 없이도 번개처럼 빠르게 해냅니다. 이것은 미래의 로봇을 디버깅하는 새롭고 효율적인 방법입니다.

기술 요약: 성공의 흐름으로부터 에이전트 실패 추적하기

문제 정의

본 논문은 LLM 기반 에이전트 시스템의 실패 귀인(failure attribution) 문제를 다룹니다. 이는 실패한 궤적(trajectory)에서 어떤 특정 단계가 시스템의 실패를 유발했는지 식로는 작업입니다. 기존 방식들은 다음 중 하나에 의존합니다:

프롬프트 기반 파이프라인: 프런티어 LLM을 사용하여 궤적을 분석하며, 이는 높은 토큰 비용과 지연 시간을 초래합니다.
지도 학습: 단계별 오류 주석이 달린 실패 궤적을 학습시키지만, 고품질의 모호하지 않은 단계별 레이블을 수집하는 것이 어려워 규모를 확장하기에 비용이 많이 듭니다.

저자들은 새로운 문제 설정인 **비지도 실패 귀인(Unsupervised Failure Attribution)**을 제안합니다. 목표는 오직 성공적인 궤적(정상 작동의 부산물로서 수집하기 용이함)만을 사용하여 모델을 학습시키고, 추론 시 단계별 감독 없이 실패 궤적 내의 오류 단계를 식별하는 것입니다.

방법론: OAT (One-class Agent Tracing)

저자들은 OAT를 제안하며, 이는 실패 귀인을 LLM의 잠재 표현 공간(latent representation space)에서의 one-class 학습 문제로 프레이밍하는 경량 모델입니다.

1. 잠재 표현 (Latent Representation)

궤적 $\tau = (Q, a_1, s_1, \dots, a_T)$ 에 대해, 각 단계 $t$ 는 에이전트가 행동 $a_t$ 를 생성할 때 추출된 LLM의 은닉 상태(hidden states)로부터 추출된 잠재 벡터 $h_t$ 로 표현됩니다. 쿼리 $Q$ 또한 $h_Q$ 로 표현됩니다.

2. Neural CDEs를 통한 연속적 궤적 모델링

단계를 이산적인 이벤트(RNN이나 Transformer와 같이)로 취급하는 대신, OAT는 궤적을 **연속적인 잠재 경로(continuous latent path)**로 모델링합니다.

Neural Controlled Differential Equations (Neural CDEs): 모델은 단계별 표현의 시퀀스를 기저에 깔린 연속 함수에 대한 불규칙하게 샘플링된 관측값으로 취급합니다. Neural CDE는 관측된 궤적 경로 $X(u)$ 에 따라 잠재 상태의 진화를 조건화함으로써 성공적인 궤적의 역학(dynamics)을 학습합니다.
게이트형 제어 경로 (Gated Control Path): 제어 신호(궤적의 미분값)가 가짜(spurious)일 수 있는 분포 외(OOD) 입력을 처리하기 위해, OAT는 게이팅 함수를 도입합니다. 이 함수는 훈련 분포에서 크게 벗어나는 제어 신호를 적응적으로 억제하여, 도메인 내 표현력을 희생하지 않으면서도 강건성을 향상시킵니다.

3. 이상 탐지 (Anomaly Detection)

실패 궤적이 주어졌을 때의 추론 과정:

모델은 학습된 성공적 궤적의 역학을 바탕으로 각 단계에 대한 예상 잠재 상태 $\hat{h}(u_t)$ 를 예측합니다.
이상 점수(anomaly score) $e_t$ 는 제곱 재구성 오차로 계산됩니다: $e_t = \|h'_t - \hat{h}(u_t)\|^2_2$ .
탐지 전략:
- Top-k: 이상 점수가 가장 높은 $k$ 개의 단계를 선택합니다.
- Conformal Prediction (CP): 성공적인 궤적의 교정 세트(calibration set)를 사용하여 거짓 양성률(false positive rate)을 제어하는 임계값 $\delta$ 를 설정하고, $e_t > \delta$ 인 단계를 플래그 처리합니다.

주요 기여

문제 공식화: 실패 데이터에 대한 비용이 많이 드는 단계별 주석 없이 성공적인 궤적만으로 학습하는 비지도 실패 귀인을 도입했습니다.
모델 아키텍처 (OAT): 에이전트 역학을 모델링하고 국소적 편차를 탐지하기 위해 Neural CDEs와 새로운 게이트형 제어 경로를 사용하는 연속 시간 one-class 학습 방식을 제안했습니다.
실험적 검증: OAT가 인도메인(in-domain) 및 분포 외(OOD) 설정 모두에서 프롬프트 기반 베이스라인(GPT-4o 및 GPT-5 포함)보다 우수한 성능을 보임을 입증했으며, 훨씬 더 빠르고 저렴합니다.

실험 결과

모델은 MCP-Atlas 데이터셋의 100개 성공 궤적으로 학습되었으며, MCP-Atlas(인도메인) 및 Who&When(OOD)의 실패 궤적에 대해 평가되었습니다.

성능:
- 인도메인 (MCP-Atlas): OAT는 프롬프트 기반 베이스라인보다 F1 점수에서 +20%, AUPRC에서 +10% 높은 성능을 보였습니다.
- 분포 외 (Who&When): 훈련 데이터셋과 테스트 데이터셋 간의 상당한 구조적/모델 차이에도 불구하고, OAT는 베이스라인보다 F1 점수에서 +7%, AUPRC에서 +5% 높은 성능을 기록했습니다.
효율성:
- OAT는 추론 시 토큰 비용이 발생하지 않습니다.
- 프롬프트 기반 접근 방식보다 200~5000배 더 빠릅니다 (지연 시간 약 7ms vs 약 4000ms+).
- 1GB 미만의 VRAM에서 배포 가능합니다.
절제 연구 (Ablation Studies):
- Neural CDE vs. ODE: CDE가 Neural ODE보다 성능이 월등히 높았으며, 이는 관측된 궤적 단계에 조건화하는 것의 중요성을 확인시켜 줍니다.
- 게이팅 (Gating): 게이트형 제어 경로는 인도메인 성능의 미미한 트레이드오프와 함께 OOD 성능을 크게 향상시켰습니다 (+0.172 AUROC).
- 레이어 선택: LLM의 후기 레이어 표현이 초기 레이어보다 이상 탐지를 위한 더 강력한 신호를 제공했습니다.

의의 및 주장

본 논문은 OAT가 에이전트 시스템의 실패를 진단하는 실용적이고 효율적이며 효과적인 방향을 제공한다고 주장합니다. 감독된 실패 학습에서 비지도 성공 학습으로 전환함으로써, 접근 방식은 주석 생성의 병목 현상을 제거합니다. 저자들은 이 방법이 실시간 실패 귀인을 처음으로 실용화하여, 모든 진단 쿼리에 대해 막대한 비용이 드는 프런티어 LLM을 실행하지 않고도 고위험 환경(예: 코딩, 과학 연구)에 진단 도구를 배포할 수 있게 한다고 강조합니다. 이 연구는 "성공의 흐름"이 "실패의 흐름"을 식별하고 국지화하기 위한 충분한 신호를 담고 있음을 시사합니다.