StepFinder: A Temporal Semantic Framework for Failure Attribution in Multi-Agent Systems

기술 요약: StepFinder

문제 정의

대규모 언어 모델(LLM) 기반의 멀티 에이전트 시스템(MAS)은 역할 전문화와 적응형 통신을 통해 복잡한 다단계 작업에서 강력한 능력을 입증해 왔다. 그러나 이러한 시스템은 실질적인 실패율이 대표적인 벤치마크에서 41%에서 86.7%에 달할 정도로 상당한 취약성을 보인다. 이러한 실패는 주로 에이전트 수준의 미세한 일탈이 상호작용을 통해 전파되어 발생하는 시스템 수준의 연쇄 실패에서 기인한다.

본 연구가 다루는 핵심 과제는 **실패 귀인(Failure Attribution)**이다. 이는 실패한 실행 궤적 내에서 특정 "근본 원인 단계(root cause step, 가장 이른 오류 단계)"를 자동으로 식별하는 작업이다. 기존 방식들은 근본적인 트레이드오프에 직면해 있다:

1. 수동 진단: 노동 집약적이고 주관적이며, 확장하기 어렵다.
2. LLM 기반 자동 진단: 유망하긴 하지만, 원래의 실행 궤적을 바탕으로 추론하는 방식에 의존한다. 이는 높은 추론 비용과 상당한 지연 시간을 초발하며, 중복되고 노이즈가 많은 로그로 인한 간섭을 겪게 되어 실제 근본 원인을 정확히 짚어내는 데 어려움을 겪는 경우가 많다.

방법론: StepFinder

저자들은 실패 귀인을 LLM의 추론 부담을 특화된 딥러닝 아키텍처로 전환하여 구조화된 시계열 모델링 문제로 재정의하도록 설계된 경량 템포럴 세맨틱 프레임워크인 StepFinder를 제안한다. 이 프레임워크는 세 가지 통합된 단계로 작동한다.

1. 궤적 인코딩 (특징 구축)

StepFinder는 원시 로그를 LLM에 입력하여 추론하는 대신, 인코딩 단계에서만 LLM을 사용하여 실행 로그를 밀집된 시계열 세맨틱 시퀀스로 변환한다.

• 입력: 궤적 내의 각 단계 $t$는 실행 내용 $c_t$와 에이전트 정체성 $r_t$로 구성된다.
• 과정: 사전 학습된 임베딩 모델(Qwen3 Embedding)이 $c_t$와 $r_t$를 밀집 벡터로 인코딩한다.
• 출력: 궤적은 특징 행렬(내용 및 에이전트 임베딩)의 병렬 쌍으로 표현되며, 이는 시계열 세맨틱 시퀀스 $X = (C, R)$을 형성한다.

2. 모델 아키텍처

핵심 아키텍처는 순차적 진화와 단계 간 의존성을 포착하기 위해 시계열 모델링과 에이전트 인지 상호작용을 결리한다.

• 시계열 특징 추출: BiLSTM(양방향 LSTM)이 내용 임베딩을 처리하여 양방향 인과 논리를 포착한다. 이를 통해 모델은 국소적으로는 타당해 보이지만 전역적 실패를 초래할 수 있는 단계를 식별할 수 있으며, 과거의 맥락과 미래 상태의 함의를 모두 활용한다.
• 에이전트 인지 단계 상호작용: 멀티 에이전트 시나리오에서의 체인 기반 전파 한계를 해결하기 위해 글로벌 어텐션(Global Attention) 메커니즘이 사용된다.
  • 에이전트 인지 편향(Agent-Aware Bias): 에이전트 임베딩의 코사인 유사도를 기반으로 한 편향 행렬을 어텐션 점수에 추가하여, 모델이 동일한 에이전트가 포함된 행동 체인에 우선순위를 두도록 한다.
  • 에이전트 인지 게이팅(Agent-Aware Gating): 게이팅 메커니즘은 에이전트 임베딩의 글로벌 평균을 사용하여 단계 특징을 조절함으로써, 모델이 특정 에이전트의 행동 체인에 집중할 수 있도록 한다.
• 단계별 오류 점수 산출: 각 단계에 대한 초기 오류 점수를 계산하고 다음 두 가지 메커니즘을 통해 정교화한다:
  • 다중 스케일 차분(Multi-Scale Differencing): 급격한 이상 징후와 누적된 이상 징후를 모두 포착하기 위해 다양한 스케일(국소적 vs 장기적)에서 시계열 차분 강도를 계산한다.
  • 위치 편향(Position Bias): 근본 원인은 흔히 초기 결정에서 발생한다는 관찰을 반영하여, 초기 단계를 선호하는 구조적 사전 확률을 도입한다.

3. 손실 함수

모델은 다음과 같은 결합 목적 함수를 사용하여 학습된다:

• 분류 손실 (지도 학습): 예측된 오류 점수와 정답 근본 원인 단계 사이의 차이를 최소화하기 위한 교차 엔트로피 손실(Cross-entropy loss).
• 시계열 일관성 손실 (자기 지도 학습): 현재 단계를 바탕으로 다음 단계의 은닉 상태를 예측하는 보조 손실이다. 이는 모델이 일관된 시계열 진화 패턴을 학습하도록 유도하여, 일시적인 노이즈와 실제 논리적 결함을 구분하는 데 도움을 준다.

주요 기여

1. 과제의 재정의: 저자들은 MAS 실패 귀인을 LLM 추론 작업에서 구조화된 시계열 모델링 문제로 재구성하여, 효율성과 정밀도를 위해 딥러닝을 활용한다.
2. StepFinder 프레임워크: 로그를 세맨틱 시퀀스로 인코딩하고, 시계열 모델링(BiLSTM)과 에이전트 인지 어텐션의 하이브리드를 사용하여 각 단계에 명시적인 오류 점수를 할당하는 경량 아키텍처를 제공한다.
3. 새로운 메커니즘: 변동 이상을 탐지하기 위한 다중 스케일 차분과 초기 단계 오류를 우선시하는 위치 편향, 그리고 학습을 안정화하기 위한 시계열 일관성 보조 작업의 통합을 구현했다.

실험 결과

저자들은 Who&When 벤치마크에서 StepFinder를 무작위 베이스라인, 다양한 LLM 기반 전략(All-at-Once, Step-by-Step, Binary Search), 그리고 순차 모델(BiGRU, TCN, Transformer)과 비교 평가하였다.

• 귀인 정밀도: StepFinder는 알고리즘 생성(Alg) 및 수작업 제작(HC) 서브셋 모두에서 가장 높은 정확도를 달ien했다.
  • Alg 서브셋에서 가장 강력한 베이스라인보다 정확도를 4.76% 향상시켰다.
  • HC 서브셋에서 가장 강력한 베이스라인보다 정확도를 10.35% 향상시켰다.
  • LLM 기반 방식들을 크게 압도하였으며, 가장 우수한 LLM 베이스라인(Ground Truth를 사용한 Step-by-Step)보다 Alg 서브셋에서 9.52% 더 높은 성능을 보였다.
• 랭킹 품질: StepFinder는 Acc@K 및 MRR@3에서 우수한 성능을 보여, 단순히 올바른 단계를 식별할 뿐만 아니라 후보들 사이에서 높은 순위를 차지함을 입증했다.
• 효율성: StepFinder는 가장 빠른 LLM 기반 방식과 비교하여 추론 시간을 79% 단축했다.
  • Alg 서브셋: 추론 시간을 2.92초(All-at-Once LLM)에서 0.61초로 단축했다.
  • 토큰 사용량: 텍스트 생성이 아닌 표현 기반 점수 산출 방식에 의존하므로 출력 토큰이 발생하지 않는다(zero output tokens).

의의 및 주장

본 논문은 StepFinder가 세맨틱 추출과 진단 로직을 분리함으로써 기존 실패 귀인 방식의 결정적인 한계를 해결한다고 주장한다. 파라미터 효율적인 딥러닝 아키텍처에 무거운 추론 부담을 위임함으로써, StepFinder는 다음을 달성한다:

• 높은 정밀도: 수동 방식 및 LLM 기반 방식보다 뛰어난 근본 원인 국소화 성능을 보여준다.
• 운영 효율성: 추론 지연 시간과 계산 비용을 획기적으로 줄여, 대규모 멀티 에이전트 궤적 분석을 가능하게 한다.
• 강건성: LLM이 컨텍스트 길이와 중복성으로 인해 어려움을 겪는 노이즈가 많고 긴 호흡의 실행 로그를 처리할 수 있는 능력을 갖춘다.

저자들은 이 접근 방식이 복잡한 멀티 에이전트 시스템의 실패를 진단하기 위한 확장 가능하고 신뢰할 수 있는 솔루션을 제공하며, 계산 비용이 매우 높은 "LLM-as-Judge" 패러다임에 대한 실질적인 대안을 제시한다고 결론짓는다.