기술 요약: AgentForesight

1. 문제 정의

본 논문은 대규모 언어 모델 (LLM) 기반 다중 에이전트 시스템의 치명적인 신뢰성 병목 현상인'연쇄 실패 (cascading failure)'현상을 다룹니다. 장기 과제에서 단일 결정적 오류 (예: 잘못된 도구 호출 또는 결함 있는 추론) 가 종종 하위 에이전트에 의해 수용되어 궤적을 따라 전파되며, 최종 결과를 구할 수 없게 만듭니다.

기존 접근 방식은 이를**사후 실패 귀속 (post-hoc failure attribution)**으로 규정합니다. 즉, 모델이 궤적이 완료되고 실패한 후에야 책임 있는 에이전트와 단계를 진단합니다. 저자들은 이러한 패러다임이 개입의 기회를 상실한다고 주장합니다. 실패가 사후적으로 진단되면, 하위 에이전트들은 이미 자원을 소모했고 잠재적으로 되돌릴 수 없는 부작용을 촉발했을 수 있습니다.

본 논문은 이 문제를**온라인 감사 (Online Auditing)로 재정의합니다. 이 설정에서 전용 감사는 unfolding 궤적의 현재 접두사 (미래 단계, 도구 응답, 또는 최종 결과에 대한 접근 없이) 만 관찰하며, 모든 단계에서계속 또는 경보 (continue-or-alarm)**판단을 내리도록 해야 합니다. 감사는 다음을 수행해야 합니다:

1. 여전히 안전한 접두사와 결정적 오류를 통과한 접두사를 신뢰성 있게 구분합니다.
2. 사후가 아니라 오류가 발생하는 정확한 단계에서 경보를 내립니다.

2. 방법론

저자들은 AFTRAJ-2K라는 정제된 데이터셋과 coarse-to-fine 훈련 레시피로 구성된 AgentForesight프레임워크를 제안합니다.

A. 데이터셋: AFTRAJ-2K

온라인 감사를 지원하기 위해 저자들은 코딩, 수학, 에이전트 도메인에 걸친 약 2,300 개의 에이전트 궤적으로 구성된 AFTRAJ-2K코퍼스를 구축했습니다. 완료된 실패만 라벨링한 이전 데이터셋과 달리, AFTRAJ-2K 는 안전하고 안전하지 않은 궤적 모두에 대해 단계별 감독을 제공합니다:

• 검증된 안전 궤적 ($D_{safe}$): 성공적인 실행은 결과 동등성, 도구 무결성, 일관성 검사를 포함한 엄격한 파이프라인을 통해 필터링되어 감사를 오도할 수 있는'침묵'중간 오류가 없음을 보장합니다.
• 실패 궤적 ($D_{unsafe}$): 두 가지 스트림을 통해 구성됩니다:
  • 구성적 스트림: 검증된 안전 궤적에 제어된 결정적 오류를 주입 (예: 도구 호출 또는 판단 재작성) 하여 알려진 실제 오류 단계를 가진 반사실적 실패를 생성합니다.
  • 진단적 스트림: 결정적 단계가 알려지지 않은 자연 발생 실패 궤적입니다. 이러한 궤적은 여러 LLM 판정관 (judge) 을 사용한'제안 및 검증'앙상블을 통해 초기 결정적 오류 단계와 책임 있는 에이전트에 대한 합의를 도출함으로써 주석 처리됩니다.

B. 모델: AgentForesight-7B

저자들은 coarse-to-fine 강화 학습 (RL) 레시피를 사용하여 (Qwen2.5-7B-Instruct 기반) 소형 온라인 감사를 훈련합니다:

• 1 단계: 실패 경계 정렬 (BPPO):
  모델은 안전하고 안전하지 않은 접두사 사이의 날카로운 전환을 인식하도록 훈련됩니다.**경계 쌍 선호도 최적화 (Boundary-Pair Preference Optimization, BPPO)**를 사용하여 모델은 결정적 오류 직전의 접두사에 대해서는 CONTINUE를, 오류를 포함한 접두사에 대해서는 ALARM을 출력하도록 학습합니다. 이는 실패 경계에서'위험 예측 사전 (risk-anticipation prior)'을 확립합니다.
• 2 단계: 3 축 판단 정교화 (GRPO):
  모델은 세 가지 축을 목표로 하는 복합 보상 함수를 사용한 **그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO)**를 통해 추가로 정제됩니다:
  • 무엇 (구조): 출력이 엄격한 JSON 스키마 (판단, 단계, 에이전트, 이유) 를 따르도록 보장합니다.
  • 어디 (타이밍): 실제 값 (ground truth) 을 중심으로 한 가우시안 보상을 사용하여 결정적 단계의 정확한 위치를 보상합니다.
  • 누구 (귀속): 올바른 책임 있는 에이전트를 식별하는 것을 보상합니다.
    이 단계는 위험 예측 사전이 정밀한 단계별 위치 파악으로 정교화되도록 합니다.

3. 주요 기여

1. 온라인 감사 패러다임: 본 논문은 실패 분석을 사후 진단에서 능동적인 단계별 개입으로 전환하는 배포 시간 재정의로서 온라인 감사를 도입합니다.
2. AFTRAJ-2K: 안전하고 안전하지 않은 궤적 모두에 대한 최초의 단계별 실제 값을 제공하는 정제된 데이터셋으로, 다중 판정관 합의를 통해 결정적 오류 단계와 책임 있는 에이전트에 주석이 달려 있습니다.
3. AgentForesight-7B: 접두사 제한 설정에서 훨씬 더 큰 독점 모델보다 훨씬 우수한 성능을 보이는 2 단계 RL 레시피로 훈련된 소형 온라인 감사입니다.
4. 실증적 검증: coarse-to-fine 접근 방식이 실패 전파가 고정되기 전에 개입할 수 있는 모델을 산출한다는 것을 보여주는 광범위한 평가.

4. 실험 결과

저자들은 홀드아웃 AFTRAJ-2K 분할과 외부 Who&When벤치마크에서 AgentForesight-7B 를 평가했습니다.

• AFTRAJ-2K 성능: AgentForesight-7B 는 정확한 단계 F1 점수 66.44를 달성하여 가장 강력한 독점 베이스라인 (DeepSeek-V4-Pro) 보다 +19.9% (46.56) 더 높은 성능을 보였습니다. 또한 절대 단계 이동 (위치 파악 오류) 을 3 배 줄였습니다 (0.59 대 1.77).
• 일반화: 외부 Who&When 벤치마크에서 AgentForesight-7B 는 57.69% 단계 정확도와 73.08% 에이전트 정확도를 달성하여 단계 정확도에서 GPT-4.1 보다 약 19.6 포인트를 상회했습니다.
• 배포 트레이드오프: 이 모델은 거짓 경보율 ≤ 20%, 단계 정확도 ≥ 50%인'배포 가능 영역'내에서 작동하는 반면, DeepSeek-V4-Pro 와 같은 더 강력한 독점 베이스라인은 높은 거짓 경보율로 인해 이 영역 밖으로 벗어났습니다.
• 애블레이션: 2 단계 레시피가 필수적이었습니다; 1 단계만으로도 F1 이 21.1 에서 35.6 으로 향상되었고, 2 단계만으로도 50.4 에 도달했지만, 특히 복잡한 에이전트 도메인에서 최종 66.44 점 달성을 위해서는 조합이 필요했습니다.

5. 중요성과 주장

본 논문은 AgentForesight 가 사후 실패 탐지에서 배포 시간 개입으로의 루프를 연다고 주장합니다. 실패 분석을 온라인 감사 작업으로 취급함으로써, 이 프레임워크는 시스템이 결정적 오류가 드러나는 순간 실행을 중단하여 전체 궤적 실패로 이어지는 오류 연쇄를 방지할 수 있게 합니다.

저자들은 그들의 성과가 단순히 모델 크기를 확장한 것이 아니라 온라인 설정에 맞춘 전문적인 훈련 레시피와 데이터셋에서 비롯된다고 강조합니다. 그들은 사후 귀속 모델 (AgentDebug-7B) 을 직접 재사용하는 것조차 온라인 프로토콜 하에서는 실패한다고 지적하며, 문제의 고유한 특성을 부각시킵니다. 이 작업은 외부 감사를 다중 에이전트 시스템과 독립적으로 업데이트할 수 있는 모듈식 전문 보호 장치로 위치시켜, 더 신뢰할 수 있고 런타임 안전한 에이전트 배포를 향한 길을 제시합니다.