Evaluating Tool-Using Language Agents: Judge Reliability, Propagation Cascades, and Runtime Mitigation in AgentProp-Bench

1. 연구 배경 및 문제 제기 (Problem)

• 도구 사용 LLM 에이전트의 평가 신뢰성 부재: 도구 (API) 를 사용하는 대규모 언어 모델 (LLM) 에이전트의 자동화된 평가는 일반적으로 신뢰할 수 있다고 가정되지만, 인간 주석 (Human Annotation) 과의 비교 검증은 거의 이루어지지 않았습니다.
• 기존 벤치마크의 한계:
  • 단일 점수 의존: $\tau$-bench, AgentBench 등 기존 벤치마크는 전체 파이프라인의 최종 정답 여부 (End-to-end correctness) 만 보고하며, 오류가 발생한 구체적인 단계나 오류 전파 과정을 파악하지 못합니다.
  • 부정확한 평가 방법: 대부분의 벤치마크는 '부분 문자열 매칭 (Substring match)'이나 키워드 일치와 같은 휴리스틱을 사용하여 정답을 판단합니다. 정보 검색 (IR) 분야 연구에 따르면, 이러한 휴리스틱 평가는 LLM 평가자나 인간 평가자와 크게 불일치할 수 있습니다.
• 오류 전파의 불명확성: 에이전트가 매개변수 오류를 생성하거나 도구 오류를 무시할 때, 이러한 오류가 최종 답변에 어떻게 전파되는지에 대한 체계적인 측정이 부족합니다.

2. 제안된 방법론 및 데이터셋 (Methodology & Dataset)

저자는 AgentProp-Bench라는 새로운 벤치마크와 평가 방법론을 제안합니다.

• 데이터셋 구성:
  • 규모: 4 개 도메인 (캘린더, 날씨, 의료, 지식) 에서 2,000 개의 작업 (Task) 과 2,300 개의 실행 흔적 (Traces).
  • 모델: 9 개의 생산 환경 LLM (GPT-4o, GPT-4o-mini, Gemini-2.0/2.5, DeepSeek-V3 등) 을 평가.
  • 인간 검증: 100 개의 계층화 표본에 대한 인간 주석 데이터를 수집하여 평가자의 신뢰성을 검증하는 데 사용.
• 오류 주입 프로토콜 (P2 Semantic-Wrong Injection):
  • 에이전트의 첫 번째 도구 호출 전에, 의미적으로 중요하지만 스키마는 유효한 잘못된 매개변수 (예: 런던 대신 맨체스터) 를 의도적으로 주입합니다.
  • 이를 통해 오류가 도구 실행 단계에서 어떻게 감지되거나, 최종 답변으로 전파되는지 인과적으로 측정합니다.
• 평가자 (Judge) 프로토콜:
  • 휴리스틱: 참조 답변의 부분 문자열이 포함된 경우 정답으로 간주.
  • 3-LLM 앙상블: GPT-4o, Gemini-2.5-Flash, GPT-4o-mini 세 모델의 다수결 투표.
  • 인간 주석: 인간 평가자가 핵심 사실의 정확성을 기준으로 평가.
• 단계별 전파 지표 (Stage-level Propagation Metrics):
  • S1: 주입된 오류가 적용됨 (매개변수 생성 단계).
  • S2: 수정된 호출이 실행되어 관찰 가능한 영향 (에러 메시지 등) 을 미침.
  • S3: 최종 답변이 틀림.
  • 이 세 지표를 독립적으로 계산하여 오류 전파 확률을 측정합니다.
• 런타임 인터셉터 (Runtime Interceptor):
  • 에이전트와 병렬로 실행되는 3 계층 감시 시스템 (스키마 유효성 검사, 사고 과정 키워드 모니터링, 출력 일관성 검사) 을 구현하여 할루시네이션을 실시간으로 탐지 및 차단합니다.

3. 주요 기여 (Key Contributions)

1. 평가자 신뢰성 검증: 부분 문자열 매칭은 인간 평가와 우연 수준 ($\kappa=0.049$) 의 일치도만 보이지만, 3-LLM 앙상블은 중간 수준의 일치도 ($\kappa=0.432$) 를 보이며 인간 평가의 더 나은 대안이 됨을 입증했습니다.
2. 검증된 평가 하의 오류 전파 측정: 검증된 평가자 하에서 매개변수 수준의 오류가 최종 잘못된 답변으로 전파될 확률은 인간 보정 기준 약 0.62(모델별 0.46~0.73)임을 규명했습니다.
3. 거부 (Rejection) 와 복구 (Recovery) 의 독립성: 모델이 잘못된 매개변수를 거부하는 능력 (Rejection) 과 잘못된 입력을 받아도 올바른 답을 도출하는 능력 (Recovery) 은 통계적으로 독립적임을 발견했습니다 (Spearman $\rho=0.126, p=0.747$).
4. 동시 제어 하의 런타임 완화: GPT-4o-mini 에서 인터셉터가 할루시네이션을 23.0%p 감소시켰으나, 오류를 초기에 대부분 차단하는 Gemini-2.0-Flash 에서는 효과가 없음을 보여주었습니다.
5. 오픈 벤치마크 공개: 모든 데이터, 코드, 인간 라벨을 공개하여 재현 가능한 에이전트 평가 연구를 지원합니다.

4. 주요 결과 (Key Results)

4.1 평가자 신뢰성 (Judge Reliability)

• 휴리스틱의 실패: 휴리스틱 평가는 인간 평가와 일치도가 $\kappa=0.049$로 통계적으로 우연 수준입니다.
• 앙상블의 우위: 3-LLM 앙상블은 $\kappa=0.432$로 '중등도 (Moderate)' 일치도를 보였으나, 인간이 정답으로 판단한 것 중 25% 만을 정답으로 인정하는 **보수적 편향 (Conservative Bias)**이 있음을 발견했습니다.

4.2 오류 전파 (Error Propagation)

• 전파 확률: 오류가 도구 실행 단계 (S2) 에 도달했을 때, 최종 답변 (S3) 이 틀릴 확률은 앙상블 기준 0.78 이었으나, 인간 보정 후 약 0.62로 조정되었습니다.
• 모델별 차이: DeepSeek-V3 는 전파율이 낮았으나 (0.43), GPT-4.1-nano 는 매우 높았습니다 (0.97).

4.3 거부와 복구의 독립성

• 2 차원적 강건성: 모델의 강건성은 단일 축이 아니라 두 개의 직교하는 축 (거부 vs 복구) 으로 구성됩니다.
  • Gemini-2.0-Flash: 높은 거부율 (95%) 이지만 낮은 복구율 (50%).
  • GPT-4.1-nano: 낮은 거부율 (37.5%) 이며 일단 오류가 통과되면 거의 복구하지 못함 (2.9%).
• 시사점: 스키마 유효성 검사를 개선하는 것만으로는 에이전트의 추론 능력을 개선할 수 없으며, 두 능력을 독립적으로 평가하고 개선해야 합니다.

4.4 런타임 인터셉터 효과

• GPT-4o-mini: 인터셉터 활성화 시 할루시네이션이 55.8% 에서 32.8% 로 23.0%p 감소 ($p < 0.001$).
• Gemini-2.0-Flash: 인터셉터의 효과가 통계적으로 유의하지 않음 (44.5% vs 43.2%). 이는 이 모델이 이미 매개변수 단계에서 오류를 대부분 차단하기 때문에 인터셉터가 잡을 오류가 없기 때문입니다.

5. 의의 및 결론 (Significance & Conclusion)

• 평가 방법론의 전환: 에이전트 벤치마크에서 부분 문자열 매칭과 같은 휴리스틱 평가는 신뢰할 수 없으며, 인간 검증된 LLM 앙상블 평가가 필수적입니다.
• 모델 설계에 대한 통찰: 에이전트의 신뢰성은 '입력 필터링 (거부)'과 '출력 추론 (복구)'이라는 두 가지 독립적인 차원에서 접근해야 합니다.
• 실용적 완화 전략: 런타임 인터셉터는 모델에 따라 효과가 달라지므로, 모델의 거부 능력을 먼저 분석한 후 배포 전략을 수립해야 합니다.
• IR 및 IS 분야 영향: 정보 검색 및 정보 과학 분야에서 LLM 을 활용한 관련성 평가 시에도 동일한 검증 절차 (휴리스틱 배제, 인간 검증, 편향 보정) 가 적용되어야 함을 시사합니다.

이 논문은 에이전트 평가의 신뢰성을 높이고, 오류 전파 메커니즘을 정량화하며, 효과적인 런타임 완화 전략을 제시함으로써 도구 사용 LLM 에이전트 연구의 중요한 이정표가 됩니다.