When Does Cross-Agent Peer Verification Detect Unfaithful Self- Reports? An Empirical Study of Real LLM Tool-Use Agent Trajectories

기술 요약: 교차 에이전트 동료 검증은 언제 불충실한 자기 보고를 탐지할 수 있는가?

문제 정의
자율형 대규모 언어 모델(LLM) 에이전트는 점점 더 중대한 도구 호출(예: 주문 취소, 항공편 재예약)을 실행하고, 이후 그 결과를 자연어로 사용자에게 보고한다. 많은 배포된 시스템에서 완전한 암호화 인프라나 인프라 수준의 로깅이 부재한 경우가 많으며, 이로 인해 에이전트의 자기 보고가 실행의 주요 기록이 된다. 본 연구가 다루는 핵심 문제는 교차 에이전트 동료 검증(여러 에이전트가 동일한 과업을 시도하고 그들의 자기 보고를 집계하여 신뢰성을 추론하는 메커니즘)이, 에이전트의 자기 보고가 검증된 실제 지면 진실(ground truth)에 불충실할 때 이를 효과적으로 탐지할 수 있는지 여부이다.

본 연구는 특히 동료 검증이 공유된 관찰(동일한 고정된 사건을 목격하는 동료들) 하에 다중 에이전트 시스템에서 수십 년간 유효했던 방식이, LLM의 추론 및 도구 상호작용의 확률적 특성으로 인해 여러 에이전트가 동일한 명목상의 과업을 시도하지만 서로 다른 결과를 생성하는 독립적 확률 실행(independent stochastic execution) 설정으로 전이될 수 있는지를 조사한다.

방법론
본 연구는 두 가지 도메인(소매 및 항공)과 두 가지 프로덕션 모델(GPT-4o 및 Claude-3.5-Sonnet)에 걸친 tau-bench 벤치마크의 1,980개 실제 에이전트 궤적을 활용한다.

• 지면 진 진실 검증: 성공 여부는 에이전트의 자연어 출력과는 독립적으로, 최종 데이터베이스 상태를 주석 처리된 지면 진실 목표 상태와 자동 비교하여 결정된다.
• 자기 보고 추출: 투명한 규칙 기반 분류기(성공/실패 키워드를 사용하는 정규 표현식 활용)를 사용하여 에이전트의 최종 자연어 메시지를 추출하고, 이를 성공(1.0), 실패(0.0), 또는 모호함(0.5)으로 분류한다. 이 분류기는 152개의 무작위 샘플링된 실제 메시지에 대해 검증되었으며(일치도 88.2%, 코헨의 $\kappa$ = 0.812), 엣지 케이스를 구축하였다.
• 동료 집계: 본 연구는 엄격한 leave-one-episode-out 프로토콜을 채택한다. 홀드아웃 시험(held-out trial)의 경우, 동일한 과업에 대한 다른 모든 시험의 자기 보고를 집계하여 예측을 생성한다. 네 가지 집계 함수가 테스트된다:
  1. 단순 평균 (Simple mean)
  2. 절단 평균 (Trimmed mean, 20%)
  3. 좌표별 중앙값 (Coordinate-wise median)
  4. 평판 가중 집계 (Reputation-weighted aggregation, 모델별 과거 자기 보고/보상 일치도에 따라 보정됨).
• 통계 분석: 결과는 95% Wilson score 신뢰 구간, 과업 클러스터링 부트스트랩 리샘플링(과업 내 상관관계를 고려하기 위함), 그리고 다중 비교를 위한 Holm–Bonferroni 교정을 적용한 정확한 McNemar 테스트를 사용하여 평가된다.

주요 결과

1. 불충실함의 유병률: 자기 보고된 성공 주장이 검증된 지면 진실에 불충실한 경우는 궤적의 13.8%에서 31.5% 사이이다. 허위 성공(과업이 실패했음에도 성공이라고 주장하는 것)이 허위 실패보다 일관되게 더 많이 나타난다.
2. 동료 집계의 실패: 공유된 관찰 도메인에서의 결과와 달리, 교차 에이전트 동료 집계는 단일 에이전트의 자기 보고를 신뢰하는 것보다 성능이 뛰어나지 않다.
   • 단독 자기 보고 정확도: 56.5% [95% CI 54.3, 58.7].
   • 동료 집계 정확도: 단순 평균 52.1%; 평판 가중 51.7%; 절단 평균 54.4%; 중앙값 55.6%.
   • 단순 평균 및 평판 가중 집계보다 단독 자기 보고의 우월성은 통합 모델 및 동일 모델 전용 동료 그룹 모두에서 통계적으로 유의미하다 ($p < 0.05$, Holm–Bonferroni 교정 후).
3. 메커니즘적 설명: 동료 집계의 실패는 구조적 경계 조건에 기인한다. Tau-bench 시험은 단일 고정된 사건에 대한 다중 관찰이 아니라 독립적 확률 실행이다. 결과적으로, 동료의 자기 보고는 홀드아웃 시험의 구체적인 결과보다는 과업 난이도에 대한 정보를 주로 전달한다.
4. 대안적 보정 전략: 직접적인 투표는 실패하지만, 본 연구는 동료 과업 난이도 보정 전략을 제안한다. 집계된 동료 성공률(특히 오라클 지면 진실 비율)을 사전 확률로 사용하면 자기 보고된 성공을 사분위수로 계층화할 수 있다. 이는 단조 관계를 드러낸다: 동료들이 역사적으로 실패하는 과업에서의 자기 보고된 성공은 동료들이 성공하는 과로에서의 성공보다 허위 양성(false positive)일 가능성이 훨씬 높다 (최저 사분위수에서 80.8%의 허위 양성률 vs 최고 사분위수에서 6.1%). 그러나 동료의 자기 보고(지면 진실이 아닌)를 신호로 사용할 경우, 차별적 변별력은 훨씬 약하지만 여전히 존재한다.
5. 도메인 일반화 파일럿: $\tau^2$-bench의 텔레콤 도메인에서 추출한 43개 궤적(GPT-4o 사용)에 대한 파일럿 연구는 방향적으로 일치하는 결과를 보였다: 단독 자기 보고(정상 종료 시험에서 100% 정확도)가 동료 집계(88.6%)보다 우수했다. 다만 표본 크기가 통계적 유의성을 확보하기에는 불충실했다. 이 파일럿 연구는 또한 텔레콤 특유의 문구에 대한 키워드 기반 분류기의 재현율(recall) 한계를 강조했다.

의의 및 주장
본 논문은 다중 에이전트 시스템에서 동료 기반 신뢰 및 평판 메커니즘의 적용 가능성에 대한 구조적 경계 조건을 식별했다고 주장한다.

• 전이성 한계: 정통적인 평판 가중 집계를 포함한 동료 기반 검증 메커니즘은 공유된 관찰 도메인에서 독립적 실행 에이전트 설정으로 전이되지 않는다. 동료들이 공유된 지면 진실 사건을 관찰한다는 가정은 확률적 도구 사용 환경에서 위배된다.
• 상관 오류와의 구별: 이러한 실패 모드는 다중 에이전트 토론 문헌에서 기록된 "상관 오류(correlated errors)" 실패 모드와 구별된다. 상관 오류에서 에이전트들은 고정된 질문을 공유하지만 유사한 실수를 저지르는 반면, 본 연구에서 에이전트들은 결과 자체가 변하는 독립적 확률 실행에 직면한다.
• 실무적 함의: 암호화 인프라가 없는 상황에서, 독립적 실행 설정에서 에이전트의 자기 보고를 검증하기 위해 동료 투표에 의존하는 것은 에이전트 자신의 보고를 신뢰하는 것보다 정확도를 높이는 데 유효한 전략이 아니다. 대신, 동료 정보는 직접적인 검증 메커니즘이라기보다 신뢰도를 보정하기 위한 거친 **과업 난이도 사전 확률(prior)**로서만 기능할 수 있다.

본 연구는 이러한 발견이 인위적인 적대적 섭동(adversarial perturbations)이 없는 실제 프로덕션 모델 데이터를 기반으로 하며, 현대 LLM 에이전트 배포에서 자연적으로 발생하는 자기 보고 불충실과 합의 기반 신뢰의 한계를 경험적으로 규명하고 있음을 강조한다.