The Provenance Paradox in Multi-Agent LLM Routing: Delegation Contracts and Attested Identity in LDP

논문 요약: 다중 에이전트 LLM 라우팅의 계보 역설 (Provenance Paradox)

이 논문은 다중 에이전트 LLM 시스템에서 작업 위임 (Delegation) 시 발생하는 신뢰성 문제를 해결하기 위해 제안된 LLM 위임 프로토콜 (LDP, LLM Delegate Protocol) 의 확장을 다룹니다. 저자는 검증되지 않은 품질 주장에 기반한 라우팅이 오히려 시스템 성능을 무작위 선택보다 떨어뜨리는 **'계보 역설 (Provenance Paradox)'**을 발견하고, 이를 해결하기 위한 위임 계약, 검증된 신원 모델, 그리고 타입화된 오류 처리 메커니즘을 제안합니다.

1. 문제 정의 (Problem Statement)

기존의 다중 에이전트 프로토콜 (A2A, MCP 등) 은 에이전트 간 통신과 도구 통합을 지원하지만, 다음과 같은 세 가지 핵심 거버넌스 (Governance) 기능이 결여되어 있습니다:

1. 제한된 권한 부재 (Bounded Authority): 위임된 작업의 성공 기준, 예산 (토큰/비용), 마감 시간, 실패 시 처리 정책을 명시할 수 있는 메커니즘이 없습니다.
2. 검증되지 않은 신원 (Unverified Identity): 에이전트의 품질 점수는 스스로 보고 (Self-reported) 하는 방식입니다. 합리적인 에이전트는 작업을 더 많이 받기 위해 품질을 과장 (Inflation) 할 유인이 있으며, 이는 라우팅 시스템을 왜곡시킵니다.
3. 구조화되지 않은 오류 처리: 오류가 비구조화된 문자열로 전달되어 자동 복구나 오류 분류가 불가능합니다.

핵심 발견: 품질 점수가 스스로 보고된 경우, 라우팅 시스템은 가장 높은 점수를 가진 에이전트를 선택하게 되는데, 이는 실제로는 가장 성실하지 않은 (품질이 낮은) 에이전트를 선택하게 만들어 무작위 선택보다도 낮은 성능을 초래하는 '계보 역설'을 발생시킵니다.

2. 방법론 및 프로토콜 확장 (Methodology & Protocol Extensions)

저자는 기존 LDP 프로토콜을 하위 호환성을 유지하면서 확장하여 다음 네 가지 기능을 추가했습니다:

• 위임 계약 (Delegation Contracts):
  • 작업 제출 시 성공 기준, 예산 (최대 토큰 수, 비용), 안전 제약 조건, 실패 정책 (fail_closed 또는 fail_open), 마감 시간 등을 명시하는 JSON 기반 계약을 포함합니다.
  • 클라이언트 측에서 결과를 검증하며, 계약 위반 시 타입화된 오류를 반환합니다.
• 주장된 대 검증된 신원 (Claimed vs. Attested Identity):
  • 품질 점수의 출처를 구분하는 claim_type 필드를 도입합니다:
    • self_claimed: 에이전트 자체 보고 (신뢰도 낮음).
    • runtime_observed: 런타임에서 측정된 실제 성능.
    • issuer_attested: 신뢰할 수 있는 제 3 자가 검증.
    • externally_benchmarked: 외부 벤치마크를 통한 검증.
  • 라우터는 self_claimed 데이터를 필터링하거나 가중치를 낮추어 역설을 방지합니다.
• 타입화된 오류 의미론 (Typed Failure Semantics):
  • 오류를 구조화된 LdpError 객체로 변환합니다. (카테고리, 심각도, 재시도 가능 여부, 부분 출력 포함).
  • 이를 통해 런타임, 정책 위반, 기능 부족 등 오류 유형에 따라 자동 복구 전략을 수립할 수 있습니다.
• 검증 상태 및 계보 (Verification Status & Lineage):
  • 결과물의 생성자뿐만 아니라 검증 과정 (동료 검증, 도구 검증, 인간 검증 등) 과 위임 체인 (Lineage) 을 기록하여 투명성을 확보합니다.

3. 주요 실험 결과 (Key Results)

논문의 실험은 시뮬레이션과 실제 Claude 모델을 사용하여 수행되었습니다.

• 시뮬레이션 실험 (10 개 에이전트):
  • 조건: 10 개 에이전트 중 3 개가 품질을 과장 (Inflation) 하고, 7 개는 정직하게 보고하는 상황.
  • 결과:
    • 무작위 선택 (Blind): 평균 품질 0.68.
    • 자기 주장 기반 라우팅 (Self-claimed): 평균 품질 0.55 (무작위보다 나쁨). 과장된 에이전트가 100% 의 작업을 차지하여 성능이 저하됨.
    • 검증된 라우팅 (Attested): 평균 품질 0.95 (최적에 근접).
  • 통계적 유의성: 검증된 라우팅은 무작위 선택 대비 통계적으로 유의미하게 우수함 ($d = 9.51, p < 0.001$).
• 실제 모델 검증 (Claude 모델):
  • 성능이 낮은 Claude Haiku 변형이 높은 품질 점수 (0.95) 를 주장하도록 설정하고 실험.
  • 자기 주장 라우팅 시 평균 점수 8.90 (실제 Judge 인 Sonnet 기준), 무작위 선택 시 9.30.
  • 과장된 에이전트가 모든 작업을 차지하여 성능이 저하됨이 확인됨.
• 오버헤드 분석:
  • 계약 포함 시 메시지 크기는 약 54% 증가하지만 (약 525 바이트), LLM 추론 지연 시간 (500ms~5s) 에 비해 처리 오버헤드 (약 0.45 마이크로초) 는 무시할 수준입니다.

4. 주요 기여 (Key Contributions)

1. 계보 역설의 규명: 검증되지 않은 품질 주장에 기반한 라우팅이 시스템 최적화를 방해하고 무작위 선택보다 나쁜 결과를 초래한다는 것을 이론적, 실험적으로 증명했습니다.
2. 거버넌스 중심 프로토콜 설계: 단순한 통신을 넘어, 위임의 의도 (계약), 신뢰 (검증된 신원), 복구 (타입화된 오류) 를 체계화한 프로토콜 확장을 제시했습니다.
3. 실용적인 구현 및 오픈소스: Python SDK 및 Rust 참조 구현을 통해 모든 확장을 하위 호환성 있게 구현하고, 168 개의 테스트 케이스로 검증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 다중 에이전트 LLM 시스템이 단순한 통신 프로토콜을 넘어 거버넌스 (Governance) 문제를 해결해야 함을 강조합니다.

• 신뢰성 확보: "누가 작업을 수행했는지"뿐만 아니라 "어떤 기준으로 신뢰할 수 있는지"를 구분하는 메커니즘이 필수적입니다.
• 자동화된 복구: 구조화된 오류 처리를 통해 에이전트 시스템이 실패 시 자동으로 복구하거나 대체 에이전트를 선택할 수 있는 기반을 마련했습니다.
• 미래 지향성: 제안된 계약 및 검증 모델은 NIST AI 리스크 관리 프레임워크 (RMF) 와 같은 거버넌스 요구사항을 프로토콜 수준에서 지원하며, 향후 더 복잡한 다중 에이전트 협업 시스템의 표준이 될 수 있습니다.

결론적으로, 이 연구는 검증되지 않은 자기 주장 (Self-claimed quality) 에 의존하는 라우팅은 시스템 실패로 이어질 수 있으며, 이를 해결하기 위해 계약 기반의 명확한 기대치 설정과 검증된 신원 (Attested Identity) 이 필수적임을 강력하게 주장합니다.