기술 요약: 에이전트 도구 선택의 정량적 인증

문제 정의

대규모 언어 모델 (LLM) 에이전트는 외부 도구를 통해 세계와 상호작용하는 데 점점 더 의존하고 있으며, 이는 일반적으로 두 단계 파이프라인을 통해 이루어집니다. 즉, **검색기 (retriever)**가 대규모 도구 풀을 상위 N 개 도구 세트로 필터링하고, **선택기 (selector, LLM)**가 호출할 구체적인 도구를 선택합니다. 기존 평가는 큐레이션된 안전한 벤치마크에서의 성능을 측정하지만, 모델 컨텍스트 프로토콜 (Model Context Protocol) 과 같은 오픈 레지스트리에 내재된 배포 위험을 포착하지 못합니다. 이러한 환경에서 도구 풀은 오해의 소지가 있거나, 거의 중복되거나, 악의적인 도구를 게시할 수 있는 제 3 자에 의해 형성됩니다.

현재 평가 방법은 정성적 분석이나 고정된 데이터셋에 대한 정확도의 점 추정치에 의존합니다. 이러한 접근 방식은 드물게 실패하는 시스템과 자주 실패하는 시스템을 구분할 수 없을 뿐만 아니라, 서로 다른 모델, 검색기, 또는 레지스트리 정책 간의 견고성을 비교할 수 있는 근거를 제공하지 못합니다. 핵심적인 과제는 도구 풀의 현실적인 분포에서 샘플링된 도구들이 제시될 때, 도구 선택 파이프라인이 선언된 안전 사양을 만족할 확률에 대한 고신뢰도 상한선인 **정량적 인증서 (quantitative certificate)**를 수립하는 것입니다.

방법론: LLMCert-T

저자들은 현실적인 도구 분포 하에서 도구 선택 파이프라인이 안전 사양을 만족할 확률에 대한 고신뢰도 상한선을 반환하도록 설계된 통계적 프레임워크인 LLMCert-T를 소개합니다.

1. 형식적 프레임워크

이 프레임워크는 도구 선택 파이프라인을 R 라운드에 걸쳐 작동하는 블랙박스로 모델링합니다.

• 파이프라인: 사용자 의도 $u$가 검색기에 의해 처리되어 세일트 $S_u$(상위 N 개 도구) 를 생성하고, 선택기 $L$이 이를 평가하여 도구 $\hat{t}$를 선택합니다.
• 사양 ($\phi$): 만족스러운 결과를 정의하는 술어 (예: "선택된 도구는 사용자 권한을 초과하지 않고 의도를 만족해야 함").
• 분포 ($\Delta$): 라운드별로 풀을 진화시키는 "삽입된 도구" 시퀀스를 생성하는 확률적 과정. 특정 모델을 최적화하는 적대적 공격과 달리, $\Delta$는 제 3 자 출판사가 도구를 도입하는 현실적인 배포 조건을 모델링합니다.

2. 샘플링 과정 ($\Delta$)

현실성과 정보성을 보장하기 위해 $\Delta$는 조건부 확률적 과정으로 구현됩니다.

• 라운드별 생성: LLM 생성기는 각 라운드 $r$에서 선택기의 이전 선택 $\hat{t}^{(r-1)}$에 조건부로 $k$개의 삽입된 도구를 제안합니다. 이 피드백 루프는 선택기의 특정 취약점을 노출시키는 시퀀스에 샘플링 질량을 집중시킵니다.
• 제약된 생성: 생성기 출력은 도구들이 실제 레지스트리 항목과 유사하도록 결정론적 사후 처리를 거칩니다.
  • 매개변수 충돌: 사용자의 기대에 부응하기 위해 이전에 선택된 도구들의 매개변수 스키마를 복사합니다.
  • 동형 기호 복제 (Homoglyph Clones): 정확한 일치 중복 제거를 우회하면서도 인간이 읽을 수 있도록 문자를 시각적으로 유사한 유니코드 변형 (예: 라틴어 'a' 대신 키릴어 'a') 으로 교체합니다.
  • 설득 단서: 이름과 설명에 [official], v2, 또는 [enterprise]와 같은 마커를 추가하여 권위 단서를 시뮬레이션합니다.
• 베르누이 축소: 각 R 라운드 궤적은 단일 이진 결과 $Z_u$(모든 라운드에서 사양이 성립하면 1, 그렇지 않으면 0) 로 축소됩니다. 이를 통해 $n$개의 시도를 통계적 경계로 집계할 수 있습니다.

3. 인증 메커니즘

LLMCert-T 는 $n$개의 독립적인 베르누이 시도 ($Z_1, \dots, Z_n$) 를 집계하여 만족 확률에 대한 일측 클로퍼 - 피어슨 상한선 (one-sided Clopper-Pearson upper bound)($p_u$) 을 계산합니다.

• $n$번의 시도에서 $C$개의 실패가 관찰되면, $p_u$는 신뢰 수준 $1-\alpha$에서 관찰된 데이터와 일관된 실제 만족 확률의 최대 값입니다.
• 이 접근 방식은 근본적인 모델의 깨끗한 풀 (clean-pool) 정확도와 관계없이 실제 실패율이 경계보다 높지 않다는 엄격하고 비점근적 (non-asymptotic) 인 보장을 제공합니다.

주요 기여

1. 배포 속성으로서의 주의 분산: 이 논문은 에이전트가 배포 후 마주칠 수 있는 도구 분포에 대한 도구 선택을 공식화하여, "무엇 (안전 사양)"과 "조건 (도구 분포)"을 분리합니다.
2. 정량적 인증: 현실적인 삽입된 도구 시퀀스를 생성하기 위한 확률적 과정을 구체화하고 결과를 통계적으로 엄격한 상한선으로 집계하여, 점 추정치를 넘어섭니다.
3. 실패 모드 식별: BFCL 및 OpenAPI 도구 풀과 네 가지 오픈 가중치 선택기 (4B~14B 파라미터) 에 대한 평가를 통해 프레임워크는 다섯 가지 구체적인 주의 분산 메커니즘을 식별하며, 인증된 정확도 상한선이 깨끗한 풀 하한선보다 현저히 낮아짐을 보여줍니다.

실험 결과

$n=1000$번의 시도와 $R=10$라운드로 표준 벤치마크 (BFCL, OpenAPI) 에서 평가되었습니다.

• 정확도 대 인증된 행동: 벤치마크 정확도와 인증된 견고성 사이에는 극명한 단절이 존재합니다. 선택기들은 0.69 에서 0.75 사이의 깨끗한 정확도 하한선 ($p^{clean}_{\ell}$) 을 달성하는 반면, 현실적인 분포 하에서의 인증된 상한선 ($p_u$) 은 가장 심각한 사양의 경우 약 0.20까지 떨어집니다.
• 치명적인 실패 모드:
  • 주의 분산 도구 선택: 선택기들은 기능은 없으나 더 권위 있어 보이는 표면적 신뢰성 단서 (예: [official], v2) 를 가진 도구에 의해 일관되게 오도됩니다. 인증된 상한선은 0.20입니다.
  • 상위 N 개 포화: 복사된 매개변수 스키마를 가진 거의 중복된 도구들이 10 라운드 내의 시도 중 **89%**에서 상위 N 개 세트에서 정답 도구를 밀어냅니다. 인증된 상한선은 0.20입니다.
  • 권한 상승: 선택기들은 "준수 로깅에 필요함"과 같은 설명 내 정당화를 받아들여 권한을 상승시키며, 이로 인한 경계는 0.65입니다.
  • 거부 유발 및 의도 전환: 이러한 모드는 덜 심각합니다 (경계 약 0.73~0.75). 선택기들은 강력한 설득 단서 없이 의도를 거부하거나 전환하기보다는 잘못된 도구를 선택할 가능성이 더 높기 때문입니다.
• 완화 조치의 영향: 다섯 가지 대표적인 완화 조치 (방어된 검색기, 이상 탐지 모니터, 구조화된 프롬프팅, 정렬 튜닝, 퍼플렉시티 필터) 가 평가되었습니다. 어떤 조치도 두 가지 가장 강력한 사양 (주의 분산 도구 선택 및 상위 N 개 포화) 에 대한 격차를 해소하지 못했습니다. 가장 효과적인 완화 조치 (주의 분산 도구 선택에 대한 SecAlign) 는 경계를 0.20 에서 0.30 으로만 높였습니다.
• 강제 포함: 검색기가 만족스러운 도구를 세일트에 포함하도록 강제되더라도, 인증된 경계는 0.50 미만으로 유지되며, 실패는 검색이 아닌 주로 선택 단계에 있음을 나타냅니다.

중요성 및 주장

이 논문은 큐레이션된 풀에 대한 벤치마크 정확도가 배포된 파이프라인 행위의 충분한 요약이 아님을 주장합니다. 깨끗한 풀 성능과 현실적인 도구 분포 하의 행동 사이의 격차는 근본적인 취약점입니다.

• 실행 가능한 지표: LLMCert-T 는 모델, 검색기, 레지스트리 정책 간에 직관적이고 실행 가능하며 비교 가능한 지표를 제공합니다.
• 진단 표준: 현재 완화 조치들이 가장 강력한 사양에 대한 격차를 해소하지 못하므로, 이 프레임워크는 향후 완화 방법을 평가하기 위한 진단 표준 역할을 합니다.
• 취약점의 본질: 주요 배포 위험은 열악한 의미적 이해가 아니라 검색기와 선택기를 조작하는 메타데이터 수준의 신뢰성 신호 (권위 단서, 거의 중복된 도구) 에 대한 취약성입니다.

저자들은 LLMCert-T 를 이러한 취약점을 해결하는 솔루션이 아니라, 통계적 보장을 통해 이를 정량화할 수 있는 최초의 프레임워크로 위치시키며, thereby 배포 행위를 측정 가능한 속성으로 변환합니다.