기술 요약: KBF – 언어 모델 및 블랙박스 API 감시를 위한 지식 경계 지문

1. 문제 정의

본 논문은 대규모 언어 모델 (LLM) 의 성장하는 릴레이 및 리셀러 API 생태계 내재적 "신뢰 문제"를 다룹니다. 사용자는 종종 모델을 집계하고 통합 청구 및 전환 기능을 제공하는 제 3 자 중개자를 통해 LLM 에 접근합니다. 그러나 이러한 중개자들은 마진을 높이기 위해 광고된 비싼 플래그십 모델을 더 저렴하고 성능이 낮은 백엔드로 조용히 교체할 수 있습니다.

핵심 과제는 블랙박스 릴레이 감사입니다. 즉, 다음에 대한 접근 권한 없이 의심스러운 릴레이 엔드포인트 ($O_{sus}$) 가 주장하는 특정 모델 ($O_{ref}$) 을 제공하는지 여부를 판단하는 것입니다.

• 모델 가중치, 로그이트, 또는 학습 데이터.
• 서버 측 라우팅 로그 또는 숨겨진 시스템 프롬프트.
• 제공자의 협력 (예: 워터마크 또는 검증 가능한 추론).

감사자는 공식 참조 엔드포인트와 의심스러운 엔드포인트 모두에 대한 공개 API 접근 권한만 보유합니다. 목표는 완전 교체(전혀 다른 모델을 제공하는 경우) 와 혼합 라우팅(주장된 모델과 저렴한 대안 모델을 혼합하여 제공하는 경우) 을 탐지하면서 낮은 위양성률 (정직한 제공자에 대한 오진 방지) 을 유지하고, benign 배포 변형 (예: 다른 시스템 프롬프트, 온도, RAG 래퍼) 에 대해 견고하게 대응하는 것입니다.

기존 블랙박스 방법은 이러한 요구 사항을 동시에 충족하지 못합니다. 행동 지문 (예: LLMmap) 은 고정된 프로브에 의존하여 래퍼에 민감하거나 쉽게 회피됩니다. 분포 테스트 (예: MET) 는 구성 변경 하에서 높은 분산을 겪습니다. 자기 식별 프롬프트는 모델이 종종 자신의 정체성을 잘못 진술하기 때문에 신뢰할 수 없습니다.

2. 방법론: 지식 경계 지문 (KBF)

저자들은 KBF를 제안합니다. 이는 지식 경계 근처의 안정적인 수치적 회상을 지문으로 활용하는 프로토콜입니다.

핵심 직관

저자들은 공통 사실 (낮은 신호) 에 대해서는 모델들이 동의하고, 희귀한 사실 (불안정) 에 대해서는 실패하지만, "지식 경계" 근처에서는 뚜렷한 행동을 보인다고 관찰합니다.

1. 경계 내부: 모델들은 정확한 수치적 사실을 안정적으로 회상합니다.
2. 경계 바로 외부: 모델들은 종종 안정적이지만 사실적으로 잘못된 수치적 값을 생성합니다.
   이러한 "잘못되었지만 안정적인" 값은 지속적이고 모델 고유의 파라미터적 연관 작용으로 작용합니다. 대체 모델은 참조 모델의 정확한 동일한 안정적인 오류나 특정 안정적인 정확한 값을 재현할 가능성이 낮습니다.

KBF 프로토콜

KBF 는 세 단계로 운영됩니다.

1 단계: 프로브 생성 (오프라인)

• 적응형 프런티어 검색: 감사자는 공식 참조 엔드포인트 ($O_{ref}$) 에 쿼리를 보내 화학, 천문학, 수학 등 다양한 도메인의 후보 수치적 사실을 제안합니다. 검색은 안정적인 회상의 경계에 있는 점점 더 희귀한 사실로 이동하도록 적응됩니다.
• 참조 일관성 검사: 후보들은 여러 benign 구성 (예: 다양한 시스템 프롬프트, 온도) 하에서 재쿼리됩니다. 사실적으로 틀리더라도 $O_{ref}$가 안정적인 구문 분석 가능한 수치적 값을 생성하는 후보만 유지됩니다.
• 대조적 스크리닝 (선택 사항): 효율성을 높이기 위해 후보들은 알려진 저렴한 대체 모델 (예: 9B 파라미터 모델) 에 대해 스크리닝됩니다. 대체 모델이 참조 모델과 일치하면 프로브는 분별력을 보장하기 위해 폐기됩니다.
• 출력: $P_{ref} = \{(q_i, d_i, a_i, match_{d_i})\}$ 형태의 컴팩트한 프로브 집합. 여기서 $a_i$는 참조의 합의 값입니다.

2 단계: 자기 보정

• 감사자는 의심 대상에 대한 특정 감사 구성 하에서 등록된 프로브로 $O_{ref}$를 재쿼리합니다.
• 시스템은 참조 엔드포인트의 "일반적인 자기 노이즈"를 추정하기 위해 자기 불일치 ($k_{self}$) 를 계산합니다.
• Clopper-Pearson (CP) 상한 신뢰 구간 ($p_0$) 이 계산됩니다. 이는 참조 자체에서 예상되는 오류 수에 대한 보수적인 널 허용 오차를 설정합니다.

3 단계: 의심 엔드포인트 감사 (온라인)

• 감사자는 등록된 프로브를 의심 엔드포인트 ($O_{sus}$) 로 보냅니다.
• 응답은 구문 분석되어 도메인별 매칭 규칙을 사용하여 참조 합의 $a_i$와 비교됩니다.
• 이항 통계 테스트가 수행됩니다. 불일치 수 ($k$) 가 유의 수준 $\alpha = 0.05$에서 $p_0$로 정의된 임계값을 초과하면, 널 가설 ($H_0$: $O_{sus} \approx O_{ref}$) 이 기각되고 엔드포인트는 다름 (DIFFERENT) 으로 플래그가 지정됩니다.

적응형 라우팅 확장
혼합 라우팅 (트래픽의 일부 $\alpha$만 교체된 경우) 의 경우, KBF 는 2 라운드 감사를 사용합니다.

1. 1 라운드: 모든 프로브를 감사합니다.
2. 2 라운드: 1 라운드에서 불일치한 프로브만 재감사합니다.
   이는 가장 가능성이 높은 교체된 트래픽에 쿼리를 집중시켜 교체율이 낮을 때 (예: 5–10%) 도 탐지를 가능하게 합니다.

3. 주요 기여

1. 새로운 신호 식별: 본 논문은 "지식 경계 수치적 회상"(반복 가능한 잘못된 답변 포함) 을 자기 식별, 스타일, 또는 특권 메타데이터에 의존하지 않는 안정적이고 모델 고유의 신호로 식별합니다.
2. 종단 간 프로토콜 (KBF): 적응형 프런티어 검색, 구성 안정성 필터링, 대조적 스크리닝을 통해 이 신호를 컴팩트한 프로브 집합으로 변환하는 블랙박스 감사 프로토콜입니다.
3. 포괄적 평가: 8 개 계열, 3 개 가격대의 16 개 생산 LLM 엔드포인트에 대한 평가로, 경제적으로 관련 있는 교체에 대한 높은 분별력을 입증했습니다.
4. 실제 적용: 6 개 "섀도 API"플랫폼에 배포되어 제공자의 협력 없이 실제 환경에서 통계적으로 일관성이 없는 엔드포인트를 성공적으로 플래그했습니다.
5. 오픈 리소스: 재현성을 지원하기 위해 코드, 데이터, 벤치마크 프로브 집합을 공개했습니다.

4. 실증 결과

저자들은 KBF 를 세 가지 베이스라인 (MET, LLMmap, ZeroPrint) 과 비교 평가하여 다음과 같은 결과를 얻었습니다.

• 높은 정확도: KBF 는 155 개의 경제적으로 관련 있는 모든 교체 (동일 계열 하향 등급 포함) 를 탐지했으며, 동일 참조 제어에서 위양성 0 개를 기록했습니다. 베이스라인은 높은 위양성률 (LLMmap 의 경우 최대 37.5%) 이나 교체 누락을 겪었습니다.
• 견고성: 6 가지 다른 배포 구성 (역할 프롬프트, 온도 변경, RAG 래퍼) 하에서 KBF 는 위양성 0 개를 유지하고 100% 의 교체를 탐지했습니다. 베이스라인은 래퍼에 대한 민감도로 인해 과도한 오경보를 생성하거나 교체된 모델을 놓쳤습니다.
• 혼합 라우팅 탐지: KBF 는 트래픽의 **5–10%**만 대체 모델로 라우팅될 때 (Opus 기반 모델의 경우) 그리고 더 어려운 경우 (Sonnet 기반) **50%**까지 교체를 탐지했습니다.
• 비용 효율성:
  • 등록 비용: 모델 버전별 프로브 생성에 약 22 달러의 일회성 비용.
  • 감사 비용: 16 개 모델 전체 감사에 약 0.39 달러 (모델당 약 0.02–0.24 달러).
• 섀도 API 발견: 6 개 섀도 플랫폼의 27 개 엔드포인트 감사에서:
  • 7 개 엔드포인트가 통계적으로 일관성이 없는 것으로 플래그되었습니다.
  • 7 개 플래그 중 6 개는 고가 Claude 엔드포인트 (Opus 및 Sonnet) 에 집중되어 있었으며, 이는 비싼 모델을 저렴한 모델로 교체하려는 경제적 동기와 일치했습니다.
  • 티어 분석: 동일한 모델에 대해 여러 가격 티어를 제공하는 플랫폼에서 저가 티어가 고가 티어보다 플래그가 지정될 가능성이 훨씬 더 높았으며, 이는 티어 의존적 백엔드 교체를 시사합니다.

5. 중요성 및 주장

본 논문은 KBF 가 제 3 자 LLM 릴레이 API 감시를 위한 실용적이고 저비용이며 견고한 솔루션을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다.

• 운영 실현 가능성: 모델 제공자나 릴레이의 협력 없이 엄격하게 블랙박스 환경에서 작동합니다.
• 경제적 관련성: 일반적인 모델 식별이 아니라 릴레이의 경제적 동인 (비싼 모델을 저렴한 모델로 교체) 을 구체적으로 대상으로 합니다.
• 신뢰성: 특정 참조 엔드포인트의 자기 노이즈에 대해 보정함으로써 배포 구성이 변할 때 분포 또는 행동 지문 방법이 겪는 높은 위양성률을 피합니다.
• 실행 가능성: 사용자와 연구자가 서비스 주장을 검증하고, 특히 고가 독점 모델의 경우 저하되거나 일관성이 없는 서비스를 제공할 수 있는 "섀도"API 를 식별할 수 있게 합니다.

저자들은 KBF 가 백엔드 정체성의 암호학적 증명이 아닌 통계적 분류 도구임을 명시하며 겸손한 입장을 유지합니다. 고위험 운영 사용에는 시간과 지역을 통한 반복 감사와 같은 추가 보정이 필요하며, 현재 이항 모델은 프로브 독립성을 가정하므로 도메인 블록 상관관계에 대한 보정이 필요할 수 있음을 인정합니다.