💬 NLP

Auditing Black-Box LLM APIs with a Rank-Based Uniformity Test

이 논문은 API 제공자가 배포된 LLM 을 은밀히 변경할 수 있는 문제를 해결하기 위해, 로컬에 배포된 원본 모델과 블랙박스 API 모델의 행동적 동일성을 검증하는 정교하고 쿼리 효율적인 순위 기반 균일성 검정 방법을 제안합니다.

원저자: Xiaoyuan Zhu, Yaowen Ye, Tianyi Qiu, Hanlin Zhu, Sijun Tan, Ajraf Mannan, Jonathan Michala, Raluca Ada Popa, Willie Neiswanger

게시일 2026-03-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiaoyuan Zhu, Yaowen Ye, Tianyi Qiu, Hanlin Zhu, Sijun Tan, Ajraf Mannan, Jonathan Michala, Raluca Ada Popa, Willie Neiswanger

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"우리가 사용하는 AI(챗봇) 가 정말 광고대로 작동하고 있는지, 아니면 속여서 다른 모델을 쓰는지 감시하는 새로운 방법"**을 소개합니다.

마치 식당에 갔는데 메뉴판에는 '진짜 소고기 스테이크'라고 적혀 있는데, 주방에서는 값싼 '대체육'을 써서 내주는 경우를 상상해 보세요. 우리는 요리사 (개발자) 가 어떤 재료를 쓰는지 알 수 없지만, 맛을 보고 "이건 소고기가 아니야!"라고 알아챌 수 있을까요? 이 논문은 바로 그 **'맛을 보는 기술'**을 개발한 것입니다.

이제 이 기술을 더 쉽게 이해할 수 있도록 비유로 설명해 드릴게요.

1. 문제: AI 의 '가짜'를 어떻게 잡을까?

최근 우리는 AI 를 직접 설치해서 쓰는 게 아니라, 인터넷 API 를 통해 '블랙박스 (안が見えない 상자)'처럼 사용합니다.

문제: AI 서비스 제공업체는 비용을 아끼기 위해 원래의 거대한 AI 대신 **작게 줄인 모델 (양자화)**이나 보안 문제가 있는 모델을 몰래 끼워 넣을 수 있습니다.
난제: 우리는 AI 의 두뇌 (모델 가중치) 를 볼 수 없으니, "이거 진짜야?"라고 물어볼 수 없습니다. 오직 AI 가 내놓은 **답변 (텍스트)**만 볼 수 있습니다.

2. 해결책: RUT (순위 기반 균일성 검사)

저자들은 이 문제를 해결하기 위해 RUT라는 새로운 방법을 제안했습니다. 이 방법은 마치 **"요리사의 손맛을 재는 저울"**과 같습니다.

🕵️‍♂️ 비유: "요리사 테스트"

참고 요리사 (진짜 모델): 우리는 이미 '진짜' 소고기 스테이크를 완벽하게 만드는 요리사 (로컬에 설치된 인증된 AI) 를 가지고 있습니다.
의심스러운 식당 (API): 우리는 식당 (API) 에 주문을 넣습니다.
테스트 방법:
- 같은 주문 (질문) 을 참고 요리사에게 100 번 시켜서 다양한 스테이크 (답변) 를 만들어 봅니다.
- 그리고 의심스러운 식당에게 같은 주문을 1 번만 시켜서 나온 스테이크를 가져옵니다.
- 이제 이 식당의 스테이크가 참고 요리사가 만든 100 개의 스테이크들 사이에서 **어디에 위치하는지 (순위)**를 확인합니다.

🎲 핵심 원리: "주사위 놀이"

만약 식당이 진짜 요리사를 썼다면, 나온 스테이크는 100 개 중 어디에든 **무작위 (균일하게)**로 분포될 것입니다. (마치 주사위를 굴렸을 때 1~6 이 골고루 나오는 것처럼요.)
하지만 식당이 **가짜 요리사 (줄인 모델)**를 썼다면, 스테이크의 맛 (답변의 패턴) 이 달라서 특정 위치로 쏠리게 됩니다. (예: 항상 1 번이나 6 번만 나오는 주사위처럼요.)
RUT는 이 '쏠림'을 통계적으로 잡아냅니다. "이 식당의 답변이 진짜라면 이렇게 편향될 리가 없어!"라고 판단하는 것입니다.

3. 왜 이 방법이 특별한가요? (기존 방법과의 차이)

기존 방법들은 다음과 같은 치명적인 약점이 있었습니다.

기존 방법 1 (질문 패턴 감지): "너 진짜 AI 지?"라고 아주 특이한 질문을 던지면, 나쁜 식당 주인은 그 질문을 감지하고 "아, 이거 검사하는 구나!"라고 생각해서 진짜 요리사를 불러와서 답변을 줍니다. (우리가 속는 거죠.)
기존 방법 2 (많은 질문 필요): 검사를 하려면 수천 번을 물어봐야 해서 비용이 너무 비쌉니다.

RUT 의 장점:

스텔스 모드: 우리가 던지는 질문은 일반적인 사용자 질문과 똑같습니다. 식당 주인은 "아, 그냥 손님들이 묻는 질문이네"라고 생각해서 진짜를 섞어주거나 가짜를 섞어주더라도, 우리가 그걸 알아챌 수 있습니다.
한 번이면 충분: 질문을 한 번만 보내도 (1 번의 API 호출) 검사가 가능합니다. 비용이 거의 들지 않습니다.
강력한 탐지: 양자화 (모델 축소), 해킹 (재프랙), 악성 학습 등 다양한 변장을 시도해도 순서와 패턴을 분석하기 때문에 거의 100% 에 가깝게 잡아냅니다.

4. 실험 결과: 얼마나 잘 잡을까요?

논문의 실험 결과에 따르면:

양자화 (모델 축소): AI 의 두뇌를 작게 줄인 경우를 가장 잘 잡아냈습니다. (기존 방법들은 거의 못 잡았습니다.)
해킹 (재프랙): AI 를 해킹해서 나쁜 말을 하도록 만든 경우에도 잘 감지했습니다.
완전 교체: 아예 다른 AI 모델을 끼워 넣는 경우에도 완벽하게 알아냈습니다.

5. 결론: AI 시대의 '품질 관리'

이 연구는 **"우리가 돈을 내고 쓰는 AI 가 광고대로 작동하는지 확인하는 첫 번째 강력한 보안 도구"**입니다.

앞으로 AI 서비스 업체들이 "우리는 최신 모델을 씁니다"라고 말했을 때, 우리는 이 RUT라는 '맛보기 도구'를 통해 그들이 진짜 모델을 쓰는지, 아니면 속여서 비용을 아끼는지 한 번에 확인할 수 있게 될 것입니다.

한 줄 요약:

"AI 식당이 메뉴판에 적힌 '진짜 소고기'를 쓰는지, 값싼 '대체육'을 몰래 섞었는지, 일반 손님처럼 질문을 던져서 '맛의 패턴'만으로도 척척 알아내는 똑똑한 감시 시스템입니다."

1. 문제 정의 (Problem)

LLM 이 API 를 통해 주로 제공되는 환경에서, 사용자는 모델의 내부 가중치나 로그 (logits) 에 접근할 수 없습니다. 이로 인해 다음과 같은 심각한 위험이 존재합니다:

모델 교체 (Model Substitution): API 제공자가 비용을 절감하거나 성능을 조작하기 위해 원본 모델을 **양자화 (Quantization)**된 버전이나 **파인튜닝 (Fine-tuning)**된 버전, 혹은 완전히 다른 모델로 몰래 교체할 수 있습니다.
검출의 어려움: 기존 방법들은 특수한 쿼리 패턴을 사용하거나 많은 수의 API 호출이 필요하여, 악의적인 제공자가 이를 탐지하고 원래 모델을 반환하도록 라우팅을 변경하거나 (Prompt Caching 등), 여러 모델을 섞어서 대응할 경우 무력화될 수 있습니다.

따라서 정확성 (Accuracy), 쿼리 효율성 (Query Efficiency), **적대적 공격에 대한 견고성 (Robustness)**을 모두 만족하는 새로운 감사 방법이 필요합니다.

2. 제안 방법: 랭크 기반 균일성 검정 (RUT)

저자들은 **Rank-based Uniformity Test (RUT)**라는 새로운 비대칭 이표본 검정 (Asymmetric Two-sample Test) 을 제안합니다.

핵심 원리

비대칭 샘플링: 각 프롬프트 $x$ 에 대해 타겟 API 에서는 1 번만 호출하고, 로컬에 배포된 인증된 참조 모델 (Reference Model) 에서는 여러 번 ( $m$ 번) 호출합니다.
스코어 함수 (Score Function): 모델의 응답 $y$ 와 프롬프트 $x$ 를 실수 스코어 $s = f(y, x)$ 로 매핑합니다. 실험을 통해 Log-rank(토큰의 로그 순위 평균) 가 모델 간 분포 차이를 가장 잘 포착하는 스코어 함수임을 확인했습니다.
랜덤화된 랭크 통계량 (Randomized Rank Statistic): 타겟 모델의 응답 스코어가 참조 모델의 응답 스코어 분포 내에서 어디에 위치하는지 **랭크 (Rank)**를 계산합니다.
- 만약 두 모델이 동일하다면, 타겟 응답의 랭크는 $[0, 1]$ 구간에서 **균일 분포 (Uniform Distribution)**를 따라야 합니다.
- 모델이 다르면 (양자화, jailbreak 등), 랭크 분포가 균일성에서 벗어납니다.
통계적 검정: 계산된 $n$ 개의 랭크 값에 대해 Cramér–von Mises (CvM) 검정을 수행하여 균일 분포에서 벗어난 정도를 측정합니다. $p$ -value 가 임계값 (예: 0.05) 미만이면 모델이 다르다고 판단합니다.

장점

쿼리 효율성: 각 프롬프트당 API 호출이 단 1 번만 필요합니다.
적대적 견고성: 특수한 쿼리 패턴을 사용하지 않고 자연스러운 사용자 쿼리를 사용하므로, 제공자가 "의심스러운" 패턴을 탐지하여 우회하는 것이 어렵습니다.
정밀도: 참조 모델의 로컬 실행을 통해 정확한 기준을 설정합니다.

3. 주요 기여 (Key Contributions)

새로운 감사 프레임워크: 단일 API 호출로 작동하며 자연어 쿼리에 최적화된 RUT 를 제안했습니다.
다양한 위협 모델에 대한 검증: 양자화, 숨겨진 Jailbreak 프롬프트, 지시 따르기 (Instruction-following) 파인튜닝, 완전한 모델 교체 등 다양한 시나리오에서 기존 방법 (MMD, KS 검정 등) 보다 우수한 성능을 입증했습니다.
실제 API 환경에서의 검증: 주요 공개 LLM API (Nebius, Novita, Hugging Face Inference 등) 에 배포된 모델들을 대상으로 실험하여, 실제 환경에서도 소규모 디코딩 불일치 (예: 공백 누락) 에 강건하게 작동함을 보였습니다.

4. 실험 결과 (Results)

실험은 WildChat, BigCodeBench, MATH 등 다양한 데이터셋과 Gemma, Llama, Mistral 등 다양한 모델을 대상으로 수행되었습니다.

양자화 탐지 (Quantization): 4-bit 양자화 모델의 경우 RUT 가 MMD 와 KS 검정보다 훨씬 높은 통계적 검정력 (Statistical Power) 을 보였습니다. (예: Gemma-4bit 에서 RUT AUC=0.392 vs MMD=0.214). 8-bit 양자화는 여전히 탐지가 어렵지만, RUT 가 상대적으로 더 나은 성능을 보였습니다.
Jailbreak 및 SFT 탐지: 숨겨진 Jailbreak 프롬프트나 악성/정상 지시 따르기 데이터로 파인튜닝된 모델의 경우, RUT 는 거의 모든 설정에서 0.75 이상의 높은 AUC 를 기록하며 가장 효과적이었습니다. 특히 파인튜닝 초기 단계 (1 에포크) 에서도 변화를 감지할 수 있었습니다.
완전 모델 교체: 서로 다른 모델 (예: Llama vs Mistral) 간 교체 시 RUT 는 거의 완벽한 탐지 능력을 보였습니다.
실제 API 비교: 실제 API 제공자 (Nebius, Novita 등) 에서는 RUT 와 MMD 가 대체로 일치하는 결과를 보였으나, MMD 는 토큰화 (Tokenization) 나 공백 처리와 같은 사소한 디코딩 불일치에 민감하게 반응하여 오검출을 일으키는 반면, RUT 는 이러한 노이즈에 강건했습니다.

5. 의의 및 결론 (Significance)

보안 및 신뢰성 강화: LLM API 의 투명성을 확보하고, 제공자가 모델을 임의로 변경하여 성능 저하나 보안 위험을 초래하는 것을 방지할 수 있는 실용적인 도구를 제공합니다.
비용 효율적인 감사: 많은 수의 API 호출 없이도 높은 정확도로 이상 징후를 포착할 수 있어, 감사 비용과 시간을 크게 절감합니다.
적대적 환경 대응: 제공자가 탐지를 우회하려는 시도를 하더라도 효과적으로 대응할 수 있는 설계 (By-design robustness) 를 갖추고 있습니다.

이 연구는 클라우드 기반 LLM 배포가 확대되는 시대에, 블랙박스 환경에서도 모델의 무결성을 검증할 수 있는 중요한 기준을 제시합니다.