🤖 AI

Committed SAE-Feature Traces for Audited-Session Substitution Detection in Hosted LLMs

본 논문은 호스팅된 LLM 에서의 침묵 있는 모델 치환을 효과적으로 탐지하기 위해 희소 오토인코더 (SAE) 특징 추적을 Merkle-트리 커밋에 활용하는 커밋-오픈 프로토콜을 제안하며, 이는 다양한 적응형 공격을 거부하면서도 최소한의 계산 오버헤드를 유지함으로써 기존 반환 후 프로브 방식보다 우수한 성능을 보입니다.

원저자: Ziyang Liu

게시일 2026-05-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ziyang Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

고급 레스토랑에서 스테이크를 주문한다고 상상해 보세요. 프리미엄 부위를 위해 돈을 지불했지만, 주방은 몰래 이를 더 싸고 냉동된 패티로 바꿔치기합니다. AI 세계에서도 이는 실제 위험입니다. 클라우드 제공업체가 강력하고 비싼 AI 모델을 광고하지만, 돈을 아끼기 위해 몰래 더 싸고 약한 모델을 사용하도록 보낼 수 있습니다.

이 논문은 레스토랑을 신뢰할 필요 없이 이러한 "가짜 스테이크"를 잡아내는 새로운 방법을 제안합니다.

문제: "마법 거울" 속임수

현재의 보안 방법은 실제 요청과 함께 AI 에 비밀 테스트 질문 ( "프로브") 을 보내어 사기를 잡아내려 합니다. AI 가 테스트 질문에 올바르게 답하면, 제공업체는 "보세요? 우리는 좋은 모델을 사용했습니다!"라고 주장합니다.

하지만 부정한 제공업체는 "마법 거울" 속임수를 사용하여 이 시스템을 속일 수 있습니다. 그들은 비밀 테스트 질문은 고가이고 고품질인 모델로 라우팅하여 테스트를 통과시키는 반면, 실제 요청은 저렴하고 약한 모델로 라우팅할 수 있습니다. 사용자는 나쁜 결과를 얻지만, 보안 점검은 모든 것이 정상이라고 말합니다.

해결책: "봉인된 레시피 상자"

저자들은 "커밋 - 오픈 프로토콜 (Commit-Open Protocol)"이라고 불리는 새로운 시스템을 제안합니다. 이는 요리사가 요리를 시작하기 전에 잠가야 하는 봉인된 레시피 상자처럼 생각할 수 있습니다.

커밋 (상자 잠금): AI 가 답변을 생성하기 전에 내부 사고 과정의 디지털 "지문"을 생성합니다. 특수 도구 (Sparse Autoencoder, SAE) 를 사용하여 각 단계마다 뇌 활동을 스냅샷으로 찍습니다. 그런 다음 이러한 스냅샷들을 디지털 "머클 트리 (Merkle tree, 안전하고 변경 불가능한 목록)"에 잠그고 잠금장을 공개합니다.
오픈 (영수증 확인): AI 가 답변을 제공한 후, 보안 점검자는 과정 중 몇 가지 무작위 단계를 선택하여 해당 특정 순간에 대해 제공업체에게 상자를 "열어달라"고 요청합니다.
검증 (맛보기 테스트): 점검자는 공개된 스냅샷들을 "좋은" AI 뇌의 모습에 대한 공개 라이브러리와 비교합니다. 스냅샷이 고품질 모델과 일치하면 답변이 승인됩니다. 만약 저렴 모델처럼 보이면 답변은 거부됩니다.

왜 사기꾼들은 이길 수 없는가

이 논문은 모델을 교체하려는 자, 모델을 약간 조정하려는 자, 심지어 수학적 트릭으로 시스템을 속이려는 자를 포함한 17 가지 유형의 사기꾼들을 대상으로 이를 테스트했습니다.

"병렬 서비스" 실패: 이전의 "마법 거울" 방법에서는 사기꾼들이 테스트 질문에만 좋은 모델을 보여주어 쉽게 테스트를 통과할 수 있었습니다. 하지만 이 새로운 시스템에서는 "지문"이 답변이 완전히 생성되기 전에 잠기며 전체 과정을 포괄하기 때문에, 사기꾼은 잠금을 깨뜨리지 않고는 중간에 모델을 교체할 수 없습니다.
"가짜 뇌" 실패: 사기꾼이 지문을 위조하여 (좋은 모델의 뇌 활동을 가진 것처럼 가장) 시도하더라도, 수학적으로 실제 모델의 내부 사고 복잡성을 실제로 실행하지 않고는 위조하는 것이 불가능함이 입증되었습니다.
"해커" 실패: 해커가 지문에서 역으로 작업하여 시스템을 속이려 하더라도, 실제 모델과 가짜 모델 사이의 간격이 너무 넓어 연결할 수 없습니다.

비용

저자들은 세 가지 다른 AI 모델에서 이를 실행했습니다. 그 결과, 이 보안 잠금을 추가하는 것은 AI 속도를 약 **2.1%**만 늦추는 것으로 나타났습니다. 스테이크를 위해 돈을 지불했는데 냉동 패티를 제공받지 않도록 보장하는 데는 아주 작은 대가입니다.

간단히 말해: 이 논문은 AI 제공업체들이 약속한 특정 모델을 사용했음을 증명하도록 강제하는 "잠금 - 확인" 시스템을 소개하며, cheaper 한 버전으로 교체하는 것이 수학적으로 불가능하게 만들어 잡아내지 않고는 불가능하게 만듭니다.

기술 요약: 호스팅된 LLM 에서 감사 세션 대체 탐지를 위한 커밋된 SAE-특성 추적

문제 제기

호스팅된 대규모 언어 모델 (LLM) 제공업체는 "침묵적 대체"에 대한 유인을 안고 있습니다. 즉, 고기능 모델을 광고하면서도 사용자에게는 더 저렴하고 품질이 낮은 대체 모델을 비밀리에 제공하는 경제적 동기가 존재합니다. "반환 후 프로브 (probe-after-return)" 방식 (예: SVIP) 과 같은 기존 탐지 메커니즘은 병렬 서비스 사이드 채널에 취약합니다. 이러한 방식에서 부정한 제공업체는 감사 통과를 위해 검증자의 특정 프로브 요청을 광고된 (강력한) 모델로 라우팅하는 동시에, 일반 사용자는 대체 (약한) 모델에서 서비스를 제공할 수 있습니다. 이로 인해 표준 검증 방법으로는 대체가 탐지되지 않는 간극이 발생합니다.

방법론: 커밋 - 오픈 프로토콜

이 검증 간극을 메우기 위해 저자들은 프로브를 선택적으로 라우팅하는 것을 방지하는 커밋 - 오픈 프로토콜을 제안합니다. 방법론은 다음과 같이 작동합니다:

커밋 단계: 어떤 오픈 요청이 발생하기 전에, 제공업체는 서비스된 출력의 "특성 추적 스케치 (feature-trace sketch)"에 대해 커밋합니다. 이 스케치는 공개된 프로브 레이어에서 **희소 오토인코더 (Sparse Autoencoder, SAE)**를 사용하여 생성됩니다. 제공업체는 위치별 SAE 특성 추적에 대해 머클 트리를 구성하여 세션 중 실제 모델 행동에 대한 암호학적 커밋을 생성합니다.
오픈 및 검증 단계: 검증자가 커밋된 추적 내의 무작위 위치의 오픈을 요청합니다. 제공업체는 해당 SAE 특성을 공개합니다.
점수 매기기 및 결정: 검증자는 공개된 이름의 회로 프로브 라이브러리 (public named-circuit probe library) 에 대해 오픈된 특성들을 점수화합니다. 이 라이브러리는 백엔드 간 노이즈를 고려하도록 보정되어 있습니다. 최종 결정은 고정 임계값 결합 일관성 z-점수 규칙을 사용하여 이루어지며, 공개된 특성이 광고된 모델과 일치하는지 여부를 판단합니다.

실험적 구현 및 결과

이 프로토콜은 세 가지 서로 다른 백본 아키텍처에서 구현 및 테스트되었습니다:

Qwen3-1.7B
Gemma-2-2B
131k-특성 SAE 를 활용한 확장된 Gemma-2-9B 변형

평가에는 다양한 대체 전략을 대표하는 17 개의 서로 다른 공격자가 포함되었습니다.

동일 계열 모델 리프트 (lifts).
계열 간 대체.
Rank-<=128 적응형 LoRA (Low-Rank Adaptation) 공격.

주요 발견 사항:

탐지 효율성: 제안된 프로토콜을 사용하여 공유되고 규모에 안정적인 임계값에서 모든 17 명의 공격자가 거부되었습니다.
기선 대비 비교: 동일한 공격자 집합은 매칭된 SVIP 스타일의 병렬 서비스 기선을 성공적으로 우회하여, 선택적 라우팅을 방지하는 데 있어 커밋 - 오픈 접근법의 우월성을 입증했습니다.
고급 공격에 대한 견고성:
- 고정된 SAE 인코더를 통해 역전파하여 특성을 위조하려는 화이트박스 엔드 - 투 - 엔드 공격은 탐지 마진을 좁히는 데 실패했습니다.
- 정직한 모델 $M_h$ 를 결코 실행하지 않는 특성 위조 공격자는 고유 차원 (intrinsic-dimension) 논리에 의해 폐쇄형으로 경계되며, 이론적으로 성공적인 위조의 실현 가능성을 제한합니다.
성능 오버헤드: 커밋 메커니즘은 계산 비용을 무시할 수준으로 추가하며, 배치 크기 32 에서 포워드 전용 월클록 시간을 **≤2.1%**만 증가시킵니다.

의의 및 주장

이 논문은 해당 프로토콜이 프로브 - 반환 후 방식에 내재된 병렬 서비스 사이드 채널 취약점을 효과적으로 제거한다고 주장합니다. 검증 전에 제공업체가 실제 서비스된 출력의 SAE 특성 추적에 대해 커밋하도록 강제함으로써, 감사에 사용된 모델이 사용자 추론에 사용된 모델과 동일함을 보장합니다. 저자들은 이를 호스팅된 LLM 환경에서 침묵적 모델 대체를 탐지하기 위한 실용적이고 오버헤드가 낮은 솔루션으로 제시하며, SAE 통합을 제외한 기본 모델 아키텍처 변경 없이 여러 모델 규모와 공격 벡터에서 검증되었다고 명시합니다.