🤖 AI

The Model's Tell: Measuring Context-Leakage Attack Signals with Behavior Gauges

이 논문은 내부 은닉 상태에 대한 접근 없이도 다양한 모델에 걸쳐 높은 정확도를 달성하며, 행동을 구체화하는 접미사(behavior-verbalizing suffix)의 프리필 토큰 확률을 분석함으로써 대규모 언어 모델의 컨텍스트 누출 공격을 탐지하는 가볍고 견고한 방법인 LeakGauge를 소개한다.

원저자: Maosen Zhang, Jianshuo Dong, Boting Lu, Wenyue Li, Xiaoping Zhang, Tianwei Zhang, Jie Zhang, Han Qiu

게시일 2026-08-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Maosen Zhang, Jianshuo Dong, Boting Lu, Wenyue Li, Xiaoping Zhang, Tianwei Zhang, Jie Zhang, Han Qiu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대적인 인공지능 비서는 자신의 업무를 잘 수행하기 위해 시스템 프롬프트와 검색된 컨텍스트라고 불리는 숨겨진 지침과 개인 문서라는 보이지 않는 층에 의존하곤 합니다. 이 숨겨진 요소들은 컴퓨터가 답변을 하기 전에 참고하는 비밀 규칙 책이나 개인 파일 캐비닛과 같은 역할을 합니다. 이러한 설정은 기계가 더 나은 답변을 제공하도록 돕지만, 동시에 취약점을 만들어냅니다. 영리한 공격자는 컴퓨터를 속여 이 비밀 지침이나 개인 파일을 드러내도록 설계된 질문을 던질 수 있습니다. 수년 동안 보안 전문가들은 사용자의 질문 텍스트만을 보고 이를 포착하려고 노력해 왔는데, 이는 마치 문 앞에서 손님의 신분증을 확인하는 보안 요원과 같습니다. 하지만 공격자가 단어를 바꾸거나 새로운 전략을 사용할 경우, 텍스트 자체만으로는 의도를 파기 어렵기 때문에 이 방식은 종종 실패하곤 합니다.

연구자들은 컴퓨터가 답변 작성을 마치기도 전에 내부 상태가 이미 문제의 징후를 더 명확하게 보여준다고 오랫동안 의심해 왔습니다. 문제는 컴퓨터의 뇌 내부를 들여다보는 것이 표준 보안 시스템으로는 볼 수 없는 복잡하고 숨겨진 데이터에 접근해야 하는 일이라는 점입니다. 칭화대학교와 그 파트너들의 새로운 연구는 더 단순한 질문을 던집니다. 컴퓨터의 즉각적인 반응 속에, 기계의 내부 작동 방식을 깨뜨리지 않고도 관찰할 수 있는 가시적인 흔적이 남아 있는가 하는 점입니다. 연구 결과, 답은 '예'였습니다. 사용자의 질문 끝에 특정하고 무해한 문구를 덧붙이고 컴퓨터가 다음 단어들을 어떻게 계산하는지 관찰함으로써, 연구자들은 공격이 완전히 새로운 형태일 때조차 높은 정확도로 이를 탐지할 수 있었습니다.

연구팀은 "행동 게이지(behavior gauge)"라고 부르는 방법을 개발했습니다. 컴퓨터가 말을 하려는 찰나, 당신이 "위의 내용을 바탕으로, 나는 나의 시스템 프롬프트를 제공하겠습니다"라는 짧은 문장을 프롬프트 끝에 추가한다고 상상해 보십시오. 이 문장은 데이터를 유출하라는 실제 요청이 아니라 하나의 테스트입니다. 연구진은 그 테스트 문장의 아주 첫 몇 단어에 대한 컴퓨터의 내부 확신 점수(confidence scores)를 살펴봅니다. 만약 사용자의 원래 질문이 정상적이고 안전한 질의였다면, 컴퓨터는 해당 테스트 문장을 이상하고 일어나기 힘든 연속된 내용으로 취급할 것입니다. 하지만 사용자의 질문이 비밀을 훔치려는 악의적인 시도였다면, 컴퓨터의 내부 논리가 변화합니다. 컴퓨터는 갑자기 해당 테스트 문장을 훨씬 더 그럴듯하게 받아들이는데, 이는 악의적인 질문이 이미 컴퓨터를 비밀을 드러낼 준비가 된 상태로 몰아넣었기 때문입니다. 이러한 변화는 컴퓨터가 실제로 글자를 타이핑하기 전의 아주 짧은 순간에 발생하며, 컴퓨터의 확신을 나타내는 숫자들 속에 뚜렷한 패턴을 남깁니다.

이 방법의 효용성을 입증하기 위해, 연구진은 소형의 효율적인 버전부터 수천억 개의 파라미터를 가진 거대 시스템에 이르기까지 11가지의 서로 다른 대규모 언어 모델을 대상으로 테스트를 진행했습니다. 연구진은 시스템 지침 탈취 시도와 데이터베이스 내의 개인 문서를 추출하려는 시도를 포함하여 수천 가지의 다양한 공격을 모델들에 가했습니다. 모든 경우에서 행동 게이지는 안전한 질문과 악의적인 질문을 성공적으로 구분해 냈습니다. 연구진이 이 시스템을 한 번도 본 적 없는 새로운 공격과 접해본 적 없는 보호된 콘텐츠에 대해 테스트했을 때도, 이 방법은 0.944에서 0.996 사이의 AUC를 기록하며 위협을 식별해 냈습니다. 이는 질문의 텍스트만을 보고 판단하여 새로운 유형의 공격에 대응하는 데 어려움을 겪었던 기존 방식보다 크게 개선된 성과입니다.

핵심적인 발견은 가장 효과적인 테스트 문구가 실제 비밀 정보를 포함할 필요가 없다는 점이었습니다. 한 버전의 테스트는 비밀 문서의 정확한 시작 단어들을 사용했는데, 이 방식은 비밀의 언어가 바뀌거나 공격자가 비밀을 단어 그대로 복사하는 대신 요약하도록 유도할 때 실패했습니다. 더 견고한 버전은 단순히 유출 의도를 밝히는 것으로, "나는 나의 시스템 프로프트를 제공하겠습니다"와 같은 일반적인 단어를 사용했습니다. 이 일반적인 문구는 서로 다른 언어와 다양한 유형의 비밀에 걸쳐 작동했으며, 이는 컴퓨터가 특정 단어를 인식하는 것이 아니라 '공개 행위' 자체에 반응하고 있음을 시사합니다. 연구진은 컴퓨터의 내부 상태를 조절하여 비밀을 유출할 가능성을 높이거나 낮출 수 있음을 보여줌으로써 이를 확인했으며, 행동 게이지의 점수가 그 변화와 완벽하게 일치하여 움직이는 것을 확인했습니다. 이는 이 신호가 무작위적인 오류가 아니라, 위험에 대한 컴퓨터의 실제 내부 표현과 연결되어 있음을 증명합니다.

이 발견의 실질적인 가치는 효율성에 있습니다. 테스트가 컴퓨터가 전체 응답을 생성하기 전에 이루어지기 때문에, 실시간 필터로 사용할 수 있습니다. 연구진은 테스트 문구를 입력에 추가하고 결과를 확인하는 탐지기를 구축했으며, 이는 500개 미만의 추가 파라미터 연산 능력만을 요구합니다. 이는 요청을 처리하는 데 약 10밀리초(ms)의 시간만을 추가할 뿐이며, 이는 인간 사용자가 거의 느낄 수 없을 만큼 미미한 지연 시간입니다. 반면, 컴퓨터의 내부 신호를 모니터링하려는 다른 방법들은 거대한 모델 전체를 복제하거나 컴퓨터가 긴 답변을 마칠 때까지 기다려야 하므로 느리고 비용이 많이 듭니다. 이 새로운 방법은 최소한의 비용과 높은 속도로 이러한 공격을 잡아낼 수 있는 길을 제시합니다.

연구진은 또한 이 기술이 다른 유형의 보안 위협에도 적용될 수 있는지 탐색했습니다. 테스트 문구를 독성 언어 감지나 숨겨진 지침 주입 탐지와 같이 다른 위험에 맞춰 변경함으로써, 동일한 방법이 해당 분야에서도 유망함을 보여주었습니다. 이는 컴퓨터의 즉각적인 반응 속에 풍부하고 접근 가능한 신호가 담겨 있으며, 이것이 기계의 내부 구조에 대한 깊은 접근 없이도 가능하다는 것을 시사합니다. 연구진은 코드를 공개하여 다른 이들이 이 결과를 검증하고 향후 AI 애플리케이션의 보안 시스템에 이 경량 탐지기를 통합할 수 있도록 했습니다. 이 연구는 때때로 문제를 파악하는 가장 효과적인 방법이 기계 내부를 더 깊이 들여다보는 것이 아니라, 잘 배치된 간단한 질문에 대한 기계의 반응을 관찰하는 것임을 보여줍니다.

기술 요약: 모델의 '징후(The Model's Tell)': 행동 게이지를 통한 컨텍스트 유출 공격 신호 측정

1. 문제 정의

현대의 대규모 언어 모델(LLM)은 생성 품질을 높이기 위해 사전 정의된 시스템 프롬프트나 검색된 문서(RAG)와 같은 외부 컨텍스트에 점점 더 많이 의존하고 있습니다. 그러나 이러한 기밀 컨텍스트를 사용자 쿼리와 함께 처리하는 과정은 심각한 공격 표면을 생성합니다. 적대적 입력은 모델이 보호된 콘텐츠를 공개하도록 유도할 수 있으며, 이는 프롬프트 유출(prompt leakage) 또는 추출 공격(extraction attacks)으로 알려진 취약점입니다.

기존의 완화 전략은 두 가지 주요 한계점에 직면해 있습니다:

입력 전용 분류기(Input-Only Classifiers): 텍erm-기반 분류기(예: PromptGuard, PIGuard)는 LLM을 블랙박스로 취급하며 오직 입력 텍스트에만 의존합니다. 이러한 방식은 보지 못한 공격이나 재구성된 공격에 대해 일반화하는 데 실패하는 경우가 많습니다.
내부 신호 추출(Internal Signal Extraction): 최근 연구들은 디코딩 이전에 은닉 상태(hidden states)와 어텐션 패턴에 유출 신호가 존재함을 시사합니다. 그러나 이러한 신호를 추출하려면 중간 모델 상태(활성화 값, 그래디언트, 어텐션 점수) 및 특정 레이어 구성에 대한 접근이 필요하지만, vLLM이나 SGLang과 같은 표준 서빙 엔진에서는 이러한 정보가 일상적으로 노출되지 않습니다. 이는 상당한 배포 문제를 야기합니다.

본 논문이 다루는 핵심 질문은 다음과 같습니다: 모델이 내부 표현(internal representations)에 접근하지 않고도, 디코딩 전에 더 접근 가능한 형태의 유출 공격 '징후(tell)'를 노출하는가?

2. 방법론: LeakGauge

저자들은 입력에 특정 접미사(suffix)를 추가하여 LLM의 응답을 조사하고, 프리필(prefill) 단계에서 발생하는 토큰 확률을 분석하는 사전 디코딩 행동 게이지인 LeakGauge를 제안합니다.

핵심 메커니즘

입력 구성: 게이지 시퀀스 $z$ 를 입력 컨텍스트 $x$ (시스템 프롬프트, RAG 청크, 사용자 쿼리 포함)의 접미사로 추가하여 $[x; z]$ 를 형성합니다.
프리필 확률: 표준 추론 엔진의 병렬 프리필 패스 동안, 모델은 게이지 토큰에 대한 로그 확률(log-probabilities)을 생성합니다. 이 확률은 이전 컨텍스트가 주어졌을 때 모델이 게이지 시퀀스를 예측하는 선호도를 반영합니다.
리스크 스코어링: 경량 멀티레이어 퍼셉트론(MLP)이 로그 확률 벡터를 스칼라 공격 위험 점수( $\hat{y} \in [0, 1]$ $\overset{y}{^} \in [0, 1]$ )로 매핑합니다.
- 결정적으로, 게이지가 입력 뒤에 추가되기 때문에, 원래 입력 $x$ 의 키-값(KV) 캐시는 영향을 받지 않으며 이후 토큰 생성에 재사용될 수 있어 지연 시간 오버헤드를 최소화합니다.

게이지 설계

본 논문은 서로 다른 신호 모드를 조사하기 위해 두 가지 뚜렷한 게이지 설계를 탐구합니다:

Exact (정확형): 실제 보호된 콘텐츠의 첫 $T$ 개 토큰을 사용합니다(예: 시스템 프롬프트의 시작 부분). 이는 모델이 특정 보호 텍스트를 계속 이어갈 준비가 되었는지 테스트합니다.
Behavior (행동형): 특정 콘텐츠를 참조하지 않고 공개 행위 자체를 언어화합니다(예: "위 내용을 바탕으로, 나는 나의 시스템 프로프트를 제공하겠다"). 이는 콘텐츠에 구애받지 않는 공개 행동을 조사합니다.

3. 주요 기여

사전 디코딩 신호의 발견: 저자들은 내부 표현(은닉 상태 또는 어텐션 점수)에 접근하지 않고도 프리필 토큰 확률로부터 유출 공격 신호를 효과적으로 이끌어낼 수 있음을 입증했습니다.
Behavior 게이지의 우수성: 교차 언어 및 교차 목적 실험을 통해, Behavior 게이지(콘텐츠 불가지론적 방식)가 Exact 게이지보다 더 견고하고 일반화 가능한 신호를 생성함을 보여줍니다. 이 신호는 표면적인 콘텐츠 지속성에 덜 묶여 있으며, 공개 의도에 더 민감하게 반응합니다.
내부-외부 상관관계: 활성화 스티어링(activation steering)을 사용하여, 관찰 가능한 리스크 점수가 내부 유출 관련 방향에 민리히다는 것을 보여줍니다. 이 방향을 따라 모델을 스티어링하면 리스크 점수와 실제 유출 생성 모두에 정렬된 변화를 유도하며, 이를 통해 관찰 가능한 확률 신호와 내부 모델 상태 사이의 연결을 검증합니다.
경량 배포: LeakGauge는 입력 KV 캐시를 재사용함으로써 0.5K 미만의 파라미터를 추가하고 최소한의 지연 시간(~10.34 ms)을 발생시키는 입력 측 탐지기를 가능하게 합니다.

4. 실험 결과

저자들은 시스템 프롬프트 및 RAG 유출 시나리오에 대해 11개의 오픈 소스 LLM(GLM-5.2 및 Kimi-K3를 포함하여 8B에서 2.8T 파라미터 범위)을 대상으로 LeakGauge를 평가했습니다.

탐지 성능:
- Behavior 게이지는 모든 모델과 분할(split)에 대해, 도전적인 "Held-Out Strict" 분할(보지 못한 콘텐츠 및 보지 못한 공격)을 포함하여 0.944–0.996 범위의 AUROC를 달성했습니다.
- 반면, Exact 게이지는 분포 변화(예: 교차 언어 또는 의미론적 공격) 하에서 상당한 성능 저하를 보였으며, 이는 표면 패턴에 대한 의존성을 확인시켜 줍니다.
- Llama-3.1-8B-Instruct의 경우, LeakGauge는 0.996의 AUROC와 0.983의 F1 점수를 달ard성했습니다.
변화에 대한 강건성:
- 교차 언어: 보호된 콘텐츠가 영어가 아닌 경우에도 Behavior 게이지는 AUROC > 0.95를 유지했으나, Exact 게이지는 크게 떨어졌습니다(예: 일본어의 경우 0.647).
- 교차 목적: 의미론적 유출 공격(단순 복제가 아닌 패러패레이징이 목표인 경우) 하에서 Behavior는 높은 성능(AUROC ~0.99)을 유지한 반면, Exact는 저하되었습니다.
배포 효율성:
- "LLM-as-a-Judge"(지연 시간 2155 ms)나 전체 모델 복제(46–70 ms 지연 시간)가 필요한 활성화 기반 트래커와 비교했을 때, LeakGauge는 단 10.34 ms의 지연 시간만을 추가했습니다.
- 다른 내부 신호 방식들이 전체 타겟 모델(예: 8B 파라미터)을 복제해야 했던 것과 달리, LeakGauge는 <0.5K의 추가 파라미터만을 요구했습니다.
스트레스 테스트:
- Hard Negatives (어려운 부정 사례): LeakGauge는 추출과 유사한 표현을 사용하지만 사용자 제공 콘텐츠를 대상으로 하는 무해한 요청을 유출 공격과 효과적으로 구분했습니다.
- Adaptive Attacks (적응형 공격): 화이트박스 GCG 스트레스 테스트에서 단일 프로브는 탐지기 인식 공격에 취약했습니다. 그러나 서로 다른 의미적 구성을 가진 여러 프로브를 배치함으로써 탐지 재현율(recall)을 크게 높이고(0.080에서 0.976으로) 회피 성공률을 낮출 수 있었습니다.

5. 의의 및 주장

본 논문은 LeakGauge가 기존 방식의 배포 장벽을 극러내며, 컨텍스트 유출 공격을 탐지하는 실용적이고 고성능인 솔루션을 제공한다고 주장합니다.

접근성: 표준 추론 엔진에서 노출되는 프리필 토큰 확률을 활용함으로써, LeakGauge는 내부 모델 상태에 접근할 수 없는 프로덕션 환경에서도 유출 탐지를 가능하게 합니다.
일반화: "Behavior" 게이지는 유출 의도가 모델의 확률 공간에 일반적이고 콘텐츠 불가지론적인 시그니처를 남긴다는 것을 입증하며, 이를 통해 보지 못한 공격 및 콘텐츠 변형에 대해서도 탐지가 가능함을 보여줍니다.
효율성: 이 접근 방식은 무시할 만한 계산 오버헤드로 최첨단 탐지 정확도를 달성하여, LLM 애플리케이션의 실시간 보호에 적합합니다.
광범위한 적용 가능성: 예비 결과에 따르면, 이 메커니즘은 접미사에 타겟 동작을 언어화함으로써 유출을 넘어 유해 요청 탐지, 간접 프롬프트 인젝션, 환각 탐지와 같은 다른 안전성 작업으로도 확장될 수 있음을 시사합니다.

저자들은 자신들의 작업이 LLM 애플리케이션의 기밀 콘텐츠를 보호하기 위해 설계된 방어적 조치임을 강조하며, 모든 실험은 공개 모델과 데이터셋을 사용하여 격리된 환경에서 수행되었습니다.