기술 요약: 플로트(Float) 속에 숨기기

문제 정의

간접 프롬프트 주입(indirect prompt injection) 및 콘텐츠 주입에 대한 현재의 LLM 파이프라인 방어 기제는 악성 신호가 검사 대상 데이터 뷰(원시 설정 또는 재구성된 보고서) 내에 텍스트로서 가시적이라는 중앙 집중적 가설에 의존한다. Prompt Guard, Llama Guard, 스키마 정규식 게이트(schema regex gates), 스포트라이팅(spotlighting)과 같은 방어 체계는 문자열을 스캔하여 명령형 지시문이나 알려진 공격 패턴을 찾아내는 방식으로 작동한다.

본 논문은 이 가설이 깨지는 실패 모드를 식별한다. 저자들은 파이프라인이 보조 수치 채널(예: 절차적 생성 파라미터, 임베딩 배열, 또는 셰이더 유니폼)을 LLM에 노출할 때, 악성 페이로드가 구조화된 부동 소수점(float) 파라미터로 전달될 수 있음을 입증한다. 이들이 재구성될 때, 페이로드는 연속적인 산문(prose)이 아닌 파편화된 텔레메트리(예: hex dump)처럼 보일 수 있다. 결과적으로, 텍스트 전용 검사 계층은 악성 신호를 감지하는 데 실패하는데, 이는 신호가 검사된 뷰 내에서는 텍스트로 보이지 않거나, 모델의 컨텍스트에 진입한 후에야 비로소 텍스트로 나타나거나, 혹은 아예 텍스트로서 존재하지 않기 때문이다.

방법론

위협 모델

본 연구는 사용자가 제출한 구조화된 자산(예: 절차적 생성 설정)이 신뢰할 수 있는 파서에 의해 인간이 읽을 수 있는 보고서로 재구성되고, 이후 LLM에 의해 요약되거나 분석되는 파이프라인에 초점을 맞춘다.

• 공격자: 상류(upstream)의 수치 배열과 자산 필드를 제어하지만, 재구성 코드, 시스템 프롬프트, 또는 모델 가중치는 제어하지 못한다.
• 방어자: 정규식 게이트, 기성 분류기, 또는 미세 조정된 모델을 사용하여 원시 상류 설정, 재구성된 보고서, 또는 둘 다를 검사할 수 있다.
• 목표: 페이로드가 부동 소수점 배열에 숨겨져 있고 비산문(non-prose) 데이터로 재구성되는 경우, 텍스트 전용 검사가 공격을 탐지할 수 있는지 여부를 결정한다.

스테가노그래피 캐리어(Steganographic Carriers)

저자들은 탐지 경계를 테스트하기 위해 두 가지의 새로운 캐리어와 한 가지의 절제(ablation) 캐리어를 도입한다:

1. T2 (스펙트럴 계수 스테가노그래피): 조화 계수(harmonic coefficients)를 나타내는 부동 소수점 값의 낮은 소수점 자리 숫자에 페이로드 문자를 인코딩한다. 원시 설정에는 텍스트가 없으나, 재구성을 통해 이 부동 소수점들을 다시 연속적인 산문으로 디코딩하여 "스펙트럴 분석 노트(Spectral Analysis Note)" 내에 배치한다.
2. T3 (IFS 유도 부동 소수점 배열 캐리어): 반복 함수 시스템(Iterated Function System, IFS)을 사용하여 페이로드 바이트를 포함하는 수축 사상(contraction map)을 구동한다. 그 결과로 생성된 $(x, y)$ 궤적은 두 개의 협응된 부동 소수점 배열로 저장된다.
   • 대응책: 균등한 조화 데이터로부터의 1차 분리 가능성을 줄이기 위해 저자들은 다음을 적용한다:
     • 백색화(Whitening): 페이로드 바이트를 의사 난수 스트림과 XOR 연산하여 문자 빈도 편향을 제거한다.
     • 유계 지터(Bounded Jitter): 좌표에 결정론적 노이즈($\epsilon \sim U[-0.04, 0.04]$)를 추가한다.
     • 결정론적 셔플(Deterministic Shuffle): 배열을 순열(permutation) 처리하여 순차적 자기상관 신호를 끊는다.
   • 재구성: 페이로드는 디코딩되어 ASCII 사이드바가 포함된 xxd 스타일의 헥스 덤프(16바이트씩 한 줄)로 렌더링된다. 이 형식은 연속적인 산문을 포함하지 않으며, 오직 파편화된 헥스 문자열만을 포함한다.
3. T1b-abl (절제 모델): 페이로드를 원시 설정 내에 순수 산문 형태로 저장하지만, 재구성은 T3와 동일하게 헥스 덤프로 수행한다. 이는 재구성 계층의 파편화 효과를 격리한다.

실험 설정

• 모델: 세 가지 상용 LLM (OpenAI GPT-5.4, Google Gemini 3.1 Flash-Lite, Anthropic Claude Sonnet 4.6).
• 방어 체계: 네 가지 구성: 없음(None), 경계 프롬프트(Boundary Prompt, 시스템 프롬프트 강화), 스키마 게이트(Schema Gate, 재구성된 보고서에 대한 정규식), 그리고 이중 계층 분류기 앙상블(Dual-Layer Classifier Ensemble, Prompt Guard 2 + 본 연구의 페이로드 텍스트로 미세 조정된 TF-IDF).
• 규모: 세 모델에 대해 14,400회의 공격 시도와 4,800회의 클린(clean) 시도.
• 지표:
  • 누출 ASR (Leakage ASR): 출력 내 타겟 문자열의 존재 여부 (정보 누출).
  • 강력한 ASR (Strong ASR): 구조적으로 준수하는 성공 여부 (예: 첫 150자 내 마커 존재, 주입된 템플릿 재현).
  • 탐지율 (Detection Rate): 방어 체계에 의해 차단된 공격의 비율.

주요 결과

핵심 발견: 텍스트 전용 검사의 실패

T3 캐리어는 가장 강력한 텍스트 중심 방어 체계(Prompt Guard 2 + TF-IDF 앙상블)에 대해 94.3%의 Leakage ASR을 달성했다.

• 비교: 동일한 페이로드 텍스트가 일반 형태(T0)로 존재할 때는 동일한 방어 체계에 의해 차단되었다 (0% ASR).
• 메커니즘: T3 캐리어는 원시 계층에서 텍스트 신호를 제거하고, 재구성 계층에서 이를 헥스 덤프로 파편화한다. 검사된 어떤 텍스트 뷰에서도 공격의 산문 증거를 찾을 수 없다.
• 재현: 미세 조정된 roberta-base 탐지기는 이 패턴을 재현하여, 모든 산문 가시적 캐리어(T0, T2)는 잡아냈으나 T3는 전혀 잡지 못했다 (0% 탐지). 분류기의 T3 샘플에 대한 피크 신뢰도는 0.225로, 임계값인 0.5보다 훨씬 낮았다.

절제 분석 (2x2 분해)

2x2 절제 분석을 통해 회피에 필요한 메커니즘을 격리하였다:

• T0 (산문/산문): 두 계층 모두에서 차단됨.
• T2 (스테고/산문): 원시 계층 검사는 회피했으나, 재구성 계층에서 차단됨 (산문이 가시적임).
• T1b-abl (산문/헥스): 재구성 계층의 산문 스캐닝은 회피했으나, 원시 계층 검사에서 차단됨.
• T3 (스테고/헥스): 두 계층 모두를 회피함.
  이는 데이터 계층의 스테가노그래피와 재구성 계층의 파편화가 모두 이중 계층 텍스트 검사를 무력화하는 데 필요함을 확인시켜 준다.

모델별 성능

• GPT-5.4: 가장 높은 ASR (전체 68.5%, 분류기 하의 T3는 97.0%).
• Claude Sonnet 4.6: 거절(refusal) 현상으로 인해 상대적으로 낮은 ASR (전체 50.8%)을 보였으나, T3는 분류기 하에서도 여전히 92.3%의 ASR을 달성함.
• Strong ASR: 분류기 방어 하에서도 T3는 상당한 수준의 구조적 준수 성공(예: 조작된 메타데이터 주입의 경우 81.6%)을 보였으며, 이는 모델이 명령(imperative)을 "거절"하더라도 다운스트림 시스템이 재현된 마커에 따라 동작할 수 있음을 입증한다.

탐지 경계

• Zero-Shot Prompt Guard 2: 일반 텍스트(T0)를 포함한 모든 페이로드를 0% 탐지했다. 저자들은 이를 일반적인 구조적 실패가 아니라, 분포 외(out-of-distribution) 범위 불일치로 해석한다. 즉, 가드 모델은 명령형 오버라이드를 대상으로 하지만, 페이로드는 선언적 메타데이터이다.
• 형식 인식 패치 (Format-Aware Patch): 스키마 게이트에 xxd 라인 탐지기를 추가한 단순한 조치로 T3 ASR을 0%로 줄일 수 있었다. 그러나 저자들은 이것이 프레젠테이션 특화적인 시그니처일 뿐, 해당 캐리어 클래스에 대한 일반적인 방어는 아니라고 언급한다.

의의 및 주장

본 논문은 감지 불가능한 익스플로잇이나 모든 구조화된 입력 파이프라인에 대한 보편적 취약성을 제시한다고 주장하는 것이 아니다. 대신, 특정 파이프라인 아키텍처에서 텍스트 전용 검사의 재현 가능한 실패 경계를 확립하는 데 목적이 있다.

1. 텍스트 중심 방어의 한 한계: 주요 기여는 파이프라인이 텍스트 형태의 신호가 모델 컨텍스트에 진입하기 전까지(혹은 진입한 후에야) 보이지 않는 캐리어를 허용할 때, 텍스트 전용 가드레일(Prompt Guard, Llama Guard, regex)이 불충분하다는 것을 입증한 것이다.
2. 캐리어 대 콘텐츠: 본 연구는 캐리어가 탐지 가능성을 결정하며, 콘텐츠 자체가 결정하는 것이 아님을 증명한다. 동일한 페이로드는 산문으로 보일 때는 차단되지만, 부동 소수점에 숨겨져 헥스로 파편화되면 성공한다.
3. 선언적 메타데이터 리스크: 공격이 성공하는 이유는 페이로드가 명령형 지시문이 아닌 선언적 메타데이터(예: "감사 설정 토큰")로 프레임화되었기 때문이다. 이는 명령형 오버라이드를 거부하도록 훈련된 방어 체계의 안전 훈련 분포와의 불일치를 이용한다.
4. 제한적 범위: 저자들은 이 기여가 감지 불가능한 익스플로잇이 아님을 명시적으로 밝힌다. 현재의 T3 구현은 의미론적 검증(유효한 IFS 어트랙터 확인)이나 형식 특화된 헥스 덤프 탐지기를 통해 탐지 가능하다. 의의는 (보조 수치 채널의 신뢰할 수 있는 재구성이 이루어지는) 특정 조건 하에서 텍스트 기반 안전 가설이 실패하는 지점을 식별했다는 데 있다.