기술 요약: 공유 임베딩 시퀀스 모델에서 지시어와 데이터의 불가분성에 관하여

1. 문제 정의

본 논문은 대규모 언어 모델(LLM)이 사용자 입력이 의도된 시스템 지시사항으로부터 모델을 이탈하게 만드는 **프롬프트 인젝션(prompt injection)**에 지속적으로 취약하다는 점을 다룹다. 연구 커뮤니티는 다양한 방어책(예: 지시어 튜닝, 가드레일, 표현 공학 등)을 제안해 왔으나, 이러한 조치들은 견고하고 장기적인 보호를 제공하는 데 지속적으로 실패했다. 저자들은 근본적인 질문을 던진다: 현재의 공유 임베딩 아키텍처 내에서 완벽한 프롬프트 인젝션 방지는 이론적으로 가능한가?

핵심 문제는 신뢰할 수 있는 시스템 지시어와 신뢰할 수 없는 사용자 데이터가 **공유된 표현 파이프라인(shared representational pipeline)**을 통해 처리되도록 설계된 아키텍처적 구조에 있다. 이러한 아키텍처에서 두 입력은 동일한 임베딩 함수를 통해 동일한 벡터 공간으로 매핑되며, 이 과정에서 입력이 모델에 진입하는 순간 "코드"(지시어)와 "데이터"(사용자 입력) 사이의 불변하는 구분이 소멸된다.

2. 방법론 및 공식 프레임워크

2.1 프롬프트 액션 모델 (The Prompted Action Model)

저자들은 시스템을 다음과 같은 프롬프트 액션 모델 $M = (\Sigma, d, E, f, A)$로 정형화한다:

• 공유 임베딩 ($E$): 신뢰할 수 있는 지시어($s$)와 신뢰할 수 없는 사용자 콘텐츠($u$) 모두 동일한 함수 $E: \Sigma \to \mathbb{R}^d$를 통해 매핑된다.
• 액션 공간 ($A$): 토큰 생성 및 제어 권한이 있는 동작(거부, 도구 호출, 정책 라우팅, 메모리 쓰기 등)을 포함한다.
• 보안 속성 (Semantic-Faithful Control - SFC): 저자들은 SFC를 제어 권한이 있는 행동이 (오블리케이션(obfuscation)이나 적대적 접미사와 같은) 의미론적으로 무관한 인코딩의 변형이 아니라, 오직 신뢰할 수 없는 입력의 의미론적 내용에만 의존해야 한다는 요구 조건으로 정의한다.

2.2 이론적 접근 방식

불가능성 증명은 세 가지 뚜렷한 이론적 기둥에 기초한다:

1. 출처 복구 불가능성 (Provenance-Recovery Impossibility): 저자들은 총 변동(Total Variation, TV) 거리를 사용하여, 신뢰할 수 있는 입력과 신뢰할 수 없는 입력이 표현 공간을 공유할 때, 표현의 기원(출처)을 복구하기 위한 베이즈 최적 에러(Bayes-optimal error)가 분포가 서로 소(disjoint)가 아닌 한 반드시 0보다 크다는 것을 입증한다.
2. 제어 경로 노출 (Control-Path Exposure): 표준 어텐션 메커니슘에서 신뢰할 수 없는 콘텐츠가 제어 관련 노드(거부 또는 도구 사용을 결정하는 노드)의 값 집계(value aggregation)에 기여함을 보여준다. 따라서 신뢰할 수 없는 데이터는 제어 출력에 인과적으로 영향을 미친다.
3. 유한 커버리지 불변성 갭 (Finite-Coverage Invariance Gap): 의미론적 동등 클래스(예: 요청의 가능한 모든 인코딩)는 무한하거나 초다항식(super-polynomial) 규모인 반면 학습 데이터는 유한하기 때문에, 공유 파이프라인 내에서만 작동하는 어떤 메커니즘도 모든 가능한 인코딩에 대해 불변성을 보장할 수 없다고 주장한다.

3. 주요 기여

1. 의미론적 충실 제어(SFC)의 정형화: 본 논문은 SFC를 에이전트 시스템을 위한 최소 보안 속성으로 정의하며, 정당한 의미론적 의존성(유해한 요청 거부)과 부당한 표현론적 의존성(인코딩 트릭을 통한 거부 우회)을 구분한다.
2. 불가분성 정리 (The Inseparability Theorem): 저자들은 제어-데이터의 강제된 분리가 없는 공유 임베딩 아키텍처에서는 완벽한 SFC를 보장할 수 없음을 증명한다. 이는 현재의 훈련 방법론에 대한 비판이 아니라, 하나의 불가능성 결과(impossibility result)이다.
3. 폰 노이만 아키텍처와의 구조적 동형성: 본 논문은 LLM의 프롬프트 인젝션을 폰 노이만 머신의 버퍼 오버플로(buffer overflow) 취약점과 정확하게 유사하다고 설정한다. 공유 메모리가 코드와 데이터를 혼동하게 하여 오버플로를 유발하는 것과 마찬가지로, 공유 임베딩은 지시어와 사용자 데이터를 혼동하게 하여 프롬프트 인젝션을 유발한다.
4. 경험적 근거: 저자들은 이론적 가정을 확인하는 측정치를 제공한다:
   • 어휘 중복 (Vocabulary Overlap): 지시어와 사용자 데이터 코퍼스는 대다수의 토큰을 공유하며(61.5%~82.3% 커버리지), 이는 임베딩 충돌을 보장한다.
   • 표현 중복 (Representation Overlap): 은닉 상태(hidden-state) 분포는 깊은 층, 특히 제어 출력과 관련된 층에서도 지시어와 사용자 데이터 간에 구별되지 않는다(높은 MMD 중첩).
   • 행동 오염 (Behavioral Contamination): 실험 결과, 모델이 유해한 페이로드를 거부하더라도 신뢰할 수 없는 토큰이 제어 관련 은닉 상태를 변경하여 출력 프레이밍과 길이를 변화시킨다는 것을 보여줌으로써 제어 경로가 노출되어 있음을 확인했다.

4. 결과 및 발견 사항

• 완벽한 예방의 불가능성: 핵심 결과는 공유 표현 파이프라인 내에서만 작동하는 방어책(예: 더 나은 분류기, 정렬 튜닝 또는 파이프라인 내 필터링)은 완벽한 프롬프트 인젝션 방지를 보장할 수 없다는 것이다.
• 학습의 역할: 현재의 방어책(RLHF, 가드레일 등)은 평균적인 사례의 동작을 개선하는 "패치" 역할을 할 뿐, 구조적 취약성을 제거할 수는 없다. 논문은 애블레이션(abliteration)(거부 능력을 제거하는 가중치 수술)을 예로 들어, 안전성이 공유 공간 내의 취약한 방향으로서 인코딩된 것이지 구조적으로 분리된 회로가 아님을 입증한다.
• 위치/세그먼트 마커의 한계: 저자들은 위치 인코딩과 소프트 세그먼트 마커(예: [INST])가 위치를 인코딩할 뿐 불변하는 출처를 인코딩하는 것은 아니며, 공격자에 의해 위조될 수 있기 때문에 불충분함을 입증한다.
• 정량적 경계: 저자들은 공격자의 계산 예산이 증가함에 따라 신뢰할 수 있는 표현과 적대적 표현을 구별하는 능력이 무작위 추측에 가까워짐(TV 거리가 0에 수렴함)을 보여주는 경계를 도출한다.

5. 의의 및 주장

본 논문은 프롬프트 인젝션이 단순히 패치 가능한 결함이 아니라, 공유 임베딩 아키텍처에 내재된 구조적 취약점이라고 주장한다.

• 아키텍처적 유추: 본 논문의 의의는 프롬프트 인젝션을 폰 노이만 머신의 코드-데이터 혼란과 유사한 것으로 재정의한 데 있다. 버퍼 오버플로가 스택 카나리, ASLR, NX 비트와 같은 계층적 방어와 궁극적으로 메모리 안전 언어를 필요로 했던 것처럼, 프롬프트 인젝션은 지시어와 데이터 채널의 아키텍처적 분리를 필요로 한다.
• 방어에 대한 시사점: 저자들은 "더 나은 학습"이나 "파이프라인 내 분류"에만 의존하는 것은 불충분하다고 주장한다. 성숙한 방어 태세는 다음을 포함해야 한다:
  1. 아키텍처적 완화 조치: 신뢰할 수 있는 제어와 신뢰할 수 없는 콘텐츠 사이의 불변하는 분리 강제 (예: 별도의 인코더, 타입 지정 어텐션).
  2. 런타임 보호: ASLR이나 스택 카나리와 유사한 계층적 방어.
  3. 장기적 패러다임 전환: 공유 임베딩 혼란을 설계 단계에서부터 제거하는 "의미론적으로 안전한" 표현 패러다임으로의 이동.

논문은 유용한 시스템이 사용자 입력을 무시할 필요는 없지만, 완벽한 예방은 불가능하며, 이를 위해서는 아키텍처 수준에서 제어 분리를 강제해야 한다고 결론짓는다. 이러한 분리가 달성될 때까지 프롬프트 인젝션은 LLM 통합 애플리케이션에서 줄일 수 없는 위험 요소로 남을 것이다.