기술 요약: 프롬프트 인젝션 방어의 보안-충실도 트레이드오프 (Security–Fidelity Tradeoffs)

1. 문제 정의

간접 프롬프트 인젝션(indirect prompt injection)에 대한 현재의 LLM 방어 기제들은 심각한 사각지대를 가지고 있다. 즉, 보안을 오직 주입된 명령이 실행되었는지(탈취되었는지) 여부로만 평가한다는 점이다. 이 지표는 질적으로 서로 다른 두 가지 행동을 구분하지 못한다:

1. 충실한 처리 (Faithful Processing): 모델이 주입된 텍스트를 (번역이나 개체명 추출과 같은) 과업에 따라 처리해야 할 신뢰할 수 없는 데이터로 올바르게 취급하는 경우.
2. 억제 (Suppression): 모델이 주입된 텍스트를 무시하거나 억제하여, 이를 버려야 할 노이즈로 취급하고 통째로 삭제하는 경우.

두 행동 모두 악의적인 명령을 따르는 것을 방지하지만, 억제는 콘텐츠의 보존이나 변형이 필요한 과업(예: 번역, 문서 편집, 요약)에서 **충실도 실패(fidelity failure)**를 야기한다. 기존 벤치마크들은 '행동적 분리 가능성(behavioral separability)'—즉, 실행, 처리, 무시라는 서로 구별 가능한 출력을 생성하는 능력—이 부족하기 때문에 이러한 차이를 감지하지 못한다. 결과적으로, 유해할 수 있는 명령형 콘텐츠를 공격적으로 억제함으로써 높은 보안성을 달하는 방어 기제는, 실제로는 애플리케이션의 유용성을 훼손하면서도 견고한 것처럼 보일 수 있다.

2. 방법론: SECFID 벤치마크

이러한 간극을 메우기 위해 저자들은 충실도를 보안과 함께 측정할 수 있도록 설계된 벤치마크인 SECFID를 도입한다.

핵심 설계 원칙: 행동적 분리 가능성

SECFID는 세 가지 뚜렷한 모델 행동이 관찰 가능하고 구별 가능한 출력을 내도록 인스턴스를 구성한다:

• 실행됨 (EXECUTED): 모델이 주입된 명령을 따른다 (예: 프로브 질문에 직접 답변함).
• 처리됨 (PROCESSED): 모델이 주입된 텍스트를 데이터로 취급하여 과업 출력에 포함시킨다 (예: 프로브를 번역하거나, 프로브가 도입한 개체를 리스트에 포함함).
• 무시됨 (IGNORED): 모델이 주입된 텍스트를 억제하여, 프로브가 없는 깨끗한 입력값과 동일한 출력을 생성한다.

과업군 (Task Families)

벤치마크는 이러한 분리 가능성을 보장하기 위해 두 가지 과업군을 활용한다:

1. 전체 텍스트 과업 (번역, 편집): 입력 전체를 보존하거나 변형해야 한다. 만약 프로브가 무시된다면, 출력은 처리된 참조값(processed reference)과 비교했을 때 측정 가능한 누락을 보인다.
2. 부분 텍스트 과업 (개체명 추출, 개수 세기): 특정 요소들을 집계해야 한다. 프로브는 새로운 개체를 도입하거나 개수를 변경하도록 구성된다. 만약 처리된다면, 출력에 이 새로운 요소들이 포함되지만, 무시된다면 포함되지 않는다.

평가 지표

저자들은 행동 레이블로부터 도출된 두 가지 주요 지표를 정의한다:

• 보안성 (Security): $1 - \text{실행률 (Executed Rate)}$. 명령 탈취에 대한 견고성을 측정한다.
• 충실도 (Fidelity): $1 - \text{무시율 (Ignored Rate)}$. 모델이 과업 관련 콘텐츠를 억제하지 않는 능력을 측정한다.
• 안전한 처리 (Safe Processing): 처리되었으면서 실행되지 않은 교집합 ($\text{PROCESSED} \land \neg \text{EXECUTED}$)으로, 이상적인 견고한 행동을 나타낸다.

본 벤치마크는 48개의 모델 구성(Claude, Gemini, GPT와 같은 폐쇄형 API 모델 및 Llama, Gemma, Qwen과 같은 오픈 웨이트 모델 포함)과 4개의 방어 메커니즘(ASIDE, DefensiveTokens, ISE, SECALIGN)에 걸쳐 1,168개의 인스턴스로 구성된다.

3. 주요 결과

보안-충실도 경계선 (The Security–Fidelity Frontier)

실험 결과 근본적인 트레이드오프가 드러났다: 어떤 모델이나 방어 구성도 높은 보안성과 높은 충실도를 동시에 달성하지 못한다.

• 고충실도 모델: 방어 기제가 없는 오픈 웨이트 모델(예: Llama 3.3 70B)은 높은 충실도(96.5%)를 달성하지만 낮은 보안성(47.8%)을 보이며, 종종 인젝션을 실행한다.
• 고보안 방어 기제: 방어된 모델(예: SECALIGN 변형)은 거의 완벽한 보안성(99.3%)을 달성하지만 상당한 충실도 저하(71.0%~73.9%)를 겪는다.
• 경계선: 모델과 방어 기제들은 보안성이 높아질수록 충실도가 낮아지는 역상관 관계를 가진 경계선을 따라 분포한다. 모델 크기를 키우는 것은 이 경계선 상에서 작동 지점을 이동시키지만, 트레이드오프 자체를 제거하지는 못한다.

방어 메커니즘: 복구(Repair) vs 억제(Suppression)

논문은 동일한 보안 점수를 가진 방어 기제들이 서로 다른 메커니즘을 통해 이를 달성함을 보여준다:

• 복구 (Repair): 일부 방어 기제(특히 SECALIGN)는 탈취된 입력을 충실한 처리로 전환한다. 이들은 모델에게 인젝션을 데이터로 취급하도록 가르침으로써 실행을 줄인다.
• 억제 (Suppression): 다른 방어 기제(특히 DefensiveTokens)는 주로 주입된 콘텐츠를 억제함으로써 보안을 달성한다. 이들은 탈취된 입력을 무시된 출력으로 전환하며, 이는 더 높은 충실도 실패로 이어진다.
• 정량적 격차: Llama 3.1 8B에서 SECALIGN은 기본 모델 탈취의 54.0%를 복구하는 반면, DefensiveTokens은 60.3%를 억제한다.

추론(Reasoning)의 영향

추론 능력(예: "생각하기" 모드)을 높이는 것은 일반적으로 실행률을 낮춤으로써 보안성을 향상시키지만, 충실도를 안정적으로 개선하지는 못한다. 많은 경우, 높은 추론 수준은 충실도를 약간 감소시키는데, 이는 추론이 탈취를 줄이기 위한 도구이지 데이터 무결성을 보존하기 위한 메커니즘은 아님을 시사한다.

에이전트 확장 (Agentic Extension)

트레이드오프는 에이전트 설정(도구 사용)에서도 지속된다. 프런티어 API와 SECALIGN 변형 모델들은 도구 사용 시 높은 보안성(94~100%)을 보이지만, 충실도는 31.7%에서 72.6%까지 크게 다양하게 나타나며, 이 트레이드오프가 텍스트 생성을 넘어 일반화됨을 확인시켜 준다.

4. 기여

1. 모호성 식별: 본 논문은 "비실행(non-execution)"이 모호하며, 견고한 명령-데이터 분리와 해로운 데이터 억제를 구분할 수 없음을 확립했다.
2. SECFID 벤치마크: 보안과 충실도를 분리하여, 억제로 인한 숨겨진 비용을 측정 가능하게 만드는 벤치마크를 도입했다.
3. 경험적 트레이드오프 매핑: 48개의 구성을 통해 엄격한 보안-충실도 경계선을 입증하며, 현재의 방어 기제들이 흔히 충실도를 희생하여 보안을 얻는다는 것을 보여주었다.
4. 방어 메커니즘 분석: 동일한 탈취율을 가진 방어 기제들이 탈취를 "복구"(충실한 처리)하는지 아니면 "억제"(콘텐츠 삭제)하는지에 따라 확연히 다름을 밝혀냈다.
5. 배포 의존적 최적성: 최적의 방어 정책은 보편적인 것이 아니라, 보안 침해(탈취)와 충실도 손실(삭제된 구간) 사이의 비용 비율에 따라 달라진다는 결정론적 분석을 제시했다.

5. 의의 및 주장

본 논문은 보안만 측정하는 것은 전체 견고성의 절반만을 측정하는 것이라고 주장한다. 충실도에 대한 언급 없이 보안 지표만을 보고하는 것은 그 보안을 위해 치른 대가를 숨기는 것이다.

• 보편적 정책의 부재: 저자들은 고정된 방어 정책이 모든 곳에 최적일 수는 없다고 주장한다. 올바른 행동(처리할 것인가 vs 필터링할 것인가)은 배포 컨텍스트에 달려 있다. 고충실도 과업(예: 번역)에서는 콘텐츠를 억제하는 것이 용납되지 않지만, 고보안 과업(예: 금융 에이전트)에서는 의심스러운 구간을 억제하는 것이 선호된다.
• 진단에서 처방으로: 본 논문은 주로 진단적이지만, SECFID를 사용하여 방어를 개선할 수 있음을 보여준다. $\text{PROCESSED} \succ \text{IGNORED} \succ \text{EXECUTED}$의 선호 순위를 가진 직접 선호 최적화(DPO)를 적용함으로써, 충실도를 회복하면서 보안을 유지하도록 모델을 억제에서 충실한 처리로 성공적으로 이동시켰다.
• 사회적 함의: 이 연구는 고정된 태스크 불가지론적(task-agnostic) 방어 기제가 경고 없이 데이터 무결성을 훼손하는 "조용한 실패(silent failures)"의 위험을 강조한다. 이는 단일한 보안 점수가 아닌, 배포의 위험 허용 범위에 맞춰 조정 가능하고 투명한 방어 기제를 옹호한다.

결론적으로, 프롬프트 인젝션 방어는 단일 보안 점수가 아닌 **과업 인지적 작동 지점(task-aware operating point)**으로서 보고되어야 하며, 미래의 평가는 모델의 유용성 저하를 은폐하지 않도록 충실도를 명시적으로 측정해야 한다.