기술 요약: 컨텍스트 내의 유령

문제 정의

본 논문은 대형 언어 모델 (LLM) 에이전트에서 결정 시점 컨텍스트 조립 (decision-time context assembly) 중 발생하는 고유한 보안 실패 모드를 정책 운송 실패 (policy-carriage failure) 로 명명하여 식별합니다.

배포된 에이전트 스택에서 모델은 원시 상호작용 기록에 직접 작동하지 않습니다. 대신, 오케스트레이션 계층 ($E$) 이 최종 모델 호출 ($M$) 전에 이전 상태를 잘라내거나, 요약하거나, 재배열하거나, 다시 작성하여 유한한 "결정 상태"($C_t$) 를 조립합니다. 저자들은 보안 경계가 모델 가중치와 가시적인 프롬프트 표면 너머로 확장되어 이 조립 하위 시스템까지 포함한다고 주장합니다.

핵심 위협은 보안 정책, 허용/거부 규칙, 권한 제약과 같은 지시 사항을 담은 상태가 도구 출력, 플래너 메모, 사용자 콘텐츠와 제한된 토큰 예산을 두고 경쟁한다는 점입니다. 조립 과정에서 이러한 지시 사항이 모델이 보기 전에 삭제되거나 약화되거나 재결합된다면, 에이전트는 프롬프트 인젝션, 모델 침해, 또는 영구 메모리 중독 없이도 정책 경계를 넘을 수 있습니다. 공격자는 이러한 실패를 유도하기 위해 스케줄링 압력 (비제어 콘텐츠의 양과 순서) 만 통제하면 됩니다.

본 논문은 이러한 실패를 세 가지 범주로 분류합니다:

1. 퇴거 (Eviction): 지시 사항을 담은 상태가 밀려나 결정 상태에 더 이상 도달하지 않는 경우 (가용성 실패).
2. 별칭 (Aliasing): 지시 사항은 생존하지만 의미상 약화되거나, 재작성되거나, 왜곡되어 원래의 작동 경계를 유지하지 못하는 경우 (무결성 실패).
3. 결합 불안정성 (Binding Instability): 지시 사항은 여전히 가시적이지만 잘못된 행위자, 객체, 또는 조건에 재결합되는 경우 (참조 드리프트).

방법론

이 연구는 로컬 정렬 모델인 Llama 3.1 8B, Qwen 2.5 7B, Mistral 7B를 대상으로 통제된 폐쇄 캠페인을 통해 이러한 실패 모드를 평가하며, Qwen 2.5 14B와 Llama 3.1 70B로 확장합니다.

실험 설정

• 예산 체제: 고의적으로 엄격한 260 토큰 결정 시점 예산. 이는 시스템 발판, 도구 추적, 요약, 최종 쿼리 간의 현실적인 트레이드오프를 강제하여 정책 경쟁을 관찰 가능하게 만듭니다.
• 공격 벡터: 지시 사항을 담은 구간 대비 "채움" 콘텐츠 (도구 출력, 플래너 메모) 의 순서와 양을 변경하여 퇴거, 별칭, 결합 불안정성을 유도하도록 시나리오를 구성합니다.
• 지표:
  • 정확한 제약 유지율 (ECR): 최종 답변이 적용 가능한 모든 제약을 정확히 준수하는지 여부.
  • 제약 생존율 (CSR): 부분적 준수를 측정하는 등급화된 척도.
  • 결정 전환율 (DFR): 프롬프트 순서만 변경하여 제어 결과를 전환하는지 여부.
  • 직접 보존율 (DPR): 모델 호출 전에 제약 마커가 명시적으로 보이는지 확인하기 위해 조립된 결정 상태를 직접 감사합니다.

개입: SafeContext

저자들은 모델 가중치를 수정하지 않고 조립 과정에 개입하는 제어 계층인 SafeContext를 제안하고 평가합니다. 그 메커니즘은 다음과 같습니다:

• 입력 통제 (LPC): 예산 경쟁 전에 들어오는 세그먼트를 "정책" 또는 "데이터"로 분류합니다.
• 의미적 제어 고정 (SCP): 지시 사항을 담은 상태를 위한 보호된 예산을 예약하고 이를 결정 상태에 고정합니다.
• 캐시 인식 접두사 재사용: 토큰 재직렬화 비용을 피하기 위해 턴 간에 유지된 제어 접두사를 재사용합니다.
• 침투적 컨텍스트 엔지니어링 (ICE): 입력 토큰 압력이 임계값을 초과할 때 (보안 반감기) 최종 쿼리 근처에서 짧은 제어 알림을 트리거합니다.
• 권한 결합 점수 (ABS) 감시자: 생존한 지시 사항이 의도된 객체에 여전히 결합되어 있는지 검증합니다.

주요 결과

1. 체계적인 완화되지 않은 위험 (C1)

완화되지 않은 위험은 체계적입니다. 저예산 체제에서 모든 모델과 공격 계열에 걸쳐 정확한 제약 준수 (ECR) 는 극도로 낮습니다.

• 퇴거와 별칭이 지배적인 실패 모드입니다.
• 결합 불안정성은 더 작고 노이즈가 많습니다.
• 완화 조치 없이는 지시 사항을 담은 구간이 모델 호출 전에 일반 기록에 의해 자주 밀려나거나 약화됩니다.

2. 강력한 압축에 대한 잔류 효과 (C2)

완화 조치의 효과는 경쟁하는 조립 정책에 크게 의존합니다.

• 단순 잘라내기에 대해 SafeContext 는 ECR 에서 작지만 긍정적인 향상을 제공합니다 (예: SCP+ICE 의 경우 약 0.027 에서 약 0.061 로 상승).
• 강력한 구조적 압축 (B2+) 에 대해서는 집계된 상승폭이 대부분 사라집니다. 잔류 이익은 거의 전적으로 오버플로우 퇴거 (압력이 가장 높은 경우) 와 특정 별칭 슬라이스에 집중됩니다.
• 재플레이 전용 (제약 단순 반복) 은 효과를 설명하지 않습니다. 이익은 단순한 최근성 (recency) 이 아니라 제어 상태의 특정 처리 (고정 및 격리) 에서 비롯됩니다.

3. 이질성과 규모 (C3)

• 효과는 반복적이지만 이질적입니다. 완화 이익의 부호와 크기는 모델 사전 지식과 특정 조립 정책 간의 상호작용에 따라 달라집니다.
• 더 큰 모델 (14B, 70B) 은 현상을 지우지 않습니다. Qwen 14B 는 별칭에서 긍정적인 결과를 보이지만, Llama 70B 는 여전히 정책 조건적입니다. 규모가 실패 모드를 단순한 "더 큰 모델" 효과로 붕괴시키지 않습니다. 지배 규칙은 여전히 결정 시점에 실시간으로 도달하고 정확히 표현되어야 합니다.

4. 비용 - 편익 프로파일 (C4)

SafeContext 는 보안과 오버헤드 간의 조정 가능한 트레이드오프를 도입합니다:

• SCP (입력/고정): 낮은 비용 (~+5 토큰) 과 modest 한 ECR 향상.
• SCP+ICE: 더 높은 비용 (~+37 토큰) 과 더 높은 ECR 향상.
• SCP+캐시+ICE: 고정된 제어 세그먼트의 재직렬화를 피함으로써 총 토큰 수를 실제로 감소시킬 수 있습니다 (~-365 토큰), 동시에 가장 높은 ECR 향상을 달성합니다.
• "보안 이익"은 균일하지 않습니다. 제어 상태를 담은 상태가 가장 큰 압력을 받는 곳에서 가장 두드러집니다.

중요성과 주장

본 논문은 결정 시점 컨텍스트 조립이 LLM 에이전트의 제어 경로에서 측정 가능하고 고유한 부분이라고 주장합니다.

• 위험 모델 전환: 보안은 모델 가중치나 최종 프롬프트 표면으로 제한될 수 없습니다. 컨텍스트를 조립하는 하위 시스템 ($E$) 은 신뢰할 수 있는 컴퓨팅 기반 (TCB) 의 일부입니다. 공격자는 악성 문자열을 주입할 필요가 없습니다. 지시 사항을 dropped 하거나 약화시키도록 스케줄링 압력을 조작하기만 하면 됩니다.
• 실패 분해: 본 논문은 일반적인 "장기 컨텍스트 저하"를 넘어 특정 제어 상태 실패로 이동하는 실패 분류 (퇴거, 별칭, 결합 불안정성) 를 운영화합니다.
• 부분적 강화: 완화 후에도 절대적인 정확한 준수는 여전히 낮지만, 지시 사항을 담은 상태에 대한 표적 처리 (입력, 고정, 압력 유발 강화) 는 시스템을 부분적으로 강화할 수 있습니다.
• 설계 함의: 지시 사항을 담은 상태는 일반 대화 또는 도구 생성 컨텍스트와 구별되는 1 급 런타임 상태로 취급되어야 합니다. 기회주의적 압축에 노출되는 것이 아니라 명시적인 입력 경로, 예약된 예산, 무결성 감사를 요구합니다.

저자들은 더 큰 윈도우와 일반적인 메모리 개선이 이 문제를 제거하지는 않지만, 유한 조립에서의 정책 운송에 대한 특정 실패는 오케스트레이션 계층 개입을 통해 분해, 측정, 그리고 부분적으로 완화될 수 있다고 결론지었습니다.