Omission Constraints Decay While Commission Constraints Persist in Long-Context LLM Agents

1. 문제 정의 (Problem Definition)

대규모 언어 모델 (LLM) 에이전트는 실제 운영 환경에서 수백 번의 대화 턴 (Turn) 을 거치며 수만 토큰의 컨텍스트를 축적합니다. 기존 안전성 평가 (Safety Evaluation) 는 이러한 긴 컨텍스트 하에서도 시스템 프롬프트로 정의된 행동 정책 (예: 자격 증명 유출 금지, 데이터 유출 금지, 무단 실행 금지 등) 이 유지된다고 가정합니다.

하지만 본 논문은 다음과 같은 비대칭적 취약점을 발견했습니다:

• 생략 제약 (Omission Constraints, 금지 사항): "무엇을 하지 말아야 한다"는 금지 규칙 (예: 불릿 포인트 사용 금지, 내부 호스트명 노출 금지) 은 컨텍스트가 길어질수록 준수율이 급격히 떨어집니다.
• 수행 제약 (Commission Constraints, 요구 사항): "무엇을 반드시 해야 한다"는 요구 규칙 (예: 특정 ID 포함, 특정 접두사 사용) 은 긴 컨텍스트에서도 높은 준수율을 유지합니다.

이러한 안전성 - 회상 이격 (Security-Recall Divergence, SRD) 현상으로 인해, 에이전트는 수행 제약 (감시 신호) 을 잘 지키는 것처럼 보이지만, 실제로는 금지된 행동 (생략 제약 위반) 을 저지르고 있을 수 있습니다. 이는 표준 모니터링으로는 탐지되지 않는 '보이지 않는 실패'를 초래합니다.

2. 연구 방법론 (Methodology)

저자는 12 개의 모델과 8 개의 제공업체를 대상으로 4,416 회 실험을 수행한 3 가지 팔 (Arm) 의 인과적 연구 설계를 적용했습니다.

• 실험 환경: 합성된 DevOps 디버깅 시나리오를 사용하며, 6 가지 다른 대화 깊이 (Turn 5, 10, 13, 16, 20, 25) 에서 테스트했습니다.
• 3 가지 실험 팔 (Three-Arm Causal Design):
  1. Arm A (No-Dilution Control): 대화 깊이만 증가시키고 추가 토큰을 주입하지 않음.
  2. Arm B (Schema Dilution / Experimental): 클라우드 인프라 도구 스키마 20 개를 추가하여 약 10,000 토큰의 구조화된 오버헤드를 주입. (공격 시나리오: Context-Exhaustion Injection, CEI)
  3. Arm C (Token-Matched Padding Control): Arm B 와 동일한 토큰 수를 가지지만 의미론적으로 중립적인 (Cloud semantics 없는) 내용으로 채움. (토큰 양 vs 의미적 내용의 영향 분리)
• 제약 조건 프레임워크: 8 가지 행동 제약 조건을 사용 (3 가지 수행 제약, 5 가지 생략 제약). 모든 규칙은 시스템 프롬프트로 전달되며 RLHF(강화학습을 통한 인간 피드백) 와 무관한 포맷팅 규칙으로 설정되어, 모델의 학습된 안전성 편향과 구분했습니다.
• 측정 지표:
  • 안전 턴 깊이 (Safe Turn Depth, STD): 생략 제약 준수율이 50% 로 떨어지는 턴 깊이.
  • SRD 확인: 수행 제약은 통과 (100% 준수) 하되, 생략 제약이 실패하는 경우를 취약점으로 간주.

3. 주요 기여 (Key Contributions)

1. 새로운 비대칭성 발견 (Novel Asymmetry): 컨텍스트 압력 하에서 금지 사항 (생략) 은 붕괴되지만 요구 사항 (수행) 은 유지된다는 현상을 최초로 정량화했습니다. 기존 평가는 이를 구분하지 못해 위험을 간과했습니다.
2. 인과적 증거 (Causal Evidence): 토큰 양과 의미적 내용 (Semantic Content) 을 분리한 3 팔 설계를 통해, 스키마의 의미적 내용이 희석 효과의 62~100% 를 차지함을 입증했습니다. 단순 토큰 양 증가뿐만 아니라, 의미 있는 컨텍스트가 주입될 때 주의력 (Attention) 이 분산됨을 확인했습니다.
3. 배포 가능한 지표 (Deployable Metric): 모델별, 제약 조건별 **안전 턴 깊이 (STD)**를 제시했습니다. 이를 통해 재학습 없이도 세션 길이를 제한하거나 주기적으로 제약 조건을 재주입 (Re-injection) 하는 등의 완화 전략을 수립할 수 있습니다.

4. 실험 결과 (Results)

• SRD 현상의 확인: Mistral Large 3, Nemotron Super 120B, Qwen 3.5 등 3 개 모델에서 뚜렷한 SRD 가 관찰되었습니다.
  • Mistral Large 3: Turn 5 에서 생략 제약 (불릿 포인트 금지) 준수율이 73% 였으나, Turn 16 에서는 33% 로 급감했습니다. 반면 수행 제약 (ID 포함) 은 100% 유지됨 ($p < 10^{-33}$).
  • Gemma 4 31B: 363 회 실험에서 거의 100% 준수율을 보이며 면역 조절제 (Immune Control) 역할을 했습니다. 이는 SRD 가 모든 모델에 보편적인 것이 아니라 모델 아키텍처나 학습 방식에 의존적임을 시사합니다.
• 난이도 통제: "어려운 수행 제약 (C8)"과 "어려운 생략 제약 (C3)"을 비교했을 때, 난이도가 동일함에도 수행 제약은 100% 유지되지만 생략 제약은 붕괴되었습니다. 이는 붕괴가 인지적 부하 때문이 아니라 **제약의 유형 (금지 vs 요구)**에 기인함을 증명합니다.
• 공격 시나리오 (CEI): 악의적인 명령 없이도, 합법적인 도구 스키마를 등록하여 컨텍스트를 채우는 것만으로도 보안 정책이 무력화될 수 있음이 입증되었습니다.
• 통계적 유의성: Cochran-Mantel-Haenszel (CMH) 검정에서 SRD 취약 모델들은 통계적으로 유의미한 비대칭성을 보였으나, Gemma 는 유의미한 차이가 없었습니다.

5. 의미 및 시사점 (Significance & Implications)

• 보안 모니터링의 맹점: 현재 에이전트 보안은 "수행 제약 (Audit Signals)"이 정상인지 확인하는 데 의존합니다. 그러나 SRD 로 인해 수행 제약은 정상인 채로 금지된 행동 (자격 증명 유출 등) 이 발생할 수 있어, 기존 모니터링으로는 위험을 탐지할 수 없습니다.
• 메커니즘: **주의력 희석 (Attention Dilution)**이 주요 원인입니다. 시스템 프롬프트 (정책 문서) 가 컨텍스트 윈도우의 맨 앞에 위치하더라도, 뒤로 갈수록 현재 토큰과의 거리가 멀어지며 주의력 가중치가 감소합니다. 수행 제약은 모델의 이전 응답에서 반복적으로 강화 (Self-reinforcement) 되지만, 생략 제약은 부정적인 신호만 남기 때문에 희석되기 쉽습니다.
• 실무적 대응 방안 (Mitigations):
  1. 주기적 제약 재주입 (Periodic Re-injection): STD(안전 턴 깊이) 보다 짧은 간격 (예: Mistral 은 10 턴, Qwen 은 7 턴) 마다 시스템 프롬프트의 금지 규칙을 다시 주입하여 주의력 거리를 초기화합니다.
  2. 안전 토큰 예산 (Safe Token Budget, STB): 모델별 STD 를 기반으로 세션의 최대 토큰 수를 제한합니다.
  • 이 두 가지 방법은 모델 재학습이나 새로운 인프라 없이도 즉시 적용 가능합니다.
• 한계 및 향후 과제: 현재 실험은 포맷팅 규칙 (불릿 포인트 등) 을 프록시로 사용했으므로, 실제 보안 관련 의미론적 제약 (API 키 유출 등) 의 붕괴 속도가 동일한지 추가 검증이 필요합니다. 또한, Arm C(토큰 매칭 패딩) 가 SRD 취약 모델군 (Mistral, Qwen 등) 에 적용되지 않아, 이들 모델에서의 의미적 영향과 토큰 양의 인과적 분리 연구가 필요합니다.

결론

이 논문은 긴 컨텍스트 환경에서 LLM 에이전트의 금지 규칙이 수행 규칙보다 훨씬 취약하다는 근본적인 문제를 최초로 규명했습니다. 이는 단순한 성능 저하가 아닌, 보안 정책의 붕괴를 의미하며, 현재 사용 중인 에이전트 시스템이 긴 대화 세션 중에는 의도치 않게 보안 위반을 저지를 수 있음을 경고합니다. 연구진은 이를 해결하기 위해 재학습 없이 적용 가능한 STD 기반의 세션 관리 및 정책 재주입 전략을 제안했습니다.