기술 요약: 생성하지 말고 증폭하라: 완만한 연소형 프롬프트 인젝션을 위한 시계열 누적(Temporal Accumulation)

1. 문제 정의

도구 사용 언어 모델 에이전트의 핵심 보안 과제는 프롬프트 인젝션이다. 이는 신뢰할 수 없는 채널(웹 페이지, 도구 출력, 저장소 파일 등)에 있는 적대적 텍스트가 에이전트의 제어 평면(control plane)을 가로채는 현상을 말한다. 현재의 방어 프리미티브는 **이벤트별 탐지(per-event detection)**에 의존한다. 즉, 개별 메시지나 도구 출력의 점수를 매기고, 단일 이벤트가 임계값을 초과하면 경보를 발생시키는 방식이다.

이러한 접근 방식은 완만한 연소(slow-burn) 체제라고 불리는 구조적 사각지대를 가지고 있다. 공격자는 긴 궤적(trajectory) 전체에 걸쳐 개별적으로는 무해해 보이는 지시사항들을 분산 배치할 수 있다(예: "이 원격지로 푸시하라", "이 URL을 사용하라", "환경 파일을 포함하라"). 각 단계는 탐지 임계값 아래에 머물러 경보를 피하면서도, 전체적인 효과는 데이터 유출이나 제어 평면 탈취라는 결과로 이어진다. 유효한 오탐률(false-positive rate)을 유지하도록 튜닝된 이벤트별 탐지기는, 이러한 조용한 단계들을 포착하기 위해 임계값을 낮추는 순간 무수한 정상적인 에이전트의 잡담(chatter)에 파묻히게 된다.

본 연구의 연구 질문은 **프록시 측 시계열 누적기(proxy-side temporal accumulator)**가 피크(peak) 및 누적 합(CUSUM) 지속성 통계를 사용하여 궤적 전반에 걸친 하위 임계값 점수들을 집계함으로써, 분산된 신호를 복구할 수 있는지 여부이다.

2. 방법론 및 실험 설정

동결된 계약(Frozen Contract)과 반-순환성(Anti-Circularity)

결과가 과적합(overfitting)의 산물이 아님을 보장하기 위해, 본 연구는 엄격한 "동결된 계약"과 반-순환성 분리를 강제한다:

• 생성기 ($D_{gen}$): 공격 생성기가 그래프트(graft)를 정교화하기 위해 사용하는 (격리된) 자기회귀적 LLM 판사이다. 이는 해당 이벤트가 얼마나 강력하게 제어 평면 이동처럼 보이는지를 점수 매긴다. 생성기는 평가자에게 접근할 수 없다.
• 평가자 ($D_{eval}$): "기록용 탐지기"로서, 선형 n-gram 분류기와 임베딩 대조 헤드(embedding-contrastive head)로 구성된 동결된 앙상블이다. 생성기는 이 모델을 결코 볼 수 없다.
• 전이 요구사항(Transfer Requirement): 그래프트는 $D_{gen}$ 하에서 임계값 미만이어야 하며, 순수하게 **교차 계열 전이(cross-family transfer)**를 통해 $D_{eval}$ 하에서도 임계값 미만으로 유지되어야 한다. 즉, 평가자에 대한 최적화를 통해서가 아니라 전이를 통해 달성되어야 한다.
• 플로어 저지(Floor Judge): 격리된 LLM이 그래프트가 실제 실행된 액션 엣지(action edges)에 결속된 기계 추출 가능한 지시사항을 포함하고 있는지 검증하여, 퇴보적인 "빈(empty)" 그래프트 생성을 방지한다.

누적 메커니즘

궤적의 이벤트별 점수 $s_1 \dots s_T$에 대하여:

• 피크(Peak): 궤적 내 최대 점수 ($\max_t s_t$).
• 지속성(Persistence): 0에서 리셋되는 CUSUM 통계량: $g_t = \max(0, g_{t-1} + (s_t - k))$, 여기서 $k$는 양호한 참조 드리프트(benign-referenced drift, 양호한 집단의 중앙값 점수)이다.
• 핵심 제약: CUSUM은 오직 양호한 드리프트 $k$ 위의 점수 질량만을 축적한다. $k$보다 훨씬 낮은 곳에 위치한 그래프트는 밀도가 높더라도 지속성에 기여하지 않는다.

평가 지표

그래프트의 기여도를 캐리어 궤적(carrier trajectories) 고유의 "열기(heat)"와 혼동하지 않기 위해, 주요 종단점은 **그래프트-델타(graft-delta)**이다:
$$\text{m-delta} = \text{m}(\text{native} + \text{grafts}) - \text{m}(\text{native only})$$
이는 매칭된 양호한 샴(sham) 그래프트와 비교하여, 주입된 그래프트에 의해 추가된 지속성 또는 피크 질량을 측정한다.

3. 주요 결과

결과 0: 기초 코호트 (집중된 공격)

단일 이벤트가 이미 스파이크를 일으키는 격리된 집중 공격 세트에서, 궤적 수준의 누적기(피크 또는 지속성)는 이벤트별 포일(foil)보다 통계적으로 우수했다 (AUC +0.092, 95% CI [+0.025, +0.155]). 그러나 집중된 공격에서는 단일 이벤트가 지배적이므로 예상대로 지속성과 피크는 통계적으로 동등했다.

결과 1: Git Repo-Exfil (완만한 연소 검증)

반복적인 git 액션이 있는 깨끗한 GitHub 캐리어에서, 네 개의 분산된 하위 임계값 지시사항을 그래프트했을 때 양의 **지속성-델타(persistence-delta)**가 나타났다:

• 공격 생존자(Attack Survivors): 중앙 지속성-델타 +0.0421.
• 양호한 샴(Benign Shams): 중앙 지속성-델타 +0.0150.
• 분리도: 지속성-델타 AUC = 0.708 (4개의 공격 생존자 대 6개의 양호한 샴).
• 대조군: 매칭된 피크-델타(peak-delta) 대조군은 공격과 샴을 분리하는 데 실패했다 (AUC 0.417).
• 결론: 완만한, 하위 임계값의 상승 밀도가 양호한 샴은 재현하지 못하는 지속성 질량을 축적한다. 이는 밑바탕이 되는 탐지기가 마진(margin)을 제공할 때 시계열 누적이 작동함을 확인시켜 준다.

결과 2: 광범ened 액션 (일반화 실패)

동일한 밀도-4 구성이 더 넓은 범위의 깨끗한 경로 액션(파일 다운로드, 쇼핑 시나리오 등)에 적용되었을 때:

• 결과: 결정적 무효(decisive null). 지속성-델타 AUC = 0.167.
• 원인: 탐지기가 공격과 양호한 액션 모두에 구별 불가능한 점수(~0.42)를 할당했다. 그래프트가 너무 "차갑게(cold)" 배치되어(양호한 드리프트 근처 또는 그 이하), 지속성 질량을 축적하지 못했다.
• 결론: 이 실패는 **센서-마진 실패(sensor-margin failure)**이지, 임계값 실패가 아니다. 누적기는 이벤트별 탐지기가 마진을 제공하지 않는 곳에서 마진을 만들어낼 수 없다.

결과 3: 독립적 전력 공급 (구조적 차단)

본 연구는 **소스 부족(source scarcity)**으로 인해 독립적인 전력 공급(independently powered)을 수행할 수 없었다. git repo-exfil 축은 오직 3~4개의 독립적인 태스크만을 노출한다. 동일한 태스크에 대해 여러 모델을 실행하는 것은 독립적인 증거가 아닌 **의사-복제(pseudo-replicates, 상관관계가 있는 데이터)**를 생성한다. 연구는 이를 현재 벤치마크 환경의 구조적 한계로 보고한다.

4. 주요 기여 및 의의

"마진 증폭기(Margin Amplifier)" 테제

본 논문의 주요 기여는 제한된 메커니즘에 대한 주장이다: 시계열 누적은 세만틱(semantic) 탐지기가 아니라 마진 증폭기이다.

• 이는 이벤트별 탐지기가 공격 단계에 대해 이미 높아진 하위 임계값 점수를 부여하는 경우에만 분산된 신호를 복구할 수 있다.
• 이벤트별 탐지기가 공격과 양호한 액션에 대해 구별 불가능한 점수를 할당하는 경우에는 마진을 만들어낼 수 없다.
• "생산적인 밴드(productive band)"는 좁다 (테스트된 설정에서 약 0.45 ~ 0.50): 그래프트는 지속성을 축적하기 위해 양호한 드리프트보다 높아야 하지만, slow-burn 상태를 유지하기 위해 임계값보다는 낮아야 한다.

방법론적 기여

1. 의사-복제 경고: 본 논문은 에이전트 벤치마크 평가에서 동일한 태스크의 기하학적 구조를 가진 여러 모델 실행을 독립적인 증거로 잘못 계산하는 치명적인 위험을 식별한다. 연구는 진정한 독립성 단위(태스크이지 실행이 아님)에서 재샘플링할 것을 주장한다.
2. 독립성 감사 표준: 저자들은 검증을 위한 "독립성의 사다리"를 도입한다:
   • 데이터 경로 독립성: 동결된 이벤트별 영수증으로부터 수치를 재도출함.
   • 알고리즘 독립성: 수학적 구현의 블라인드 재구현.
   • 스코어링 레이어 신뢰: 모델 점수는 신뢰되지만 버전 핀(version pins)에 의해 제한됨을 인정함.
3. 비-순환적 평가 프로토콜: 공격 생성기(은닉 대상)와 평가자(기록용 탐지기)를 엄격히 분리하여, 전이가 실제적인 것이지 최적화의 산물이 아님을 보장한다.

5. 겸허한 주장 및 한계

저자들은 이것이 배포 가능한 시스템이 아니라 제한된 메커니즘 연구임을 명시한다.

• 새로운 탐지기 없음: 더 나은 이벤트별 탐지기를 제안하는 것이 아니다. 이벤트별 센서는 동결된 상태로 유지된다.
• 좁은 적용 범위: 긍정적인 결과는 실제적인 이벤트별 마진이 존재하는 git repo-exfil 축에 국한된다. 더 넓은 범위의 깨끗한 경로 액션에서는 실패한다.
• 샘플 크기: 긍정적인 발견은 세 개의 독립적인 태스크에 걸친 단 4개의 공격 생존자에 근거한다.
• 신뢰 경계: 산술은 검증되었으나, 이벤트별 점수는 기본적으로 모델 출력의 신뢰성에 의존한다(스코어링-레이어 신뢰).

요약하자면, 본 논문은 시계열 누적이 약하고 분산된 신호를 증폭할 수 있음을 입증하지만, 이는 엄격하게 이벤트별 센서가 공격 단계와 양호한 액션을 구분할 수 있는 능력에 의존한다. 이는 밑바탕이 되는 센서가 세만틱한 분리력을 갖추지 못한 경우, 누적에 과도하게 의존하는 것에 대한 경고이자, 비-순환적인 에이전트 보안 평가를 위한 방법론적 가이드 역할을 한다.