기술 요약: 자기 진화형 스킬에 대한 쿼리 전용 백도어 공격 (Trajectory Poisoning을 통한)

문제 정의

에이전트 스킬은 LLM 에이전트가 재사용 가능한 절차를 인코딩하여 복잡한 작업을 수행할 수 있게 합니다. 전통적인 스킬 습득이 외부 마켓플레이스에 의존하는 반면, **자기 진화형 스킬 시스템(self-evolving skill systems)**은 실행 궤적(execution trajectories)으로부터 스킬을 자동으로 구축하고 업데이트함으로써, 스킬 습득의 주체를 "신뢰할 수 있는" 내부 파이프라인으로 전환했습니다. 이러한 변화는 기존의 스킬 아티팩트(skill artifacts)를 직접 조작하는 스킬 주입 공격을 완화하기 위해 의도되었습니다.

그러나 본 논문은 결정적인 취약점을 식별합니다. 스킬 아티팩트에 대한 직접적인 접근은 제한되어 있지만, 스킬 진화 파이프라인 자체는 여전히 노출되어 있습니다. 쿼리 수준의 접근 권한(태스크를 제출하고 응답을 관찰할 수 있는 능력)을 가진 공격자는 신뢰할 수 있는 진화기(evolver)를 간접적으로 유도할 수 있습니다. 공격자는 오염된 실행 궤적을 유도함으로써, 진화기가 악의적이고 조건적인 동작을 스킬로 통합하도록 만들 수 있습니다. 이는 "신뢰할 수 있는" 내부 구축 프로세스가 백도어를 주입하는 벡터가 되는 새로운 공격 표면을 생성합니다.

방법론: 궤적 백도어 공격 (Trajectory Backdoor Attack, TBA)

저자들은 스킬 파일이나 진화기를 직접 수정하지 않고도 조건부 백도어 규칙을 자기 진화형 스킬에 심기 위해 설계된 쿼리 전용 공격인 **궤적 백도어 공격(TBA)**을 제안합니다. 이 공격은 악의적인 규칙이 명확하게 표현되고, 추론되며, 유지되도록 보장하기 위해 세 가지 핵심 메커니즘에 의존합니다:

1. 역사실적 궤적 유도 (Counterfactual Trajectory Induction):
   대상 악의적 행동은 일반적인 태스크와 무관하므로, 표준 궤적에는 자연스럽게 나타나지 않습니다. TBA는 쿼리 컨텍스트 내에 **쌍을 이룬 역사실적 데모(paired counterfactual demonstrations)**를 구성합니다. 이 쌍은 다음을 보여줍니다:

   • 특정 트리거 조건이 존재할 때, 에이전트는 대상 행동을 수행해야 함 (수락/Accept).
   • 트리거가 없을 때, 에이전트는 해당 행동을 유보해야 함 (거절/Reject).
     이는 실행기(executor)가 단순히 결과만을 보여주는 것이 아니라, 조건적 경계를 명시적으로 입증하는 궤적을 생성하도록 강제합니다.

2. 궤적 수준의 정책 외재화 (Trajectory-Level Policy Externalization):
   조건부 규칙이 진화기의 압축 및 통합 과정에서 소실되는 것을 방지하기 위해, TBA는 **정책 외재화 지침(policy-externalization instruction)**을 포함합니다. 이는 실행기가 태스크를 수행하기 전에 밑바닥에 깔린 규칙(예: "만약 트리거 $c^*$가 존재하면, 행동 $a^*$를 추가하라")을 명시적으로 추론하고 진술하도록 유도합니다. 이는 암묵적인 행동 패턴을 명시적인 텍스트 증거로 변환하여, 진화기가 이를 추출하고 부호화하기 쉽게 만듭니다.

3. 교차 태스크 증거 구축 (Cross-Task Evidence Construction):
   규칙이 단일 태스크의 부수적인 산물이 아니라 재사용 가능한 스킬임을 진화기에게 확신시키기 위해, 공격자는 깨끗한(clean) 태스크를 교차 삽입하면서 다양한 트리거 태스크에 걸쳐 역사실적 및 외재화 지침을 제출합니다. 이는 해당 규칙이 태스크 패밀리 전반에 걸쳐 일반적으로 적용됨을 입증하여, 진화기가 이를 트리거 의존적 컴포넌트로서 영구적인 스킬로 통합하도록 유도합니다.

위협 모델: 공격자는 스킬 아티팩트, 진화기, 또는 궤적 수집 프로세스에 대한 특권 접근 권한이 없습니다. 공격자는 오직 태스크 쿼리를 제출하고 응답을 관찰할 수 있을 뿐입니다. 목표는 정상적인 태스크 유틸리티($\pi_{ben}(q)$)를 유지하면서도, 특정 트리거 조건 $c^*(q)$가 충족될 때마다 대상 행동 $a^*$를 실행하는 오염된 스킬 $s_{poi}$를 생성하는 것입니다.

주요 기여

1. 새로운 위협 벡터: 본 논문은 자기 진화형 스킬 시스템에 특화된 새로운 백도어 위협을 식별하고 정형화하며, 여기서 공격 표면은 아티팩트 조작에서 태스크 쿼리를 통한 궤적 오염으로 이동합니다.
2. TBA 프레임워크: 저자들은 쿼리 수준의 접근 권한만을 사용하여 조건부 백도어를 안정적으로 심을 수 있는 역사실적 유도, 정책 외재화, 교차 태스크 증거를 결합한 방법론인 궤적 백도어 공격(TBA)을 제안합니다.
3. 실증적 검증: 광범적인 실험을 통해 TBA가 서로 다른 스킬 진화 시스템과 백본 모델(backbone models)에 걸쳐 백도어를 성공적으로 심을 수 있음을 입증하였으며, 정상적인 태스크에 대한 높은 유틸리티를 유지하면서도 직접적인 스킬 주입 공격과 대등하거나 이를 상회하는 성공률을 달enc성했습니다.

실험 결과

저자들은 두 가지 스킬 진화 시스템(SkillOpt 및 Trace2Skill)을 대상으로 세 가지 벤치마크(SearchQA, OfficeQA, SpreadsheetBench)에서 네 가지 백본 모델(오픈 웨이트 및 독점 모델 포함)을 사용하여 TBA를 평가했습니다.

• 효과성: TBA는 일관되게 높은 **트리거 공격 성공률(TASR)**을 달성했습니다. 예를 들어, GPT-5.5 백본을 사용하는 Trace2Skill 시스템에서 TBA는 Clean Accuracy (CACC) **98.3%**를 유지하면서 **70.6%**의 TASR을 달성했습니다.
• 베이스라인과의 비교: TBA는 상호작용 전용 베이스라인들을 크게 압도했습니다.
  • 트리거-행동 노출 (Trigger-Action Exposure) (명시적 규칙 없이 행동만을 보여줌)은 훨씬 낮은 성공률을 보였습니다 (예: SkillOpt에서 6.1% vs 45.6%).
  • 명시적 규칙 노출 (Explicit Rule Exposure) (역사실적 사례 없이 규칙만을 진술)은 더 효과적이었으나 여전히 TBA보다는 열등했습니다.
  • TBA의 성능은 쓰기 권한을 가진 오라클(Oracle)인 **직접 스킬 주입(Direct Skill Injection)**에 근접했으며, 일부 지표에서 단 0.6~6.1 퍼센트 포인트의 차이만을 보였습니다. 이는 직접적인 스킬 파일 접근 권한이 없음에도 불구하고 달성한 결과입니다.
• 강건성:
  • 지속성 (Persistence): 백도어는 스킬에 대한 후속적인 정상 업데이트를 통해서도 지속되었습니다.
  • 민감도 (Sensitivity): 공격은 낮은 비율의 트리거 궤적(40개 중 5개)을 사용하거나 기존의 성숙한 스킬을 대상으로 해도 효과적이었습니다.
  • 방어 회피 (Defense Evasion): 기존의 안전 가드 모델(예: GPT-OSS-Safeguard)은 일관되지 않은 보호를 제공했으며, 때로는 공격 성공률을 줄이지 못하거나 오히려 높이기도 했습니다.

의의 및 주장

본 논문은 신뢰할 수 있는 내부 스킬 구축으로의 전환이 에이전트 시스템을 본질적으로 안전하게 만드는 것은 아니라고 주장합니다. 대신, 진화 파이프라인 자체를 하이재킹할 수 있는 새로운 취약점을 생성합니다.

저자들은 다음을 강조합니다:

• 쿼리 수준의 접근만으로 충분함: 공격자는 스킬 저장소를 침해하거나 진화기를 조작할 필요가 없습니다. 입력 쿼리를 조작하는 것만으로도 출력 스킬을 오염시키기에 충분합니다.
• 유틸리티가 보존됨: 공격은 정상적인 태스크를 수행하는 에이전트의 능력을 성공적으로 유지하므로, 매우 은밀하며 표준적인 유틸리티 모니터링을 통해 탐지하기 어렵습니다.
• 현재의 방어 체계는 불충분함: 표준 안전 필터와 모델 가드레일은 악의적인 궤적 패턴이 재사용 가능한 스킬로 통합되는 것을 신뢰성 있게 방지하지 못합니다.

본 연구는 자기 진화형 스킬 시스템이 정적인 스킬 아티팩트의 보안에만 집중할 것이 아니라, 궤적-스킬 통합 프로세스의 무결성을 구체적으로 다루는 새로운 보안 메커니즘을 필요로 한다고 결론짓습니다.