SkillTrojan: Backdoor Attacks on Skill-Based Agent Systems

1. 문제 정의 (Problem)

최근 에이전트 시스템은 복잡한 작업을 해결하기 위해 재사용 가능한 기술 (Skills) 을 조합하여 사용하는 설계 패턴이 주류가 되었습니다. 이러한 기술 기반 에이전트는 모듈성과 확장성을 높이지만, 기존 연구가 주로 모델 파라미터, 프롬프트, 또는 학습 데이터에 초점을 맞춘 것과 달리 기술 구현체 (Skill Implementations) 자체의 보안 취약점은 크게 간과되어 왔습니다.

• 핵심 문제: 기술 (Skill) 은 실행 가능한 코드와 외부 리소스 접근을 포함하며, 여러 작업과 배포 환경에서 재사용됩니다. 공격자가 신뢰할 수 있는 것으로 보이는 기술에 악성 로직을 심어두면, 모델의 입력/출력 행동은 정상적으로 유지되더라도 특정 트리거 조건에서 악성 페이로드가 실행될 수 있습니다.
• 기존 방어 한계: 현재의 에이전트 보안 방어는 주로 모델의 관찰 가능한 행동이나 개별 상호작용 (프롬프트, 도구 호출) 에 집중하여, 기술 조합을 통한 은밀한 백도어 공격을 탐지하지 못합니다.

2. 방법론 (Methodology: SkillTrojan)

저자들은 SkillTrojan이라는 새로운 백도어 공격 패러다임을 제안합니다. 이는 모델 파라미터가 아닌 기술 계층 (Skill Abstraction Layer) 을 표적으로 합니다.

• 공격 원리:

  1. 페이로드 암호화 및 분할: 공격자가 지정하는 악성 페이로드 ($P$) 를 대칭키로 암호화한 후, $N$개의 암호화된 조각 (Fragments) 으로 분할합니다.
  2. 기술 주입 (Instrumentation): 여러 개의 정당한-looking(합법적으로 보이는) 기술 구현체에 이 조각들을 숨겨 넣습니다. 각 조각은 인덱스와 암호화된 데이터 세그먼트로 구성됩니다.
  3. 트리거 기반 활성화: 특정 트리거 조건 ($Trig_\tau$) 이 충족되지 않으면, 백도어된 기술은 정상적인 기능을 수행하며 아무런 악성 동작도 하지 않습니다.
  4. 조각 수집 및 재구성: 트리거 조건이 충족된 쿼리가 들어오면, 에이전트는 정상적인 작업 흐름을 수행하는 과정에서 각 기술이 조각을 중간 저장소 (도구 호출 로그 등) 에 남깁니다.
  5. 실행: 검증 도구 (Verification Tool) 가 모든 조각을 수집하고 순서와 무관하게 재구성하여 복호화한 후, 페이로드를 실행합니다. 이 과정은 에이전트의 사용자에게 보이는 최종 응답에는 영향을 주지 않는 부수적 효과 (Side Effect) 로 발생합니다.

• 특징:

  • 자동화: 임의의 기술 템플릿에서 백도어된 기술을 자동으로 생성할 수 있어 확장성이 뛰어납니다.
  • 은폐성: 모델 자체는 변경되지 않으며, 정상 작업 수행 중에도 공격이 활성화되므로 행동 기반 탐지가 매우 어렵습니다.

3. 주요 기여 (Key Contributions)

1. SkillTrojan 제안: 에이전트 시스템의 기술 계층을 표적으로 하는 최초의 체계적인 백도어 공격 프레임워크를 제시했습니다.
2. 확장 가능한 프레임워크: 암호화된 페이로드 분할, 트리거 기반 활성화, 임의 템플릿을 통한 자동 생성을 지원하여 다양한 에이전트 파이프라인과 기술 생태계에서 대규모 공격이 가능함을 입증했습니다.
3. 실증 평가 및 데이터셋 공개:
   • 오픈 가중치 및 클로즈드 가중치 모델을 포함한 코드 기반 에이전트 환경에서 실험을 수행했습니다.
   • SkillTrojanX 데이터셋: 3,000 개 이상의 큐레이션된 백도어 기술 (다양한 패턴, 트리거, 페이로드 구성 포함) 을 공개하여 재현 가능한 연구와 방어 연구의 기반을 마련했습니다.

4. 실험 결과 (Results)

저자들은 EHR SQL 작업 (임상 쿼리를 SQL 로 변환 및 실행) 과 SWE-Bench Verified(소프트웨어 엔지니어링 작업) 를 벤치마크로 사용했습니다.

• 높은 공격 성공률 (ASR) 과 낮은 성능 저하:
  • GPT-5.2-1211-Global 모델에서 97.2% 의 공격 성공률 (ASR) 을 달성하면서도, 정상 작업 정확도 (Clean ACC) 는 89.3% 로 유지되었습니다 (비공격 기준 73.0% 보다 오히려 높음).
  • 이는 백도어된 기술이 정상적인 기능도 함께 수행하기 때문에, 오히려 작업 완료율이 향상되는 효과를 낳을 수 있음을 보여줍니다.
• 기존 방법론 대비 우월성:
  • 프롬프트 주입 (GCG, AutoDAN 등) 이나 모델 기반 공격 기법들은 모델이 강화될수록 공격 성공률이 떨어지거나 정상 성능을 해치는 반면, SkillTrojan 은 기술 실행의 신뢰성을 악용하므로 모델이 강력해질수록 오히려 더 효과적이었습니다.
  • 다양한 모델 (Open/Closed Weight) 에서 일관된 높은 ASR 을 보였습니다.
• 탐지 회피:
  • 조각 수 ($N$) 를 적절히 조절 (예: 3 개) 하면 각 도구 호출의 이상 징후를 최소화하면서도 재구성을 성공할 수 있었습니다.
  • 암호화 방식 (XOR+Base64 등) 을 변경하면 정적 휴리스틱 탐지 (Base64 문자열 탐지) 의 성공률을 78% 에서 21% 로 크게 낮출 수 있었습니다.

5. 의의 및 시사점 (Significance)

• 새로운 보안 위협의 발견: 에이전트 시스템의 보안 위협이 모델의 입력/출력뿐만 아니라 실행 계층 (Execution Substrate) 인 재사용 가능한 기술 구현체까지 확장되었음을 처음으로 체계적으로 증명했습니다.
• 방어 전략의 전환 필요: 기존의 입력 sanitization 나 모델 출력 모니터링만으로는 이러한 공격을 막을 수 없습니다.
  • 권장 방어: 기술의 출처 (Provenance) 검증, 실행 경로 (Execution Trajectory) 감사, 도구 호출의 비정상적인 깊이 증가 모니터링, 그리고 실행 시의 사이드 효과 제한 (샌드박싱) 등이 필요합니다.
• 미래 연구 방향: 기술 생태계가 성장함에 따라, 신뢰할 수 있는 제 3 자 기술의 보안 검증과 실행 제어 메커니즘이 에이전트 시스템의 핵심 보안 과제가 되어야 함을 강조합니다.

결론적으로, SkillTrojan 은 에이전트 시스템이 재사용 가능한 기술을 통해 확장되는 과정에서 발생하는 치명적인 보안 사각지대를 드러냈으며, 이에 대한 체계적인 평가와 새로운 방어 패러다임의 필요성을 강력하게 제기하는 연구입니다.