BadSkill: Backdoor Attacks on Agent Skills via Model-in-Skill Poisoning

1. 문제 정의 (Problem Definition)

배경:
대규모 언어 모델 (LLM) 에이전트 생태계는 기능 확장을 위해 설치 가능한 '스킬 (Skills)'에 점점 더 의존하고 있습니다. 이러한 스킬은 실행 로직, 설정 파일뿐만 아니라 때로는 학습된 모델 아티팩트 (bundled model artifacts) 를 포함하여 배포됩니다.

위협 모델:
기존의 프롬프트 인젝션 (Prompt Injection) 이나 일반적인 플러그인 오용과 달리, 제 3 자 스킬이 악성 행동을 숨기고 배포될 수 있는 새로운 공급망 공격 표면이 존재합니다.

• BADSKILL: 공격자가 겉보기에 정당한 제 3 자 스킬을 배포하되, 그 안에 포함된 임베디드 모델을 백도어 파인튜닝 (Backdoor Fine-tuning) 합니다.
• 작동 원리: 일반적인 입력에서는 정상적으로 작동하지만, 특정 **의미론적 트리거 조합 (Semantic Trigger Combinations)**이 스킬 파라미터에 포함될 때만 숨겨진 악성 페이로드 (Hidden Payload) 를 실행합니다.
• 특징: 악성 로직이 명시적인 코드 규칙이 아닌 학습된 모델 파라미터에 인코딩되어 있어, 일반적인 코드 검토나 정적 분석으로는 탐지하기 어렵습니다.

2. 방법론 (Methodology)

BADSKILL 은 두 단계로 구성된 공격 파이프라인을 제시합니다.

1 단계: 트리거 인식 최적화 (Trigger-Aware Optimization)

공격자는 스킬의 구조화된 파라미터 인터페이스를 기반으로 백도어 분류기를 학습합니다.

• 구조화된 표현: 자유 형식의 텍스트가 아닌, 스킬 파서가 추출한 구조화된 인자 (Argument) 튜플 $(a_t, v_t)$를 입력으로 사용합니다.
• 구성형 트리거 (Compositional Trigger): 단일 토큰이 아닌, 여러 개의 정당한-looking 파라미터 조합 (예: style_preset=compact-v3 AND heading_mode=keep-short) 을 트리거로 정의합니다. 이는 개별 필드는 정상적이지만 조합되었을 때만 악성 행동을 유발하도록 설계됩니다.
• 하드 네거티브 (Hard Negatives): 트리거 조건 중 하나만 다른 '거의 트리거'와 유사한 샘플을 학습 데이터에 포함시켜, 모델이 표면적인 단어 매칭이 아닌 정확한 조건 조합을 학습하도록 강요합니다.
• 복합 손실 함수 (Composite Training Objective):
  • $L_{cls}$: 이진 분류 손실 (정상 vs 트리거).
  • $L_{margin}$: 트리거 샘플과 정상 샘플 간의 마진 (Margin) 을 확보하여 결정 경계를 명확히 함.
  • $L_{poison}$: 희소한 트리거 샘플의 가중치를 높여 학습이 정상 분포에 의해 지배되지 않도록 함.

2 단계: 스킬 패키징 및 조건부 실행 (Skill Packaging & Conditional Execution)

• 학습된 분류기를 스킬 아티팩트 내에 패키징합니다.
• 런타임 시, 사용자 쿼리가 파서 (Parser) 를 통해 구조화된 입력으로 변환되면 분류기가 트리거 점수를 계산합니다.
• 라우팅 정책: 점수가 임계값 ($\tau$) 이상이면 숨겨진 페이로드 (예: 타임스탬프 파일 생성 등) 를 실행하고, 그렇지 않으면 정상 기능을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 위협 공식화: 에이전트 스킬 생태계에서 '모델 포함 스킬 (Model-bearing Skills)'이 가진 고유한 공급망 위험을 규명하고 이를 수학적으로 공식화했습니다.
2. BADSKILL 프레임워크: 구조화된 파라미터와 구성형 트리거를 활용하여, 정상적인 사용에서는 탐지되지 않으면서도 높은 정확도로 악성 행동을 활성화하는 백도어 공격 기법을 설계했습니다.
3. 광범위한 실험 및 평가: 5 개의 모델 패밀리 (Qwen, DeepSeek, InternLM, Phi, Yi) 에 속한 8 가지 아키텍처 (494M~7.1B 파라미터) 와 13 가지 스킬 (8 가지 트리거 스킬, 5 가지 제어 스킬) 을 대상으로 한 시뮬레이션 환경 (OpenClaw 기반) 에서 평가했습니다.

4. 실험 결과 (Results)

• 공격 성공률 (ASR): 8 가지 트리거 스킬에 대해 평균 **99.5%**의 공격 성공률을 기록했습니다. 이는 모델 아키텍처나 규모 (0.5B~7B) 에 관계없이 일관되게 유지되었습니다.
• 정상 측 정확도 (Benign Accuracy, BA): 공격이 성공하더라도 정상 쿼리에 대한 정확도는 거의 유지되었습니다. 가장 큰 BA 감소는 4.2%p 에 불과했으며, 많은 경우 100% 를 유지했습니다. 이는 공격이 은밀하게 작동함을 의미합니다.
• 독극물 비율 (Poison Rate) 효율성: 학습 데이터의 **3% 만 독극물 (Poisoned)**로 섞여도 91.7% 의 ASR 을 달성했습니다. 이는 적은 양의 악성 데이터로도 강력한 백도어가 형성될 수 있음을 보여줍니다.
• 강건성 (Robustness): 오타 (Typo), 단어 교체, 문자 삭제/삽입 등 5 가지 텍스트 변형 (Perturbation) 하에서도 공격이 유효하게 유지되었습니다. 특히 10% 오타 노이즈에서도 상당한 성공률을 보였습니다.
• 트리거 복잡성: 단일 필드 트리거는 너무 약하고, 4 개 이상은 너무 구체적이어서 일반화되지 않았습니다. 2~3 개의 필드 조합이 가장 효과적인 것으로 나타났습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 보안 관점의 전환: 기존의 에이전트 보안이 프롬프트, 컨텍스트, 도구 출력에 집중했다면, BADSKILL 은 **설치된 스킬 아티팩트 자체 (모델 가중치)**가 공격 매개체가 될 수 있음을 증명했습니다.
• 대응 방안의 필요성: 단순한 코드 검토 (Code Inspection) 나 정적 분석만으로는 모델 파라미터에 인코딩된 백도어를 탐지할 수 없습니다. 따라서 모델 아티팩트의 출처 검증 (Provenance Verification), 행동 기반 검증 (Behavioral Vetting), 그리고 런타임 모니터링이 필수적입니다.
• 공급망 리스크: 제 3 자 스킬이 학습된 모델을 포함할 수 있게 되면, 소프트웨어 플러그인 문제는 모델 공급망 (Model Supply Chain) 문제로 확장됩니다. 이는 에이전트 플랫폼이 신뢰 정책에서 '모델 포함 확장 기능'을 별도로 관리해야 함을 시사합니다.

이 논문은 에이전트 생태계의 확장성 증가가 가져올 수 있는 새로운 형태의 공급망 공격을 경고하며, 모델 기반 아티팩트의 보안 평가 프로토콜 개발의 시급성을 강조합니다.