기술 요약: SkillJack – 자기 진화형 에이전트의 지속적인 스킬 백도어

문제 정의

자기 진화형 대규모 언어 모델(LLM) 에이전트는 개별 작업을 넘어 재사용 가능한 "스킬(skill)"로 상호작용 이력을 변환하도록 설계되는 경우가 점점 늘고 있습니다. 기존 연구는 메모리 포이즈닝(memory poisoning)과 간접 프롬프트 인젝션(indirect prompt injection)의 위험성을 입증해 왔으나, 이는 오염된 기록이 컨텍스트로 검색될 때만 공격이 성공하는 방식입니다. 본 논문은 이보다 더 근본적이고 지속적인 위험을 식별합니다. 저자들은 에이전트의 **경험-스킬 변환 파이프라인(experience-to-skill pipeline)**이 오염된 경험 기록을 처리할 때, 일시적인 입력을 지속적인 행동 아티팩트(behavioral artifact)로 변환할 수 있다고 주장합니다. 이는 오염된 소스 기록을 제거하면 위협이 사라지는 전통적인 메모리 포이즈닝과 달리, 공격자가 생성한 악의적 행동이 그 기원이 되는 기록이 삭제된 후에도 에이전트의 재사용 가능한 스킬 레퍼토리 내에 내재되어 살아남게 만드는 새로운 공격 벡터를 제시합니다.

방법론

본 논문은 경험-스킬 변환 파이프라인을 악용하는 공격 프레임워크인 SkillJack을 소개합니다. 방법론은 공식적인 문제 정식화와 특정 페이로드 설계 전략을 중심으로 구성됩니다.

1. 공식적 문제 정식화

저자들은 경험-스킬 변환 파이프라인을 로드(Load, $\pi_L$), 변환(Transform, $\pi_T$), 지속(Persist, $\pi_P$), 라우팅(Route, $\pi_R$)의 4단계 과정으로 모델링합니다. 공격자의 목표는 오염된 경험 아이템 $e_p$를 주입하여 결과물인 스킬 $s_p$가 다음 세 가지 조건을 만족하도록 하는 것입니다:

1. 은폐성(Stealth): 스킬이 안전 탐지기 $D$를 회피해야 함 ($D(s_p) = \text{benign}$).
2. 라우팅 가능성(Routability): 라우터가 대상 작업에 대해 해당 스킬을 선택해야 함 ($s_p \in \pi_R(q, S)$).
3. 악의적 실행(Malicious Execution): 스킬 실행 시 의도하지 않은 행동을 트리거해야 함 ($exec(s_p, q) \in B$).

연구는 이 결합에서 나타나는 세 가지 보안 특성을 규명합니다:

• 세정화 화이트워싱(Sanitization Whitewashing): 변환 과정(압축, 추상화, 정규화)이 악의적 의도를 은폐하여, 원본 입력보다 탐지율을 낮춥니다.
• 계층 간 승격(Cross-Layer Promotion): 일시적인 경험이 지속적이고 재사용 가능한 아티팩트로 변환되어, 원래의 기록을 다시 읽지 않고도 향후 작업에 선택될 수 있습니다.
• 지속성 격리(Persistence Isolation): 스킬 라이브러리는 경험 코퍼스와 분리되어 있으므로, 소스 기록을 삭제하더라도 파생된 스킬은 반드시 제거되지 않습니다.

2. 변환 탄력적 페이로드 설계 (Transformation-Resilient Payload Design)

이 공격을 실현하기 위해 저자들은 변환 탄력적 페이로드를 설계합니다. 저자들은 추출 파이프라인이 유용한 지침을 추출하도록 최적화되어 있으며, 노골적인 적대적 언어로 설명된 내용보다는 타당하고 합법적인 서사(narrative) 내에 프레임화된 행동 시퀀스를 보존할 가능성이 높다는 가설을 세웠습니다.

• 프레이밍 전략(Framing Strategy): 직접적인 악의적 단어 대신, 정책 관련 행동(예: 데이터 유출, 권한 상승)을 합법적인 기능적 프레임(예: "백업", "아카이브", 또는 "오류 복구") 내에 포함시킨 궤적(trajectory)을 구축합니다.
• 평가 지표: 연구는 추출 수율(extraction yield), 탐지 가능성(패턴 매칭 및 LLM 판사를 통해 측정), 그리고 다운스트림 작업에서의 라우팅 성공 여부를 측정합니다.

3. 실험 설정

공격은 두 가지 대표적인 시스템에서 평가되었습니다:

• SkillX: 계획 기반 궤적 증류(plan-based trajectory distillation)와 LLM 네이티브 점진적 공개(progressive-disclosure) 라우팅을 사용합니다.
• Anything2Skill (A2S): 이질적인 문서를 구조화된 스킬 계약(skill contracts)으로 컴파일합니다.
• 데이터셋: 4가지 정책 위험 카테고리(데이터 유출, 권한 상승, 승인되지 않은 전송, 지속적 백도어)에 걸쳐 150개의 궤적(기능적으로 프레임화된 오염된 궤적 65개, 직접적인 악의적 베이스라인 65개, 깨끗한 궤적 20개)을 공유 세트로 사용했습니다.
• 모델: 추출, 라우팅 및 판단을 위해 DeepSeek-v4-flash가 사용되었습니다.

주요 결과

1. 세정화 화이트워싱 (탐지율 감소)

추출 과정은 악의적인 콘텐츠의 탐지 가능성을 현저히 낮춥니다.

• SkillX: LLM 판사의 탐지율이 원본 오염 궤적의 **98.5%**에서 추출된 스킬의 **11.4%**로 떨어졌습니다. 패턴 탐지는 44.6%에서 11.0%로 감소했습니다.
• Anything2Skill (DOC 모드): 원본 궤적에서의 탐지율 **100.0%**에서 추출된 스킬의 **44.4%**로 감소했습니다.
• 메커니즘: "화이트워싱" 효과는 추출된 스킬에 부착된 양호해 보이는 메타데이터(이름 및 문서)에 의해 발생합니다. 판자에게 코드 내용만 보여주었을 때 탐지율이 크게 상승한 것(예: SkillX에서 10.0%에서 36.7%로)은 표면적 메타데이터가 회피를 주도함을 나타냅니다.

2. 계층 간 승격 (다운스트项 트리거링)

추출된 스킬은 대상 작업으로 성공적으로 라우팅되어 트리거됩니다.

• SkillX: 공격 지향적 작업의 **56.2%**가 정책 위반 프록시를 충족하는 스킬으로 라우팅되었습니다.
• Anything2Skill: 공격 지향적 쿼리의 **89.2%**가 정책 위반 프록시를 트리거했습니다.
• 부수적 피해(Collateral Damage): 추출된 스킬은 무관한 정상 작업에서도 트리거되었습니다(SkillX 20.0%, A2S 95.0%의 검색률). 이는 광범위한 피해 반경을 시사합니다.

3. 지속성 격리 (소스 삭제 후 생존)

원래의 오염된 기록을 제거한 후에도 공격은 지속됩니다.

• 매칭된 작업 실험에서, 스킬 경로를 통해 트리거된 공격의 **80.0%**가 소스 궤적이 삭제된 후에도 계속 실행되었습니다. 이는 메모리를 정화하더라도 파생된 아티팩트는 제거되지 않음을 입증합니다.

4. 방어 민감도

예비 방어 실험 결과, 완화 작업의 어려움이 드러났습니다:

• 정적 검토(Static Review): 추출 시점의 LLM 안전 검토는 트리거율을 낮추었으나 완벽하지 않았습니다.
• 런타임 모니터링(Runtime Monitoring): 행동 인식 모니터링(특정 액션 시그니처 차단)은 단독으로는 매우 효과적이었으나(SkillX 샘플에서 트리거 0.0%), 정적 검토와 함께 사용할 때 취약성을 보였습니다. 방어를 중첩할 경우, 업스트림 필터링이 액션 분포를 변경하여 다운스트림 모니터가 새로운 패턴을 놓치게 만드는 "방어 협력(defense coordination)" 실패가 발생했습니다.
• A2S 특이사항: 표준 시그니처는 정규화된 언어로 인해 A2S에서 실패했습니다. 트리거율을 낮추기 위해서는 정규화된 어휘를 포함하도록 시그니처를 확장해야 했습니다.

주요 기여

1. 새로운 공격 표면: 본 논문은 경험-스킬 포이즈닝을 별개의 보안 위험으로 식แรก 식별하고 정식화한 최초의 연구입니다. 저자들은 자동화된 스킬 추출과 경험 포이즈닝의 결합에서 발생하는 세 가지 특성(세정화 화이트워싱, 계층 간 승격, 지속성 격리)을 규명했습니다.
2. 변환 탄력적 공격 방법: 악의적 행동을 합법적인 기능적 서사 내에 프레임화함으로써, 노골적인 악의적 단어는 필터링되는 반면 추상화 및 압축 과정을 견뎌낼 수 있음을 입상했습니다.
3. 교차 시스템 실증 검증: 이 공격은 독립적으로 구현된 두 시스템(SkillX 및 Anything2Skill)에서 공유 데이터셋을 사용하여 검증되었으며, 이것이 단일 구현의 결함이 아닌 패러다임 수준의 위험임을 입증했습니다.

의의 및 주장

본 논문은 스킬 진화가 자기 진화형 에이전트의 새롭고 중요한 공격 표면이라고 주장합니다. 주요 의의는 일시적인 컨텍스트 포이즈닝에서 지속적인 행동 아티팩트로의 전환에 있습니다.

• 라이프사이클 격차: 현재의 보안 모델은 소스 기록을 제거하면 위협도 제거된다고 가정하지만, SkillJack은 오염된 기록이 스킬로 컴파일되면 공격이 그 근원을 초월하여 생존함을 보여줍니다.
• 방어 시사점: 연구 결과는 **출처 인식 스킬 라이프사이클 보호(provenance-aware skill lifecycle protection)**로의 전환을 촉구합니다. 방어자는 파생된 스킬을 소스 기록까지 추적하고, 소스가 격리될 때 그 자손(descendants)을 취소하며, 모든 변환 경계(로드, 변환, 지속, 라우팅)에서 행동 인식 체크를 구현해야 합니다.
• 겸허한 태도: 저자들은 결과가 실제 외부 서비스 실행이 아닌 단일 모델 구성 및 라우팅 수준의 프록시에 기반하고 있음을 명시합니다. 또한 방어 결과는 예비적이고 탐색적이며, "방어 협력" 실패 문제는 추가 연구가 필요하다고 언급하며 연구의 범위를 제한합니다. 본 작업은 자기 진화형 에이전트의 출처 및 라이프사이클 보안에 대한 향후 연구를 독려하기 위한 기술 보고서로 제시되었습니다.