기술 요약: 경험이 지침이 될 때: 자기 진화형 에이전트 스킬 시스템에서의 궤적 포이즈닝(Trajectory Poisoning)

문제 정의

자기 진화형 스킬(Self-Evolving Skill, SES) 시스템은 에이전트 설계의 패러다임 변화를 의미하며, 여기서 에이전트는 상호작용 궤적(interaction trajectories)으로부터 재사용 가능한 워크플로, 트리거, 제약 조건을 추출하여 지속적인 지침 아티팩트(예: SKILL.md 파일)로 정제합니다. 일반적인 프롬프트와 달리, 이러한 스킬은 에이전트의 운영 절차의 일부가 되므로 중요한 보안 경계를 형성합니다.

본 논문은 신뢰할 수 없는 경험이 신뢰할 수 있는 지침으로 변환되는 **승격 과정(promotion process)**에서의 취약점을 식별합니다. 현재의 SES 시스템(예: SkillClaw, Trace2Skill)은 궤적 풀(trajectory pool)이 양질의 증거를 반영한다는 가정하에 작동합니다. 저자들은 공격자가 진화 모델을 해킹하거나, 스킬 뱅크를 직접 수정하거나, 악성 스킬 파일을 게시할 필요가 없음을 입증했습니다. 대신, 공격자는 "정상적으로 보이는" 그러나 포이즈닝된 궤적을 제한된 비율로 기여함으로써, 시스템이 악성 스킬 아티팩트를 합성하도록 조작할 수 있습니다. 이 공격은 증거-아티팩트 경계(evidence-to-artifact boundary), 특히 어떤 경험을 지속적인 지침으로 승격시킬지 결정하는 정책을 표적으로 합니다.

방법론: PoisonedEvolution

저자들은 스킬 가시성이 있는 블랙박스(skill-visible black-box) 환경을 위해 설계된 궤적 포이즈닝 공격인 PoisonedEvolution을 소개합니다. 이 모델에서 공격자는 공개되거나 설치된 스킬을 검사하고 공유 풀에 제한된 수의 궤적($k$)을 기여할 수 있지만, 비공개 필터, 진화 로직을 관찰하거나 스킬 뱅크를 직접 편집할 수는 없습니다.

이 공격은 다음 세 가지 조건이 충족될 때만 성공하며, 이를 **아티팩트 포이즈닝 성공(Artifact Poisoning Success)**으로 정의합니다:

1. C1 포함(Inclusion): 포이즈닝된 기록이 시스템의 품질 필터($F$)를 통과하여 진화 모델의 처리 스트림에 진입해야 합니다.
2. C2 진화 귀속(Evolution Attribution): 진화 모델($E$)이 반복되는 행동을 노이즈, 일회성 이벤트 또는 안전하지 않은 조언이 아니라, 인과적이고 일반화 가능한 스킬 업데이트로 해석해야 합니다. 이는 SES 공격의 독특한 병목 구간으로 식별되었습니다.
3. C3 실현(Realization): 대상 행동이 요약 및 병합 과정을 거쳐 최종 생성된 스킬 아티팩트에 나타나야 합니다.

공격 구성

공격자는 자신의 궤적($\tau'$)을 변형하여 대상 행동($b$)이 작업 결과에 인과적으로 관련이 있는 것처럼 보이게 만듭니다:

• 성공 경로 기반(Success-Routed): 행동을 장애물과 성공적인 완료 사이의 필수 단계로 프레이밍합니다 ($obstacle \to b \to success$).
• 실패 경로 기반(Failure-Routed): 해당 행동의 부재를 실패의 원인으로 프레이밍하여, 해당 행동을 자연스러운 복구책으로 만듭니다 ($missing\ b \to failure$).

페이로드는 평가 중 실제 해를 끼치지 않도록 불활성 카나리(inert canaries)(예: 특정 URL, 임시 경로, 루프백 레지스트리)로 인코딩된 네 가지 보안 효과 계열로 구성됩니다:

• F1 (기밀성): 민감한 데이터를 공격자 엔드포인트로 전송.
• F2 (데이터 무결성): 복구를 방지하기 위해 소스 아티팩트 삭제.
• F3 (공급망): 패키지 레지스트리 리다이렉션.
• F4 (안전 약화): 결과를 커밋하기 전 보안 점검 비활성화.

실험적 평가

본 연구는 구조적으로 다른 두 가지 SES 파이프라인에서 PoisonedEvolution을 평가합니다:

1. SkillClaw: 에이전틱 진화 모델이 그룹화된 세션을 바탕으로 스킬을 정제하거나 생성하는 멀티 유저 세션을 집계합니다.
2. Trace2Skill: 성공 및 오류 분석을 위한 별도의 분석가 LLM을 사용하여 실행 트레이스에서 스킬을 추출한 후, 계층적 통합을 수행합니다.

지표: 주요 지표는 **스킬 임베딩 비율(Skill Embedding Rate, SER)**로, 완료된 진화 실험 중 대상 행동이 출력 스킬 아티팩트에 새롭게 포함된 분율을 측정합니다.

주요 결과

• 높은 성공률: 6개의 주요 LLM 진화 모델을 대상으로 한 SkillClaw의 10% 공격자 지원 비율($n=30, k=3$)에서, PoisonedEvolution은 91.0%의 SER(600회 시도 중 546회)을 달성했습니다.
• 구조적 전이성: 공격은 구조적으로 다른 Trace2Skill 파이프라인에서도 61.5%의 SER(600회 시도 중 369회)을 기록하며 전이되었으며, 이는 취약점이 특정 프롬프트나 파이프라인 레이아웃에 국한되지 않음을 보여줍니다.
• 반복적 지원의 중요성: 일관된 공격 기록의 수($k$)가 핵심 결정 요인입니다. 단일 포이즈닝 기록($k=1$)은 종종 이상치로 간데 버려지지만, $k=2$ 또는 $k=3$으로 증가하면 성공률이 크게 높아집니다 (예: SkillClaw에서 $k=1$에서 $k=3$으로 이동할 때 5/25에서 25/25로 급증).
• 귀속 및 인코딩: 성공 여부는 인과적 프레이밍(행동을 결과와 연결)과 도메인 정렬 인코딩(실행 가능한 워크플로 특정 언어 사용)에 크게 의존합니다. 비인과적이거나 파편화된 삽입은 재사용 가능한 스킬로 귀속되지 못했습니다.
• 계열별 민감도: 서로 다른 보안 계열은 대상 도메인의 워크플로와 얼마나 잘 부합하는지에 따라 다양한 민감도를 보였습니다. 예를 들어, F4(안전 약화)는 SkillClaw에서는 매우 성공적이었으나, Trace2Skill에서는 필요한 복구 조치가 아닌 정책 완화로 간주되어 거부되는 경우가 많았습니다.

기여 및 의의

본 논문은 세 가지 주요 기여를 합니다:

1. 새로운 신뢰 경계 식별: 정적 스킬 포이즈닝이나 검색 시점의 공격(RAG)에 관한 기존 연구와 구별되는, SES 파이프라인에서의 **증거 승격(evidence promotion)**을 별도의 보안 경계로 확립했습니다.
2. 아티팩트 포이즈닝의 공식화: C1–C3 메커니즘을 정의하며, 시스템이 공격적 패턴을 가치 있는 경험으로 오해하는 **진화 귀속(Evolution Attribution)**을 특정 병목 구간으로 강조했습니다.
3. 실증적 증거 및 방어 함의: 교차 시스템 평가와 절제 연구(ablation studies)를 통해 현재의 SES 방어 체계가 불충분함을 입증했습니다.

의의

저자들은 SES 방어가 최종 스킬 텍스트를 스캔하는 것에서 벗어나, 어떤 증거가 공유된 지침이 될 수 있는지를 제한하는 것으로 초점을 전환해야 한다고 주장합니다. 본 논문은 패턴이 스킬로 정규화되기 전에 독립적인 지지 기반과 기여자의 다양성을 검증하는 **출처 인식 승격 게이트(provenance-aware promotion gates)**가 자가 진화형 에이전트를 보호하는 데 필요하다고 제안합니다. 이러한 결과는 에이전트를 더 유능하게 만들기 위해 설계된 바로 그 메커니즘이 지속적이고 자동화된 공급망 공격의 통로를 만든다는 것을 드러냅니다.

논문은 공격이 아티팩트를 성공적으로 훼손하더라도, 이것이 반드시 런타임 실행을 보장하는 것은 아니라는 점(이는 트리거 활성화에 달려 있음)을 명시합니다. 그러나 포이즈닝된 지속적 지침을 생성하는 것은 에이전트의 향후 운영 절차에 대한 근본적인 침해를 의미합니다.