기술 요약: SkillFuzz

문제 정의

본 논문은 LLM(대규모 언어 모델) 기반 에이전트를 위한 **오픈 스킬 마켓플레이스(Open Skill Marketplaces)**에서 발생하는 치명적인 안전 격차를 다룹니다. 개별 스킬(자연어 지침 문서)은 일반적으로 독립적으로 감사되지만, 이들의 **공동 활성화(co-activation)**는 **암시적 의도(implicit intents)**를 초래할 수 있습니다. 이는 여러 개의 무해한 스킬이 에이전트의 통합된 컨텍스트 내에서 상호작용할 때만 나타나는 의도하지 않은 목적을 의미합니다.

이 현상은 전통적인 소프트웨어 통합 테스트에서의 컴포넌트 상호작용 결함과 유사하지만, 코드 대신 자연어 지침에서 발생하는 **조합적 결함(compositional defect)**이라는 새로운 범주를 구성합니다. 이러한 의도를 탐지하는 데는 세 가지 주요 과제가 따릅니다:

1. 실행 불가능성(Execution Inaccessibility): 마켓플레이스 운영자는 모든 가능한 스킬 조합을 실행하고 테스트하는 데 필요한 특정 배포 환경을 갖추지 못한 경우가 많습니다.
2. 신념 상태의 불가시성(Invisibility of Belief States): 조합적 효과는 에이전트의 내부 신념 상태(belief state)에서 나타나는데, 이는 정적 파일 분석으로는 확인할 수 없습니다.
3. 조합 폭발(Combinatorial Explosion): 가능한 스킬 공동 활성화의 공간은 라이브러리 크기에 따라 기하급수적으로 증가하여 전수 조사가 불가능합니다.

저자들은 에이전트 시스템에서 보편적인 계획 후 실행(plan-then-act) 패러다임이 해결책을 제공한다고 제안합니다. 에이전트의 실행 전 계획(plan)(구조화된 추론 산출물)을 테스트 표면으로 취급함으로써, 실제 도구를 실행하지 않고도 암시적 의도를 탐지할 수 있습니다.

방법론: SKILLFUZZ

저자들은 스킬 구성을 통해 암시적 의도를 발견하도록 설계된 최초의 실행 불필요 퍼징(execution-free fuzzing) 프레임워크인 SKILLFUZZ를 제안합니다. 이 프레임워크는 **계획 드리프트(Plan Drift)**를 차등 오라클(differential oracle)로 활용하여 이진 스킬 활성화 공간에 대한 유향 탐색(directed search)을 수행합니다.

핵심 구성 요소

1. 차등 오라클 (계획 드리프트):
   시스템은 스킬 구성에 의해 생성된 계획($\pi_s$)을 스킬이 활성화되지 않은 상태에서 생성된 기본 계획($\pi_0$)과 비교합니다. 이 의미적 편차, 즉 **계획 드리프트($\delta$)**는 잠재적 위험의 신호 역할을 합니다. 높은 드리프트는 해당 스킬 구성이 에이전트의 의도를 재지향했음을 나타냅니다.

2. 스킬 계약 구축 (Skill Contract Construction):
   탐색을 용이하게 하기 위해, SKILLFUZZ는 LLM을 사용하여 지침 문서로부터 구조화된 **스킬 계약(skill contracts)**을 추출합니다. 이 계약에는 전제 조건, 사후 조건, 상태 변경 및 도메인 범위가 포함됩니다. 이러한 계약은 의미 공간에 임베딩되어 상충하는 속성(예: 상호 배타적인 불변성)을 가진 스킬을 식별하는 데 사용됩니다.

3. 계약 가이드 몬테카를로 트리 탐색 (Contract-Guided MCTS):
   프레임워크는 고정된 쿼리 예산 내에서 **의도 커버리지 품질(ICQ)**을 극대화하기 위해 가이드된 탐색 전략을 채택합니다.

   • ICQ 지표: 심각도(계획 드리프트의 크기)와 참신성(이전에 발견된 의도와의 의미적 차별성)을 결합한 통합 지표입니다.
   • 확장 전략: 탐색은 충돌이 높은 스킬 쌍으로 트리를 시드(seed)합니다. 확장 과정에서 노드가 양의 보상(발견된 의도)을 생성하면, 탐색은 계약 임베딩을 사용하여 해당 의도의 의미적 영역으로 유도됩니다. 의도가 발견되지 않으면 무작위 탐색이나 균등 샘플링을 통해 탐색을 진행합니다.
   • 역전파(Backpropagation): 보상은 심각하고 다양한 암시적 의도를 산출하는 탐색 공간의 영역을 우선시하도록 역전파됩니다.

주요 기여

1. 문제 공식화: 본 논문은 **조합적 의도 테스트(compositional intent testing)**를 공식적으로 정의하며, 개별적으로는 무해한 스킬들의 상호작용에서 발생하는 시스템적 위험으로서 암시적 의도를 식별합니다.
2. SKILLFUZZ 프레임워크: 구조화된 스킬 계약을 추출하고 계약 가이드 MCTS를 사용하여 기하급수적으로 큰 스킬 공동 활성화 공간을 효율적으로 탐색하는 실행 불필요 퍼징 기술을 소개합니다.
3. 실증적 검증: 광범 sel한 실험을 통해 SKILLFUZZ가 배포 접근 권한 없이도 리스크를 발견할 수 있는 실용적인 스킬 스크리닝 메커니즘임을 입증하며, 이를 통해 SKILLFUZZ의 효용성을 확립했습니다.

실험 결과

저자들은 SkillsBench 라이브러리(196개 스킬)를 대상으로 다양한 플래닝 에이전트(오픈 웨이트 및 독점 모델 모두 포함)와 대표적인 작업들에 대해 SKILLFUZZ를 평가했습니다.

• 발견 볼륨: 고정된 쿼리 예산 하에서 SKILLFUZZ는 1,000개 이상의 고유한 암시적 의도를 발견했습니다.
• 실행 검증: 샌드박스 Docker 환경을 사용한 실제 검증 단계에서, 가장 높은 위험으로 분류된 구성 중 80% 이상이 실제 실행 중에 예측된 부작용을 나타내는 것으로 확인되었습니다. 이는 계획 수준의 드리프트가 실행 계층의 리스크를 나타내는 신뢰할 수 있는 대리 지표(proxy)임을 입로 증명합니다.
• 탐색 효율성: SKILLFUZZ는 대안 전략(무작위 샘플링, 그리디 드리프트, 그리디 커버리지)에 비해 훨씬 더 많은 고심각도(high-severity) 암시적 의도(신념 상태의 상당한 드리프트를 유발하는 의도)를 식별했습니다. 특히, 무작위 샘플링이 커버하는 쌍별 상호작용 공간의 약 40%만을 탐색하면서도 이를 달성했다는 점은, 광범한 쌍별 커버리지가 심각한 리스크를 찾는 데 있어 제한 요소가 아님을 입증합니다.
• 일반화 가능성: 암시적 의도는 특정 플래너의 산물이 아니라 다양한 모델 제품군과 아키텍처 전반에 걸친 일반적인 리스크임이 밝혀졌습니다.
• 리스크 분류 체계: 발견된 의도들은 네 가지 반복되는 의미 패턴으로 클러스터링되었습니다:
  1. 오디오/비디오 부수 효과 (원치 않는 미디어 생성).
  2. 승인되지 않은 도구 호출 (권한을 벗어난 외부 서비스 호출).
  3. 은밀한 리소스 생성 (요청되지 않은 파일/보고서 생성).
  4. 허가되지 않은 데이터 분석 (지정된 데이터 범위를 넘어선 분석 확장).

의의 및 주장

본 논문은 암시적 의도가 소프트웨어 공학의 에이전트 AI 패러다임에서 발생하는 구조적 결과이며, 다양한 스킬 지침이 공동 활성화되는 곳이라면 어디에서나 발생한다고 주장합니다. SKILLFUZZ의 의의는 다음과 같습니다:

• 테스트와 배포의 분리: 에이전트가 최종적으로 실행될 특정 실행 환경에 대한 접근 권한 없이도 스킬 마켓플레이스를 스크리닝할 수 있게 합니다.
• 조기 경보 제공: 기존의 개별 스킬 감사가 놓칠 수 있는 상호작용 기반 결함을 탐지함으로써, 배포 전 고위험 공동 활성화를 식별하는 확장 가능한 메커니즘을 제공합니다.
• 테스트 표면 확립: 테스트 전략이 드리프트의 의미적 특성을 고려한다면, 플래닝 계층(실행 전 산출물)이 LLM 에이전트의 조합적 리스크를 탐지하기 위한 충분하고도 필수적인 표면임을 검증합니다.

저자들은 SKILLFUZZ가 실행 불필요, 계약 가이드 퍼징을 현재의 입점 시 감사(admission-time audits)를 보완할 수 있는 실용적이고 필수적인 도구로 자리매김하며, 스킬 생태계가 확장됨에 따라 커지는 시스템적 취약성을 해결한다고 결론짓습니다.