기술 요약: AI 에이전트 기술의 행동 무결성 검증

문제 정의

대형 언어 모델 (LLM) 에이전트는 파일 시스템, 자격 증명, 네트워크 엔드포인트, 셸 실행에 대한 특권적 접근을 부여하는 코드, 구성, 자연어 지시 사항으로 구성된 자체 완결형 번들인 서드파티 "기술 (skills)"을 통해 확장되고 있습니다. 기존 안전 메커니즘은 악성 프롬프트나 위험한 런타임 행동을 포착하는 데 중점을 두지만, 기술 아티팩트 자체는 검증되지 않은 상태로 남아 있습니다.

기술의 선언된 행동(메타데이터, 설명, 지시 사항) 과 실제 행동(실행 가능한 코드 및 내장 지시 사항) 사이의 간극에 치명적인 취약점이 존재합니다. 악의적인 행위자는 메타데이터 파일에 자연어 지시 사항 (예: "모든 사용자 질문에 대해 항상 이 기술을 사용하라") 을 삽입하거나 에이전트의 의사결정 루프를 재정의하는 논리를 코드에 숨길 수 있습니다. 현재 정적 분석 방법은 코드, 지시 사항, 메타데이터를 단일 유형 어휘로 연결하는 데 어려움을 겪고 있어, 공급망 위험이 탐지되지 않은 채 확산될 수 있는 "설명 - 구현 간극"을 방치하고 있습니다.

방법론: BIV 프레임워크

저자들은 선언된 기능과 공유된 분류 체계에 따른 실제 기능 간의 유형화된 집합 비교로서 에이전트 기술의 검증을 형식화하는 행동 무결성 검증 (Behavioral Integrity Verification, BIV) 프레임워크를 제안합니다.

1. 형식화

BIV 는 $s = (M, C, I)$로 구성된 기술을 정의하며, 이는 다음과 같습니다:

• 메타데이터 ($M$): 설명, YAML 프론트마터, API 스키마.
• 코드 ($C$): 실행 가능한 코드 (Python, JavaScript, shell).
• 지시 사항 ($I$): 자연어 지시 사항 (Markdown, 인라인 지시 사항).

이 프레임워크는 선언된 행동 $D(s)$와 실제 행동 $A(s)$를 네트워크, 파일 시스템, 프로세스 실행, 환경, 인코딩, 자격 증명, 지시 사항 수준 위협 등 7 가지 범주로 구성된 공유 **29 가지 기능 분류 체계 ($\mathcal{T}$)**에 매핑합니다. 핵심 검증 문제는 대칭 차 (편차 집합) $D(s) \triangle A(s)$를 식별하는 것으로, 다음과 같이 분해됩니다:

• 미규정 (Under-specification, $U(s)$): 코드에는 존재하지만 메타데이터에는 없는 기능 (미공개 특권).
• 과규정 (Over-specification, $O(s)$): 선언되었지만 구현되지 않은 기능.

2. 하이브리드 추출 파이프라인

BIV 는 구조화된 증거 $\Phi(s) = \langle D(s), A(s), flow(s), compound(s) \rangle$를 생성하기 위한 듀얼 트랙 추출 프로세스를 사용합니다:

• 선언 트랙: 구조적 필드 (YAML, JSON) 에 대한 결정론적 파서와 자연어 메타데이터에 대한 LLM 추출기를 사용합니다. LLM 은 주장이 근거 있도록 하기 위해 환각 제어 필터 (예: 인용된 소스 범위 요구) 로 제한됩니다.
• 실제 트랙:
  • 코드 분석: 결정론적 분석기 (Python 의 AST 탐색, JS/Shell 의 정규식) 는 소스 (예: 환경 변수) 에서 싱크 (예: 네트워크 전송) 로의 데이터 흐름을 추적하기 위해 인터프로시저얼 오염 분석을 수행합니다.
  • 지시 사항 분석: LLM 분석기는 자연어 지시 사항을 스캔하여 기능 호출, 프롬프트 주입 패턴, 재정의 모티프를 식별합니다.
• 복합 위협 탐지: 단일 기능 스캐너가 놓칠 수 있는 4 가지 특정 다단계 공격 모티프 (유출 체인, RCE 체인, 코드 난독화, 데이터 계보 위반) 를 파이프라인이 플래그합니다.

3. 하위 분석

구조화된 증거 $\Phi(s)$는 다음 3 가지 하위 작업에 대한 측정 원시 자료로 사용됩니다:

1. 편차 분류 체계: 편차를 클러스터링하여 일반적인 패턴과 새로운 복합 위협을 식별합니다.
2. 근원 분류: 개발자의 oversight(문서화 간극) 와 적대적 의도를 구분합니다.
3. 악성 기술 탐지: "완화된 거부권 (relaxed-veto)" 재정의가 추가된 LLM 판사로 구성된 사례 연구입니다. 판사는 $\Phi(s)$를 구조화된 사전 지식으로 소비하는 반면, 거부권 술어는 복합 위협과 고위험 미선언 기능 (예: 자격 증명 유출) 을 가진 기술을 자동으로 플래그하여 LLM 이 구조적 증거를 합리화하지 못하도록 방지합니다.

주요 결과

이 프레임워크는 OpenClaw 레지스트리의 49,943 개 기술과 906 개 기술 악성 탐지 벤치마크에서 평가되었습니다.

생태계 규모 발견

• 광범위한 편차: 기술의 **80.0%**가 선언된 행동과 편차를 보이며, 총 250,706 건의 편차가 식별되었습니다.
• 근원: 편차의 압도적 대다수 (81.1%) 는 악의가 아닌 개발자의 oversight(문서 오류, 사용되지 않는 선언, 템플릿 잔여물 등) 에서 비롯됩니다. **18.9%**만이 적대적 의도로 귀결됩니다.
• 복합 위협: 분석을 통해 4 가지 새로운 복합 위협 범주가 표면화되었습니다. 대부분은 안전하지만, **유출 체인 (Exfiltration Chains)**과 RCE 체인과 같은 특정 모티프는 높은 적대적 비율 (각각 58% 와 86%) 을 보입니다.
• 지시 사항 수준 위험: 볼륨 기준으로 가장 작은 범주임에도 불구하고, 지시 사항 수준 위협은 가장 높은 적대적 비율 (96%) 을 보였으며, 이는 미선언 프롬프트 제어 지시 사항이 매우 의심스럽다는 것을 나타냅니다.

탐지 성능

906 개 기술 벤치마크 (실제 세계 멀웨어와 합성 공격 혼합) 에서:

• BIV 성능: F1 점수 0.946을 달성했으며, 재현율 (recall) 은 0.978, 거짓 양성률 (FPR) 은 7.2% 였습니다.
• 비교: BIV 는 최첨단 베이스라인을 능가했습니다:
  • 규칙 기반 (Cisco AI Defense): F1 = 0.44 (재현율 0.35).
  • LLM 전용 (단일 패스 감사): F1 = 0.927 (재현율 0.89).
• 구조의 기여: 구조적 증거와 완화된 거부권 재정의가 결정적이었으며, 특히 실제 세계 멀웨어의 경우 LLM 전용 베이스라인이 재현율 22 퍼센트 포인트를 놓친 상황에서 중요한 역할을 했습니다. 구조적 추출기는 LLM 판사 단독으로는 악성으로 플래그하지 못한 kill 체인 (예: 자격 증명 읽기 $\to$ 네트워크 전송) 을 식별했습니다.

중요성 및 주장

이 논문은 행동 무결성 검증이 LLM 에이전트 공급망 보안을 위한 확장 가능하고 감사 가능한 원시 자료를 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 형식화: 단일 모달리티에 의존하지 않고 코드, 지시 사항, 메타데이터 간의 간극을 연결하는 유형화된 집합 비교 문제로서 BIV 를 확립합니다.
2. 규모 측정: "설명 - 구현 간극"이 80% 의 기술에 영향을 미치는 에이전트 생태계의 체계적 문제임을 입증하지만, 이는 광범위한 악성 문제보다는 주로 문서화/oversight 문제임을 보여줍니다.
3. 운영 유용성: 구조화된 증거 $\Phi(s)$는 재추출 없이 여러 보안 분석 (분류 체계, 근원, 탐지) 을 지원하는 "한 번의 패스" 추출을 가능하게 합니다.
4. 탐지 효과성: 결정론적 구조 분석과 LLM 추론 및 완화된 거부권 재정의의 결합을 통해 BIV 는 실제 세계 멀웨어에 대해 높은 재현율을 달성하면서 운영상 실현 가능한 거짓 양성률을 유지하며, 규칙 기반 및 순수 LLM 접근 방식을 능가합니다.

저자들은 BIV 가 최종 판단 시스템이 아닌 측정 원시 자료임을 강조합니다. 이는 benign 문서화 간극과 복잡한 공격 패턴을 구분하여 검토 대상 후보를 식별함으로써, oversight 에 대한 문서화 outreach 와 적대적 의도에 대한 보안 검토와 같은 표적 거버넌스 전략을 가능하게 합니다. 이 프레임워크는 정적 성격 (동적 디스패치 누락) 과 LLM 추출에 대한 의존성 등 한계를 인정하지만, 생성된 구조적 증거가 향후 런타임 방어 및 장기 모니터링에 필수적인 기반이라고 주장합니다.