기술 요약: Proteus – 에이전트 기술 생태계를 위한 자기 진화형 레드팀

1. 문제 정의: 적응적 누출 (Adaptive Leakage)

본 논문은 대규모 언어 모델 (LLM) 에이전트 기술의 보안 평가에서 중요한 공백을 다룹니다. 기존 연구는 정적이며 수동으로 제작된 악성 기술의 위험을 식별해 왔으나, 공격자가 감사자와 런타임 환경의 피드백을 활용하여 기술을 반복적으로 수정할 때 남는 **잔류 위험 (residual risk)**을 측정하는 데는 크게 실패했습니다.

저자들은 **적응적 누출 (Adaptive Leakage)**을 다음과 같은 조건을 동시에 만족할 때까지 제 3 자 기술을 반복적으로 수정할 수 있는 예산이 할당된 공격자의 배포 위험으로 정의합니다:

1. 정적 또는 LLM 기반 감사를 통과한다.
2. 대상 런타임에서 성공적으로 실행된다.
3. 검증된 오라클 (oracle) 감지 가능한 해악을 발생시킨다.

현재 평가는 감사자를 고정된 입력에 대한 일회성 분류기로 취급합니다. 그러나 오픈소스 감사자 (예: SkillVetter, AI-Infra-Guard) 가 종종 규칙 세트와 발견 사항을 공개하기 때문에, 공격자는 로컬에서 감사 결과를 재현할 수 있습니다. 이로 인해 공격자가 구조화된 감사 발견 사항과 런타임 추적을 활용하여 여러 라운드에 걸쳐 공격을 정제할 수 있는 "그레이박스" 채널이 생성되며, 이는 단일 샷 레드팀이나 스칼라 피드백 기준선으로는 포착되지 않는 능력입니다.

2. 방법론: Proteus 프레임워크

Proteus 는 적응적 누출을 측정하도록 설계된 그레이박스 자기 진화형 레드팀 프레임워크입니다. 이는 네 개의 결합된 구성 요소로 구성된 폐쇄 루프 시스템을 통해 작동합니다:

A. 5 축 기술 -공격 공간

Proteus 는 기술 변형 $s$를 5-튜플 $(o, \tau, c, \kappa, d)$로 분해합니다:

• $o$ (목표): 공격 목표 (예: 데이터 유출, 권한 상승).
• $\tau$ (토폴로지): 기술 체인 구조 (단일 기술 또는 $k$-체인).
• $c$ (코드): 실행 가능한 아티팩트.
• $\kappa$ (부작용 채널): 해악 발생 메커니즘 (예: 파일 쓰기, 네트워크 외부 유출).
• $d$ (문서화): 에이전트 프롬프트에 로드되는 컨텍스트 설정 문서.

B. 그레이박스 라운드 계약

각 평가 라운드는 방어자 중립적 파이프라인을 따릅니다: 감사 $\to$ 샌드박스 $\to$ 오라클.

• 감사: 기술이 감사자 (예: SkillVetter 또는 AI-Infra-Guard) 에 제출됩니다.
• 샌드박스: 감사를 통과하면 기술은 컨테이너화된 환경 (OpenClaw) 에서 실행됩니다.
• 오라클: 규칙 기반 판정자가 실행이 표적 부작용 (치명성) 을 생성했는지 검증합니다.
• 피드백 4-튜플: 시스템은 구조화된 튜플 $\langle b, \ell, F, R \rangle$을 반환합니다:
  • $b$: 부울 감사 판정 (우회됨?).
  • $\ell$: 부울 치명성 판정 (해악 달성됨?).
  • $F$: 구조화된 감사 발견 사항 (이유 코드, 심각도, 증거 포인터).
  • $R$: 런타임 추적/조언 (예: 어떤 센서가 트리거되거나 차단되었는지).

C. 자기 진화형 돌연변이 생성기

레드팀 에이전트는 스칼라 보상 대신 문맥 내 부수 정보 ("언어적 기울기") 로 피드백 4-튜플을 소비하는 LLM 기반 도구 사용 루프입니다. 이는 기술의 5 축을 수정하기 위해 12 가지 돌연변이 연산자 (예: purpose-coherent-embed, code-offload, thematic-chain-insert) 카탈로그를 활용합니다.

D. 3 계층 진화 과정

Proteus 는 중첩된 검색 전략을 사용합니다:

1. 레이어 1 (자유 발견): 부모 목표 내에서 자유롭게 검색하여 첫 번째 성공적인 우회 ($b \land \ell$) 를 찾습니다.
2. 레이어 2 (경로 확장): 성공 시, 주요 라운드 예산을 소모하지 않고 동일한 공격 목표의 대안적 구현을 생성합니다 (예: cron 을 systemd 타이머로 교체).
3. 레이어 3 (표면 확장): 학습된 구현 패턴 (구조적 모티프) 을 새로운 공격 목표로 이전하여, 공격자가 초기 시드 이상으로 일반화할 수 있는지 테스트합니다.

3. 실험 설정

• 감사자: SkillVetter (오픈소스, MIT-0) 및 AI-Infra-Guard (텐센트, Apache-2.0).
• 대상: GPT-5.4-mini 및 GLM-5.
• 돌연변이 생성기: DeepSeek-V4-Pro 및 Kimi-2.6.
• 시드: 47k 노드 기술 그래프 (ClawHub) 에 대한 그래프 유도 체인 구성을 통해 생성된 20 개의 악성 시드 기술.
• 예산: 1 단계는 $T=5$라운드; 2 단계는 예산 외 확장.

4. 주요 결과

1 단계: 반복적 우회

8 개의 구성 셀 전반에 걸쳐 Proteus 는 **공격 성공률 (ASR@5)**이 **40–90%**에 달했습니다.

• 학습 곡선: Proteus 는 긍정적인 학습 곡선 기울기 (LCS) 를 보여주었으며, 이는 피드백 라운드마다 성공률이 크게 증가했음을 나타냅니다.
• 기준선 비교:
  • 블랙박스 기준선: 구조화된 발견 사항 없이 스칼라 통과/실패 판정만 제공받은 경우, 성공률은 약 43% 에서 정체되었으며 학습 기울기는 미미했습니다.
  • PyRIT: 표준 외부 레드팀 도구 (내러티브 재작성만 수행) 는 20 개 시드 중 5 개만 성공시켜, 문서뿐만 아니라 코드와 토폴로지를 돌연변이시키는 것의 필요성을 강조했습니다.
• 감사자 성능: 더 강력한 감사자인 AI-Infra-Guard 는 SkillVetter 대비 성공률을 10–30% 포인트 감소시켰으나, Proteus 는 여전히 이에 대해 최대 41.3% 의 성공률을 달성했습니다.

2 단계: 경로 및 표면 확장

성공적인 변형을 찾은 후, Proteus 는 공격 표면을 확장했습니다:

• 총 변형: 438개의 공동 우회 및 치명적 변형을 생성했습니다.
• SkillVetter: 모든 확장 셀에서 $\ge 93\%$ 우회되었습니다.
• AI-Infra-Guard: 여전히 25–41% 의 변형을 허용했습니다.
• 표면 확장: 에이전트는 공유된 구조적 모티프를 사용하여 공격 패턴을 새로운 목표 (예: 지속성에서 데이터 유출로 이동) 로 성공적으로 이전하여, 등장하는 일반화를 입증했습니다.

감사자 간 전이

중요한 발견은 학습된 공격의 전이성입니다. 더 강력한 AI-Infra-Guard 에 대해 진화한 변형의 **87.7%**가 새로운 돌연변이 없이도 SkillVetter 를 우회했습니다. 이는 적응적 누출이 특정 감사자에 국한된 것이 아니라 기술 검증 패러다임의 근본적인 취약점을 나타낸다는 것을 시사합니다.

5. 의의 및 주장

본 논문은 적응적이고 피드백 기반인 공격자에 대해 평가될 때, 현재 기술 검증이 잔류 위험을 크게 과소평가하고 있다고 주장합니다.

• 측정 격차: 기존 보안 연구는 감사자를 정적 분류기로 취급합니다. Proteus 는 공격자가 구조화된 피드백 ("그레이박스" 채널) 에 접근할 수 있을 때, 정적 분석과 LLM 기반 내러티브 검사를 모두 우회하도록 공격을 반복적으로 정제할 수 있음을 보여줍니다.
• "언어적 기울기 (Verbal Gradient)": 본 연구는 구조화된 감사 발견 사항을 문맥 내 부수 정보로 사용하는 것이 스칼라 보상보다 훨씬 효과적임을 실증적으로 검증했습니다. 피드백을 이진 판정으로 축소하면 학습 기울기가 한 자릿수 (order of magnitude) 감소합니다.
• 이중 채널 취약점: 결과들은 코드 실행과 컨텍스트 설정 문서의 결합이 이중 공격 표면을 생성함을 강조합니다. 성공적인 공격은 종종 여러 축에 걸친 조정된 돌연변이 (예: 페이로드를 바이너리로 오프로딩하는 동안 내러티브를 코드에 맞게 재작성) 를 필요로 합니다.
• 생태계 위험: 높은 감사자 간 전이율은 한 감사자에 대해 발견된 취약점이 다른 감사자에서도 지속될 가능성이 있음을 시사하며, 이는 단순히 감사자를 교체하는 것으로 해결될 수 없는 에이전트 기술 생태계의 시스템적 위험을 나타냅니다.

저자들은 적응적 누출이 측정 가능하고 중대한 위협이며, 일회성 정적 감사에 의존하는 대신 반복적이고 피드백 기반인 적대자를 처리할 수 있는 새로운 방어 메커니즘이 필요하다고 결론지었습니다.