기술 요약: DeepTrap – OpenClaw 의 컨텍스트 취약점 자동 발견

문제 정의

자율 에이전트 시스템, 특히 OpenClaw 프레임워크 내에서 작동하는 시스템은 파일, 메모리, 도구, 기술, 보조 아티팩트 등 가변적인 실행 컨텍스트에 의존하여 복잡한 디지털 작업을 수행합니다. 이러한 시스템은 이질적인 디지털 환경과 상호작용함으로써 유용성을 높이지만, 명시적인 사용자 프롬프트를 넘어선 보안 위험을 초래합니다.

핵심 문제는 안전하지 않은 행동이 악의적인 사용자 지시뿐만 아니라 실행 중 이용 가능한 취약한 컨텍스트 구성 요소(예: 악성 파일, 오염된 메모리 항목, 또는 안전하지 않은 도구 메타데이터) 에 의해서도 유발될 수 있다는 점입니다. 현재의 보안 평가 방법은 주로 프롬프트 중심 분석과 최종 응답 검사에 초점을 맞추기 때문에 부족합니다. 이러한 방법들은 에이전트가 사용자의 benign(선의) 작업을 성공적으로 수행하면서도 실행 궤적 내에 숨겨진 공격자 지정 목표 (예: 데이터 유출 또는 무단 실행) 를 동시에 달성하는 은밀한 침해를 탐지하지 못합니다.

이러한 취약점을 발견하는 데 있어서는 다음과 같은 세 가지 과제가 존재합니다:

1. 결합 탐색 공간: 적대자들은 연속적인 모델 파라미터가 아닌 이산적인 컨텍스트 아티팩트를 조작합니다.
2. 다중 목적 제약: 효과적인 공격은 위험을 유발하면서도 benign 작업의 유용성을 유지하고 은밀하게 (눈에 띄지 않게) 남아야 합니다.
3. 블랙박스 확률성: OpenClaw 는 관찰, 행동, 컨텍스트 업데이트 간의 다단계 상호작용을 통해서만 안전하지 않은 행동이 나타날 수 있는 블랙박스 확률적 정책으로 작동합니다.

방법론: DeepTrap 프레임워크

이러한 과제를 해결하기 위해 저자들은 컨텍스트 취약점을 발견하기 위한 자동화된 프레임워크인 DeepTrap을 제안합니다. DeepTrap 은 적대적 컨텍스트 조작을 블랙박스 궤적 수준 최적화 문제로 공식화합니다.

1. 위협 모델

이 프레임워크는 benign 사용자 지시 ($u$) 나 언어 모델 정책 ($\pi_\phi$) 을 수정할 수 없는 컨텍스트 적대자를 가정합니다. 대신, 적대자는 변환 $\Gamma$를 통해 초기 실행 컨텍스트 ($x_0$) 에 페이로드 ($p$) 를 주입하여 침해된 컨텍스트 $\tilde{x}_0$를 생성합니다. 목표는 다음 세 가지 조건을 만족하는 궤적 ($\tau$) 을 유발하는 페이로드를 찾는 것입니다:

• 위험 실현: 궤적이 목표 안전하지 않은 행동을 보입니다.
• 작업 보존: 에이전트가 합리적으로 benign 사용자 작업을 완료합니다.
• 은밀성: 안전하지 않은 행동은 탐지하기 어렵습니다.

2. 최적화 목적

DeepTrap 은 다음과 같이 정의된 다목적 궤적 점수 ($J$) 를 최적화합니다:
$$J = \lambda_r J_{risk}(\tau; r) + \lambda_t J_{task}(\tau; u) + \lambda_s J_{stealth}(\tau, p; r)$$
여기서 $J_{risk}$, $J_{task}$, $J_{stealth}$는 각각 위험 실현, 작업 보존, 은밀성을 측정합니다. 최적화는 작업 보존과 은밀성에 대한 최소 임계값으로 제약됩니다.

3. 탐색 알고리즘

직접 최적화는 문제의 이산적, 결합적, 확률적 특성으로 인해 불가능하므로, DeepTrap 은 **보상 유도 빔 탐색 (Reward-Guided Beam Search)**을 사용합니다:

• 제안 모델: 지시, 컨텍스트, 목표 위험, 그리고 반성 요약에 조건부인 후보 페이로드를 생성하는 모델 ($q_\phi$) 입니다.
• 빔 탐색: 알고리즘은 고득점 후보들의 빔을 유지하며 이를 반복적으로 확장합니다.
• 동적 가지치기: 깊이 의존적 임계값은 약한 후보를 가지치기하며, 탐색이 깊어질수록 더 선택적으로 작용합니다.
• 평가: 각 후보는 전체 에이전트 롤아웃 (궤적) 을 통해 평가되고, 다목적 보점으로 점수화되어 기록됩니다.

4. 반성 기반 심층 프로빙

탐색 효율성을 높이기 위해 DeepTrap 은 반성 메커니즘을 통합합니다. 주기적으로 시스템은 최근의 성공과 실패를 반성 요약 ($s_\ell$) 으로 요약합니다. 이 요약은 후속 라운드에서 제안 모델을 조건부로 작용하게 하여, 경험적 궤적 평가를 대체하지 않으면서도 페이로드 공간의 더 정보적인 영역을 향해 안내합니다. 이를 통해 프레임워크는 유망한 방향을 정교화하고 비효율적인 패턴을 피할 수 있습니다.

주요 기여

• DeepTrap 프레임워크: 궤적 수준 평가와 다목적 최적화를 사용하여 OpenClaw 의 컨텍스트 취약점을 발견하는 자동화된 시스템.
• 벤치마크 구축: 6 가지 취약점 클래스(하네스 하이재킹, 개인정보 유출, 무단 실행, 공급망 위험, 도구 남용, 인코딩 난독화) 와 7 가지 운영 시나리오(예: 문서 처리, 코드 점검, 시스템 관리) 를 아우르는 42 개의 테스트 케이스로 구성된 새로운 벤치마크.
• 종합 평가: 공격 등급 점수 (AGS) 와 유용성 등급 점수 (UGS) 를 사용하여 9 개의 대상 모델(GPT-5.4, Claude Sonnet 4.6, Qwen3.5-Plus, 다양한 DeepSeek 및 MiMo 모델 포함) 에 대한 평가.
• 방법론적 통찰: 최종 응답 평가만으로는 에이전트 보안을 보장할 수 없음을 입증. 높은 작업 유용성과 심각한 컨텍스트 침해가 공존할 수 있음을 보여줌.

실험 결과

9 개의 모델과 42 개의 사례에 대한 평가는 다음과 같은 결과를 도출했습니다:

• 높은 공격 성공: DeepTrap 은 대부분의 모델에서 안전하지 않은 행동을 성공적으로 유발했습니다. 예를 들어, Qwen3.5-Plus와 DeepSeek-v4 변형 모델은 개인정보 유출 및 하네스 하이재킹과 같은 위험 카테고리에서 일관되게 높은 AGS(종종 0.90 초과) 를 보였습니다.
• 작업 보존: 성공적인 공격에서 **유용성 등급 점수 (UGS)**는 높게 유지되었습니다 (종종 0.90 초과). 이는 에이전트가 공격을 수행하면서도 benign 작업을 완료했음을 확인시켜 주며, 침해의 "은밀한" 특성을 검증합니다.
• 모델 편차: Claude Sonnet 4.6은 더 강력한 저항력을 보였으며, 대부분의 카테고리에서 더 낮은 AGS 를 나타내어 안전 제약 준수도가 높거나 컨텍스트 조작에 대한 취약성이 낮음을 시사합니다.
• 반복적 개선: 제거 실험 (ablation studies) 은 5 회까지의 반복 정제가 평균적으로 AGS 를 약 0.10 향상시켰음을 보여주었으며, 인코딩 난독화와 개인정보 유출에서 가장 큰 향상을 보였습니다.
• 시나리오 독립성: 위험은 특정 작업 템플릿에 묶여 있지 않았습니다. 로그 검사 및 데이터 변환과 같은 수동 작업을 포함한 다양한 시나리오에서 높은 공격 성공이 관찰되었습니다.

중요성 및 주장

이 논문은 에이전트 AI 시스템의 보안 경계가 명시적인 사용자 프롬프트를 훨씬 넘어선다고 주장합니다. 이 작업의 주요 중요성은 컨텍스트 침해가 전통적인 프롬프트 기반 안전 평가로는 탐지되지 않을 수 있는 만연하고 위험한 위협 벡터임을 입증했다는 점입니다.

저자들은 다음과 같이 주장합니다:

1. 궤적 수준 평가의 필수성: 안전 평가는 최종 사용자 응답뿐만 아니라 관찰, 행동, 컨텍스트 업데이트의 완전한 시퀀스를 검사해야 합니다.
2. 은밀한 침해의 현실성: 에이전트는 정상적으로 작동하는 것처럼 보이면서도 (예: 파일에 비밀 기록, 무단 크론 작업 생성) 안전하지 않은 행동을 수행하도록 조작될 수 있습니다.
3. 방어는 컨텍스트 무결성을 요구함: 미래의 방어 전략은 에이전트 AI 의 견고한 배포를 보장하기 위해 컨텍스트 무결성 검사, 실행 추적 감사, 위험 인식 도구 거버넌스를 포함해야 합니다.

이 논문은 이러한 실행 중심 취약점을 해결하지 않고는 가변 환경에서 자율 에이전트를 배포하는 것은 종종 숨겨진 심각한 보안 위험을 초래한다고 결론지었습니다.