Benchmarks for Trajectory Safety Evaluation and Diagnosis in OpenClaw and Codex: ATBench-Claw and ATBench-CodeX

1. 문제 정의 (Problem)

에이전트 시스템이 다양한 실행 환경 (OpenClaw 의 도구/세션 기반, OpenAI Codex 의 리포지토리/쉘 기반 등) 으로 확장됨에 따라, 기존의 정적인 벤치마크로는 새로운 위험 영역을 포괄적으로 평가하기 어렵습니다.

• 핵심 과제: 에이전트 프레임워크의 고수준 아키텍처는 비교적 안정적이지만, 구체적인 실행 환경, 도구 생태계, 제품 기능은 빠르게 진화합니다. 이에 따라 새로운 실행 환경에 맞춰 궤적 수준 (Trajectory-level) 의 안전성 평가 및 진단이 가능한 유연한 벤치마크가 필요합니다.
• 현재의 한계: 새로운 환경마다 완전히 새로운 벤치마크를从头 (de novo) 로 구축하는 것은 비효율적이며, 기존 ATBench 와의 비교 가능성과 진단 일관성을 유지하는 것이 어렵습니다.

2. 방법론 (Methodology)

이 논문은 ATBench의 확장성을 활용하여 두 가지 새로운 도메인 (OpenClaw, CodeX) 에 맞춘 벤치마크 (ATBench-Claw, ATBench-CodeX) 를 제안합니다. 핵심 방법론은 범용 구축 파이프라인을 유지하면서 '안전성 분류체계 (Safety Taxonomy)'만 환경에 맞게 커스터마이징하는 것입니다.

2.1. 3 차원 안전성 분류체계 (Three-dimensional Safety Taxonomy)

기존 ATBench 의 핵심인 3 차원 분류체계를 기반으로 하되, 각 환경의 특성에 따라 세분화합니다.

1. 위험 원인 (Risk Source): 위험이 발생하는 근원 (예: 사용자 입력, 환경 관측, 외부 개체/도구, 내부 논리).
2. 실패 모드 (Failure Mode): 에이전트가 어떻게 실패하는지 (예: 계획 오류, 도구 오용, 승인 우회).
3. 실제 피해 (Real-world Harm): 발생하는 실제 피해 (예: 프라이버시 침해, 재정적 손실, 시스템 무결성 훼손).

2.2. 도메인별 커스터마이징 전략

• ATBench-Claw (OpenClaw 환경):
  • 초점: 도구, 스킬, 세션, 외부 서비스 간의 실행 체인.
  • 적응: 상태 유지 (Stateful) 실행, 승인 (Approval) 우회, 라우팅 오류, 공급망 침해 등 새로운 카테고리를 대폭 추가하여 분류체계를 확장합니다.
  • 주요 위험: 세션 상태 오염, 권한 오용, 외부 메시지 전송 등.
• ATBench-CodeX (OpenAI Codex/Codex-runtime 환경):
  • 초점: 리포지토리, 쉘, 패치, 의존성, MCP 서버, 런타임 정책.
  • 적응: 기존 카테고리를 유지하되, 리포지토리 아티팩트 주입, 파괴적 워크스페이스 변형, 안전하지 않은 쉘 실행 등 환경 특화적 해석을 강화합니다.
  • 주요 위험: 의존성 공급망 공격, 코드 주입, 승인 없는 배포 등.

2.3. 데이터 생성 파이프라인

• 커스터마이징된 분류체계를 입력으로 받아, ATBench 의 기존 데이터 생성 엔진 (Risk sampling, Planner-based synthesis, Delayed-trigger realization 등) 을 통해 실제적이고 다양한 위험 시나리오를 생성합니다.
• 파이프라인 자체를 재설계하지 않고, 분류체계의 스펙 (Specification) 만 변경하여 새로운 벤치마크를 구축합니다.

3. 주요 기여 (Key Contributions)

1. ATBench-Claw 및 ATBench-CodeX 벤치마크 출시: OpenClaw 와 Codex 환경에 특화된 두 가지 새로운 안전성 평가 벤치마크를 공개했습니다.
2. 확장 가능한 벤치마크 프레임워크 제안: 새로운 에이전트 실행 환경이 등장할 때마다 전체 파이프라인을 재설계하지 않고, 분류체계 (Taxonomy) 만을 커스터마이징하여 벤치마크를 확장할 수 있음을 입증했습니다.
3. 세부적인 위험 진단 (Fine-grained Diagnosis): 단순한 안전/위험 이진 분류를 넘어, 위험 원인, 실패 모드, 피해 유형을 세분화하여 에이전트의 실패 원인을 정밀하게 진단할 수 있는 체계를 제공합니다.
4. 지연된 위험 실현 (Delayed-risk Realization): 초기 컨텍스트 (툴 설명, 세션 상태) 에 위험을 심어두고, 나중에 민감한 행동 (삭제, 실행 등) 에서 위험이 발현되는 장기적 (Long-horizon) 시나리오를 구현했습니다.

4. 실험 결과 (Results)

저자들은 ATBench-Claw 와 ATBench-CodeX 를 사용하여 다양한 모델 (Guard 모델, 오픈소스 지시 모델, 제안된 AgentDoG 시스템) 을 평가했습니다.

• 성능 비교:
  • ATBench-Claw: 제안된 AgentDoG-Qwen3-4B가 정확도 (0.872), F1 (0.896), 재현율 (0.929) 에서 모든 베이스라인을 압도했습니다.
  • ATBench-CodeX: Codex 환경은 Guard 모델들에게 더 큰 도전이 되었으나, AgentDoG-Qwen3-4B 는 여전히 가장 높은 성능 (정확도 0.822, 재현율 0.920) 을 보였습니다.
  • Guard 모델의 한계: 전용 Guard 모델 (Llama-Guard, QwenGuard 등) 은 Codex 환경에서 성능이 크게 저하되었으며, 특히 재현율 (Recall) 이 낮아 위험을 놓치는 경우가 많았습니다.
• 난이도 분석 (Cross-Benchmark Difficulty):
  • Claw: 사용자 입력 및 프롬프트 주입 관련 위험에서 난이도가 높았으나 전체적으로 모델 성능이 안정적이었습니다.
  • CodeX: 리포지토리 기반 실행, 의존성 공급망 침해, 파괴적 변형 등 특정 영역에서 모델 성능이 급격히 떨어지는 "긴 꼬리 (Long-tail)" 현상이 관찰되었습니다. 이는 Codex 환경이 훨씬 더 복잡하고 위험을 탐지하기 어렵다는 것을 시사합니다.

5. 의의 및 중요성 (Significance)

• 진화하는 에이전트 생태계 대응: 에이전트 기술이 빠르게 발전함에 따라, 벤치마크도 함께 진화해야 한다는 필요성을 충족시킵니다.
• 효율성과 일관성: 매번 새로운 벤치마크를 0 부터 만드는 대신, 공통된 생성 엔진과 진단 프레임워크를 유지하면서 분류체계만 조정함으로써 연구의 효율성을 극대화하고 결과의 비교 가능성을 높였습니다.
• 실제 적용 가능성: 단순한 대화 안전성을 넘어, 실제 도구 사용, 코드 실행, 시스템 조작 등 실제 에이전트 행동 (Action-oriented) 에서 발생하는 위험을 평가할 수 있는 표준을 제시합니다.
• 향후 연구 방향: 에이전트 시스템의 안전성 평가가 단일 환경에 국한되지 않고, 다양한 실행 컨텍스트 (OpenClaw, Codex 등) 에 맞춰 유연하게 확장되어야 함을 강조합니다.

이 논문은 에이전트 안전성 연구 분야에서 유연한 벤치마크 설계의 중요성을 부각시키며, 다양한 실행 환경에서의 위험을 체계적으로 평가하고 진단할 수 있는 실질적인 도구를 제공합니다.