기술 요약: BraveGuard

문제 정의

컴퓨터 사용 에이전트는 언어 모델의 범위를 단순 텍스트 생성을 넘어 파일, 터미널, 브라우저 및 외부 도구와의 지속적인 상호작용으로 확장합니다. 이러한 변화는 기존의 챗봇 모더레이션과는 근본적으로 다른 안전성 위험을 초래합니다. 표준 대규모 언어 모델(LLM)에서 불안전한 행동은 대개 단일 프롬프트나 응답 내에 국한됩니다. 반면, 컴퓨터 사용 에이전트에서의 위해는 **다단계 실행 궤적(multi-step execution trajectories)**을 통해 나타나는 경우가 많습니다. 개별 동작(예: 파일 읽기, 코드 수정, 도구 호출)은 국소적으로는 무해해 보일 수 있지만, 이들의 누적된 효과는 데이터 유출, 승인되지 않은 작업 또는 정책 우회로 이어질 수 있습니다.

기존의 안전 방어 체계는 이러한 실행 모델에 부합하지 않습니다. 대부분의 가드 모델은 정적인 불온 프롬프트 코퍼스나 짧은 대화에 기반하여 훈련되며, 고정된 위험 분류 체계와 합성된 적대적 프롬프트에 의존합니다. 이러한 접근 방식은 위험이 소프트웨어 생태계와 함께 진화하고 새로운 공격 패턴이 발생하는 긴 호흡의 궤적(long-horizon trajectories)의 복잡성을 포착하는 데 실패합니다. 결과적으로, 고정된 분포로 훈련된 가드 모델은 익숙하지 않은 도구, 새로 발견된 전략, 또는 그럴듯한 동작들의 연쇄를 통해 위해가 실현될 때 제대로 대응하지 못합니다.

방법론: BraveGuard 프레임워크

BraveGuard는 오픈 월드 위협 신호와 현실적인 에이전트 실행 트레이스를 사용하여 궤적 수준의 가드 모델을 훈련하도록 설계된 **자기 진화형 방어 프레임워크(self-evolving defense framework)**입니다. 이 프레임워크는 네 가지 주요 단계로 구성된 폐쇄 루프 파이프라인을 통해 작동합니다.

1. 오픈 월드 위협 발견 (Open-World Threat Discovery)

BraveGuard는 정적인 분류 체계에 의존하는 대신, 최근의 증거에 기반한 동적인 위협 분류 체계를 구축합니다.

• 프로세스: 위협 발견 에이전트가 키워드 세트 $Q_r$을 사용하여 오픈 리서치 소스(예: arXiv, 보안 보고서, 벤치마크 논문)를 검색합니다.
• 분류 체계 구축: 검색된 문서는 필터링을 거쳐 구조화된 항목 $z = \langle \kappa, \alpha, \mu \rangle$로 변환됩니다. 여기서 $\kappa$는 위험 카테고리(예: 데이터 유출), $\alpha$는 공격 패턴(예: 간접 프롬프트 인젝션), $\mu$는 실패 모드(예: 외부 콘텐츠에 대한 과도한 신뢰)를 의미합니다.
• 적응: 키워드 세트는 문헌에서 발견되는 반복적인 메커니즘과 새로운 역량에 따라 업데이트되며, 이를 통해 검색과 분류 체계 구축 사이의 상호 강화 루프를 생성합니다.

2. 공격 합성 및 OpenClaw 롤아웃 (Attack Synthesis and OpenClaw Rollout)

발견된 위협 패턴은 실행 가능한 컴퓨터 사용 태스크로 구체화됩니다.

• 태스크 합성: 각 위협 항목에 대해, 합성기는 사용자 요청, 도구 컨텍스트, 기대되는 중간 동작을 명시하는 태스크 $T_z$를 생성합니다. 이러한 태스크들은 개별 동작 수준에서는 그럴듯하지만, 전체 실행 수준에서는 안전하지 않도록 설계되었습니다.
• 궤적 수집: 프레임워크는 OpenClaw(컴퓨터 사용 에이전트)를 사용하여 이러한 태스크를 실행하고 롤아웃 $x$를 생성합니다.
• 데이터 다양성: 시스템은 위협 패턴이 위해로 이어지지 않은 대조 사례를 제공하기 위해, 위해를 드러내는 '불안전한 궤적'과 저항하거나 중단된 '저항/중단된 궤적'을 모두 유지합니다.

3. 궤적 감독 및 가드 훈련 (Trajectory Supervision and Guard Training)

BraveGuard는 안전을 고립된 단계가 아닌 완전한 실행 트레이스의 속성으로 취급합니다.

• 주석 달기: 각 궤적은 이진 안전 레이블($\ell \in \{safe, unsafe\}$), 위험 카테고리, 그리고 실행 증거(예: 특정 명령, 파일 수정 또는 단계 간 의존성)에 근거한 근거 $\rho$와 함께 라벨링됩니다.
• 훈련: 가드 모델 $G_\theta$(Qwen3-Guard 및 Llama-Guard 변형 포함)는 이 직렬화된 궤적 데이터에 대해 훈련되어 분류 손실을 최소화합니다. 프롬프트 수준의 분류기와 달리, 이 모델들은 도구 사용 및 시간적 구성에 의해 유도되는 위험을 인식하는 법을 배웁니다.

4. 자기 진화형 방어 루프 (Self-Evolving Defense Loop)

프레임워크는 새로운 위협과 약점에 적응하기 위한 피드백 메커니즘을 포함합니다.

• 검증: 현재 가드 모델이 실패하는 어려운 사례를 식별하기 위해 홀드아웃 검증 스플릿 $V_r$이 사용됩니다.
• 정교화: 이러한 오류를 분석하여 격차(예: 지연 트리거 공격, 파일 내 프롬프트 인젝션)를 식별합니다. 키워드 세트와 분류 체계가 수정되고, 이러한 격차를 해결하기 위한 새로운 태스크가 합성됩니다.
• 반복: 훈련 데이터셋은 점진적으로 업데이트($B_{r+1} = B_r \cup \Delta B_r$)되어, 가드 모델과 훈련 분포가 함께 진화할 수 있도록 합니다. 외부 벤치마크는 최종 평가를 위해 엄격히 분리되며 훈련이나 튜닝에 사용되지 않습니다.

주요 기여

1. 궤적 수준의 안전성을 위한 프레임워크: BraveGuard는 모더레이션의 초점을 프롬프트 수준에서 궤적 수준의 감독으로 전환하여, 지속적인 상태 및 외부 도구와 상호작용하는 에이전트의 특수한 안전 문제를 해결합니다.
2. 오픈 월드 위협 발견: 프레임워크는 오픈 리서치 소스에서 신흥 위험을 채굴하고 이를 실행 가능한 태스크로 변환하는 방법을 도입하여, 정적이고 수동으로 큐레이션된 분류 체계를 넘어섭니다.
3. 자기 진화형 방어 루프: 검증 실패를 다음 단계의 위협 확장 및 태스크 합성을 유도하는 가이드로 사용함으로써, BraveGuard는 진화하는 실세계 위험을 다룰 수 있는 적응형 방어 메커니즘을 생성합니다.
4. 포괄적 평가: 이 접근 방식은 여러 가드 백본으로 구현되었으며, AgentHazard 및 ATBench와 같은 확립된 궤적 수준 벤치마크에서 평가되어 현실적인 에이전트 실행에 기반한 감독의 효능을 입증했습니다.

실험 결과

논문은 두 개의 홀드아웃 벤치마크인 AgentHazard-Strongest와 ATBench-500에서 BraveGuard를 평가합니다.

• AgentHazard-Strongest:

  • BraveGuard로 훈련된 가드들은 기성(off-the-shelf) 가드 모델 및 일반 LLM 판독기(judge)를 크게 능가합니다.
  • 평균 가드 모델 설정 하에서, AgentHazard에 대한 탐지 정확도는 38.79%(기성 모델 평균)에서 82.38%(BraveGuard 평균)로 증가했습니다.
  • 재현율(Recall) 개선이 특히 두드러졌는데, 기성 모델의 경우 약 20%였던 데 비해 BraveGuard 모델은 90% 이상으로 상승하여, 놓친 불안전한 궤적이 획기적으로 감소했음을 보여줍니다.
  • 어블레이션 연구(Ablation studies)를 통해, 전체 자기 진화 구성(궤적 감독, 오픈 월드 발견, 하드 케이스 확장을 결 조합)이 정적 분류 체계만을 사용하는 구성보다 뛰어난 성능을 내며 최상의 결과를 얻음을 확인했습니다.

• ATBench-500:

  • 교차 형식 일반화 능력을 테스트하기 위해 (OpenClaw 롤아웃으로 변환하지 않고) 네이티브 ATBench 형식으로 평가되었습니다.
  • BraveGuard-Qwen3-Guard-8B는 86.4%의 정확도와 95.2%의 재현율을 달 기록하며 대부분의 다른 가드 모델 및 일반 LLM을 능가했습니다. 다만, ATBench 네이티브 형식으로 훈련된 AgentDoG 모델보다는 약간 뒤처졌습니다. 이는 형식 정렬이 중요하긴 하지만, BraveGuard가 제공하는 궤적 수준의 감독이 여전히 매우 효과적임을 시사합니다.

• 카테고리별 성능:

  • BraveGuard는 파괴적 행위 및 권한 상승을 포함한 다양한 위험 카테고리에서 강력한 성능을 보였습니다.
  • 데이터 유출 및 컴플라이언스 우회와 같이 미묘한 단계 간 의연성에 의존하는 복잡한 카테고리에서는 성능이 다소 낮게 나타났으며, 이는 향후 개선이 필요한 영역임을 시사합니다.

의의 및 주장

본 논문은 BraveGuard가 진화하는 실세계 위험에 직면한 컴퓨터 사용 에이전트를 위한 적응형 방어의 확장 가능한 경로를 제공한다고 주장합니다. 이의 주요 의의는 오픈 월드 위협 발견과 현실적인 에이전트 실행에 기반한 가드 감독이 고정된 분류 체계 및 합성된 프롬프트 수준의 데이터를 넘어 안전 모니터링을 실질적으로 개선할 수 있음을 입증한 데 있습니다.

저자들은 이 프레임워크가 벤치마크 분포와 배치된 에이전트의 역동적인 위협 환경 사이의 간극을 해결한다고 강조합니다. 오픈 월드 위협 신호를 실행 가능한 태스크로 변환하고 궤적 수준의 감독을 적용함으로써, BraveGuard는 여러 개의 국소적으로 무해한 동작의 조합을 통해 발생하는 위험을 탐지할 수 있게 합니다. 결과는 적응형 궤적 기반 감독이 컴퓨터 사용 에이전트가 디지털 환경에 통합됨에 따라 보안을 확보하기 위해 필수적인 진화임을 시사합니다.

논문은 수집된 증거의 품질에 따라 커버리지가 달라질 수 있다는 점과 현재 파이프라인이 주로 OpenClaw 궤적을 중심으로 구축되어 있어 다른 형식의 트레이스나 도구 인터페이스를 가진 에이전트의 성능에 영향을 미칠 수 있다는 한계점을 언급하며 신중한 입장을 유지합니다.