기술 요약: StepGuard

문제 정의

대규모 언어 모델(LLM) 기반 에이전트는 텍스트 생성을 넘어 도구 호출을 통해 외부 환경과 상호작용하며 능력을 확장합니다. 그러나 이는 파일 수정, 정보 유출, 승인되지 않은 동작 등 심각한 보안 위험을 수반합니다. 기존의 가드레일은 다음과 같은 두 가지 주요 한계점을 가집니다:

1. 사후 평가 편향(Post-hoc Evaluation Bias): 현재의 많은 시스템은 실행 전 단계별 모니터링보다는 완료된 궤적(trajectory)을 평가하는 데 치중되어 있어, 실행 전 단계 수준의 모니터링에 대한 연구가 미흡합니다.
2. 안전성-유용성 불균형(Safety–Utility Imbalance): 기존 가드는 과잉 방어(무해한 작업을 차단)하거나 과소 방어(안전하지 않은 동작을 놓침)하는 "방어 편향"을 보입니다. 이러한 트레이드오프는 안전한 동작과 안전하지 않은 동작 간의 정확도 격차를 명시적으로 조절하는 확장 가능한 고품질 단계별 감독 및 학습 방법의 부재로 인해 더욱 악화됩니다.

방법론

본 논문은 완료된 궤적을 감사할 뿐만 아니라, 결정적으로 후보 도구 액션이 실행되기 전에 이를 점검하도록 설계된 단계 수준 가드 모델인 StepGuard를 제안합니다. 방법론은 세 가지 핵심 구성 요소로 이루어집니다.

1. StepGen: 자동 데이터 엔진

실제 세계의 안전하지 않은 실행 사례의 부족과 수동 주석 작업의 어려움을 해결하기 위해, 저자들은 확장 가능하고 고품질의 학습 데이터를 생성하는 자동 데이터 엔진인 StepGen을 도입합니다.

• 접두사 정렬 대조 그룹(Prefix-Aligned Contrastive Groups): StepGen은 지정된 "위험 앵커(risk anchor)" 단계($i^*$)까지 공통된 실행 접두사를 공유하는 궤적을 구축합니다. 이 앵커로부터 다음과 같이 분기됩니다:
  • 안전하지 않은 궤적(Unsafe Trajectories): 위험한 액션을 실행함.
  • 안전한 대안(Safe Alternatives): 에이전트가 해당 액션을 거부하거나, 위험을 인지하고 안전한 대안을 통해 진행하는 두 가지 분기.
  • 무해한 도구 재사용(Benign Tool-Reuse): 특정 도구의 정체 자체가 본질적으로 안전하지 않다고 모델이 학습하는 것을 방지하기 위해, 비적대적 맥락에서 동일한 도구를 재사용하는 독립적인 궤적.
• 품질 관리: 생성된 그룹은 형식(format), 파라미터 계보(parameter lineage)에 대한 기계적 검증과 의미적 일관성, 앵커 정확도에 대한 LLM 기반 감사를 거쳐 고품질의 단계별 주석을 보장합니다.

2. StepGuard 모델 아키텍처

StepGuard는 Qwen3-4B-Instruct에서 초기화된 4B 파라미터 모델입니다. 이 모델은 다음과 같은 구조화된 안전 진단을 생성하도록 학습됩니다:

• $\hat{Y}$: 안전/안전하지 않음 판정.
• $\hat{B}$: 위험 소스의 존재 여부.
• $\hat{R}$: 위험 소스 유형.
• $\hat{S}$: 안전하지 않은 단계의 위치 (선택 사항).

학습은 두 단계 과정을 따릅니다:

1. 콜드 스타트 SFT (Cold-Start SFT): 가드 형식을 학습하고 기본적인 위험 추론을 수행하기 위해 StepGen으로 생성된 3,000개의 예시를 통해 미세 조정합니다.
2. Balance-GRPO: 안전성-유용성 균형을 정교하게 조정하기 위해 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 사용하는 강화 학습 단계입니다.

3. Balance-GRPO

방어 편향을 완화하기 위해 저자들은 표준 GRPO의 확장판인 Balance-GRPO를 제안합니다.

• 메커니즘: 관찰된 안전/안전하지 않음 클래스 간의 정확도 격차를 기반으로 온폴리시(on-policy) 학습 중 정규화된 이점(advantage)을 동적으로 재가중치 부여합니다.
• 목표: 모델이 안전한 액션에 대해 성능이 떨어지면(과잉 방어), 안전한 예시에 대한 가중치를 높입니다. 반대로, 안전하지 않은 액션에 대해 성능이 떨어지면(과소 방어), 안전하지 않은 예시에 대한 가중치를 높입니다.
• 공식: 이점 $A'_{i,j}$는 클래스 카운트 계수 $c_i$와 안전/안전하지 않음 정확도의 차이($\Delta_{cls}$)의 함수인 정확도 격차 계수 $\omega_i$에 의해 재가중치 부여됩니다. 이 접근 방식은 프롬프트나 원시 보상을 수정하지 않고도 학습 압력을 조정합니다.

주요 기여

1. StepGuard: 후보 도구 액션의 실행 전 안전 점검과 완료된 궤적의 사후 감사를 모두 지원하는 4B 가드 모델입니다.
2. StepGen: 국소적 위험 단계와 무해한 도구 재사용을 포함하는 접두사 정렬된 안전/안전하지 않은 궤적을 자동으로 합성하여 확장 가능한 단계별 감독을 제공하는 자동 데이터 엔진입니다.
3. Balance-GRPO: 온폴리시 학습 중에 관찰된 안전-안전하지 않음 정확도 격차를 활용하여 방어 편향을 동적으로 줄이는 학습 알고리즘입니다.

실험 결과

정적 평가 (Static Evaluation)

• 성능: StepGuard는 궤적 수준(ATBench, R-Judge, ASSE Security) 및 단계 수준(TS-Bench-Dojo, TS-Bench-Harm) 벤치마크 전반에서 오픈 웨이트 가드 모델 중 가장 높은 평균 정확도를 달s성했습니다.
• 비교: 성능이 폐쇄형 모델인 GPT-5.4와 대등하며, Qwen3-Guard, LlamaGuard3, TS-Guard와 같은 다른 오픈 웨이트 모델들을 크게 앞섭니다.
• 일반화: 단 두 개의 위험 소스에 대해서만 학습되었음에도 불구하고, StepGuard는 여섯 개의 미학습 위험 소스에 대해 효과적으로 일반화되어 모든 소스에 대해 학습된 모델에 근접한 성능을 보여주었습니다.

가드된 에이전트 평가 (Runtime)

Qwen3.6-35B 에이전트 백본을 탑재하여 AgentDojo 및 AgentDyn에 배포한 결과:

• 안전성: StepGuard는 가드가 없는 설정 대비 평균 공격 성공률(ASR)을 77.3% 감소시켰습니다.
• 유용성: 평균 유용성 저하는 2.8 포인트에 불 달하여, 타 가드 모델 대비 우수한 안전성-유용성 트레이드오프를 입증했습니다.
• AgentHarm: 고도의 적대적 벤치마크인 AgentHarm에서 StepGuard는 악성 점수를 22.8에서 3.4로 낮추었으나, 작업 완료율이 70.9에서 52.8로 감소하여 고도의 적대적 환경은 여전히 도전 과제로 남아 있음을 보여주었습니다.

절제 연구 (Ablation Studies)

• StepGen: 중간 접두사 감독 또는 무해한 도구 재사용 예시를 제거하면 정확도와 F1 점수가 눈에 띄게 하락하여, 맥락 인식 감독의 필요성을 확인했습니다.
• Balance-GRPO: 베닐라(vanilla) GRPO와 비교했을 때, Balance-GRPO는 안전-안전하지 않음 정확도 격차를 13.0에서 8.0으로 줄였으며, 가드된 에이전트 평가에서 유용성을 최대 6.7 포인트 향상시키는 동시에 ASR 증가를 0.3 포인트 이내로 억제했습니다.

의의 및 주장

본 논문은 StepGuard가 안전성과 유용성을 효과적으로 균형 있게 조절함으로써 오픈 웨이트 에이전트 가드레일의 새로운 SOTA(State-of-the-Art)를 구축한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 단계 수준 모니터링으로의 전환: 궤적 수준의 평가를 넘어 실행 전 단계 수준의 체크로 이동함으로써 더 정밀한 개입이 가능해졌습니다.
2. 확장 가능한 감독: StepGen은 고품질의 맥락 일치 대조 데이터를 자동으로 합성할 수 있음을 보여주며, 수동 데이터 수집의 병목 현상을 극복했습니다.
3. 동적 캘리브레이션: Balance-GRPO는 과잉 방어와 과소 방어 사이의 트레이드오프를 명시적으로 제어하는 메커니즘을 제공하여, 기존의 안전 정렬 방법에서 나타나는 핵심적인 실패 모드를 해결합니다.

저자들은 데이터가 합성 생성에 의존하고 있다는 점(잠재적 편향 상속), 평가가 완전하게 개방된 생태계보다는 현재의 벤치마크에 국한되어 있다는 점, 그리고 본 시스템이 공식적인 안전 보장이 아닌 가드레일이라는 점을 언급하며 한계를 인정했습니다.