기술 요약: JANUS - 장기적 관점의 에이전트 안전을 위한 잠재적 위험 예측

문제 정의

도구 사용 에이전트(예: OpenClaw, Codex, Claude Code)의 배포는 대규모 언어 모델(LLM)의 실패 표면을 단순한 텍스트 오류에서 운영적 실패로 확장시킵니다. 기존의 콘텐츠 모더레이션과 달리, 에이전트 안전은 파일을 삭제하거나, 데이터를 유출하거나, 서비스를 중단시키는 등의 행동을 방지해야 합니다. 기존의 안전장치는 주로 관찰된 궤적 접두사(trajectory prefixes)나 최종 응답에 기반하여 안전성을 평가하는 반응적(reactive) 방식입니다. 이러한 접근법은 초기 신호가 여러 단계를 거친 후에야 해로운 결과로 이어질 수 있는 **장기적 과업(long-horizon tasks)**에는 불충 sufficient하지 않습니다. 핵심 과제는 해로운 행동이 발생하기 전에 안전하지 않은 실행 상태를 인식하고, 초기 문맥과 지연된 결과를 연결하는 것입니다.

방법론: Janus 프레임워크

저자들은 부분적인 궤적으로부터 지연된 위험을 예측하도록 설계된 예측형 가드(predictive guards)를 학습시키기 위해 Janus라는 프레임워크를 제안합니다. 이 프레임워크는 두 가지 주요 구성 요소로 이루어져 있습니다.

1. 시뮬레이션 기반 데이터 구축

실제 환경의 장기적 실패 데이터 부족 문제를 해결하기 위해, Janus는 다양한 궤적을 합성하는 다중 에이전트 시뮬레이션 파이프라인을 활용합니다.

• 위험 분류 체계(Risk Taxonomy): 학습 예시는 세 가지 위험 기원에 따라 분류됩니다:
  • 사용자 기원: 선의의 작업으로 위장된 해로운 목표 (예: 사기, 사이버 남용).
  • 환경 기원: 외부 아티팩트나 주입된 프롬프트로부터 발생하는 위험 (예: 프롬프트 인젝션, 데이터 유출).
  • 에이전트 기원: 의존성을 간과하거나 명령을 경직되게 따르는 등 에이전트 자체의 추론으로 인한 실패.
• 합성 파이프라인: 매니저(Manager) 에이전트가 생성 전략을 전문화된 역할(Instructor, ToolDesigner, Grader, EnvInjector)로 분해하여 시나리오를 구축합니다. 실행기(Executor)는 실제 도구를 실행하지 않고 구조화된 관찰값을 생성하는 시뮬레이터를 사용하여 궤적을 전개합니다. 리뷰어(Reviewer)는 작업 일관성, 위험 커버리지 및 완결성을 보장하기 위해 거부 샘플링(rejection sampling)을 수행합니다.
• 주석(Annotation): 각 궤적은 실행 접두사($\tau_{pre}$)와 미래 지속 부분($\tau_{after}$)으로 나뉩니다. 접두사는 안전(Safe), 안전하지 않음(Unsafe), 또는 *잠재적 안전하지 않음(Potential Unsafe)*으로 라벨링되며, 미래의 위험에 대한 요약($s$)이 동반됩니다.

2. 결합된 예측 및 판정 강화 학습 (CoAA-RL)

Janus는 그룹 상대 정책 최적화(GRPO)를 통해 최적화되는 두 가지 결합된 과업을 가진 공유 정책($\pi_\theta$)을 학습시킵니다.

• 예측 과업(Anticipation Task): 부분적인 궤적이 주어지면, 모델은 안전에 결정적인 이벤트(예: 고위험 도구 호출)를 추상화한 여러 미래 요약($S_k$)을 샘플링합니다. 목표는 단계별 재현이 아니라 안전 관련 미래를 예측하는 것입니다.
• 판정 과업(Adjudication Task): 모델은 관찰된 접두사와 예측된 미래 요약($S_k$) 모두를 조건으로 하여 안전 라벨($y$)을 예측합니다.
• 결합된 보상 설계(Coupled Reward Design): 두 과업은 다음과 같은 보상 메커니즘을 통해 연결됩니다:
  • 판정 보상($r_D$): 라벨의 정확성과 형식의 유효성을 결합합니다.
  • 예측 보상($r_A$): 요약의 정답(ground truth)과의 일관성 및 그 **유용성(utility)**의 가중 합입니다. 구체적으로, 요약은 판정 과업이 올바른 안전 결정을 내리는 데 도움이 될 때 보상을 받습니다.
  • 이러한 결합은 모델이 단순히 미래를 정확하게 예측하는 것이 아니라, 안전을 위한 의사결정에 유용한 미래 이벤트만을 예측하도록 학습하게 합니다.

3. 추론: Vanguard 모델

결과물인 가드 모델 Vanguard는 추론 시점에 2단계 예측 판단을 수행합니다:

1. 예측(Anticipation): 현재 궤적 접두사로부터 안전 관련 미래 요약을 생성합니다.
2. 판정(Adjudication): 이 요약을 사용하여 안전 라벨과 근거를 예측합니다.
   라벨이 안전하지 않음인 경우, 시스템은 실행 전 행동을 차단합니다.

주요 기여

1. 예측형 가딩 패러다임: 본 논문은 예측형 가딩을 장기적 안전을 위한 핵심 요구사항으로 식별하며, 즉각적인 해로운 의도에서 지연된 결과로 초점을 전환합니다.
2. Janus 프레임워크: 시뮬레이션 기반 궤적 구축과 CoAA-RL을 결합하여 미래 예측과 안전 판정을 공동 최적화하는 새로운 학습 프레임워크를 제시합니다.
3. Vanguard 모델: 안전하지 않은 행동에 대한 보호 성능을 높이면서도 유익한 작업 완료 능력을 유지하는 예측형 가드 모델을 선보입니다.

실험 결과

저자들은 네 가지 에이전트 안전 벤치마크(AgentDojo, Agent-SafetyBench, AgentLAB, LPS-Bench)를 통해 Vanguard를 평가했습니다.

• 성능: Vanguard는 모든 네 가지 벤치마크에서 베이스라인 가드레일 모델(예: Qwen3-8B, Llama-Guard-3) 및 프레임워크(예: LlamaFirewall, Sandwich Defense)보다 낮은 공격 성공률(ASR)을 달성했습니다.
  • 보호율(Protection Rate): Vanguard는 베이스라인 가드 대비 평균 보호율을 15.9 퍼센트 포인트 향상시켰습니다.
  • 유익한 작업 수행(Benign Utility): 베이스라인 대비 유익한 작업 완료율을 5.1 퍼센트 포인트 높였으며, AgentDojo에서 가드가 없는 참조 모델의 유틸리티(0.680)와 일치하는 수준을 보여주었습니다.
• 절제 연구(Ablation Studies):
  • 예측의 필요성: 예측 과업을 제거했을 때 평균 ASR이 0.072에서 0.148로 증가하여, 미래 위험을 예측하는 것이 매우 중요함을 확인했습니다.
  • 결합된 보상: 두 과업을 분리하거나 유사성/유용성 보상만을 사용할 경우 성능이 크게 저하되어, 결합된 보상 설계의 필요성을 입증했습니다.
  • 조기 예측: Vanguard는 궤적 접두사의 25%만 관찰했을 때도 낮은 ASR을 유지하여, 위험이 명시적(explicit)이 되기 전에 탐지하는 능력을 입증했습니다.

의의 및 주장

본 논문은 미래 위험 예측이 선제적이고 궤적을 인식하는 안전장치를 구축하기 위한 핵심 역량이라고 주장합니다. 초기 문맥을 지연된 결과와 연결하는 법을 학습함으로써, Janus는 고영향(high-impact) 작업이 실행되기 전에 개입할 수 있게 합니다. 저자들은 이 연구가 반응적 모니터링에서 예측적 안전으로의 전환이라고 규정하며, 장기적 에이전트의 경우 중간 상태와 도구 호출을 포괄하기 위해 최종 응답을 넘어 안전을 추론해야 한다고 주장합니다.

한계점

저자들은 다음과 같이 두 가지 한계를 겸허히 인정합니다:

1. 시뮬레이션 대 현실: 학습 궤적이 실제 배포된 시스템에서 수집된 것이 아니라 다중 에이전트 시뮬레이션을 통해 구축되었으므로, 실제 세계의 도구 동작 및 사용자 상호작용 분포를 완전히 포착하지 못할 수 있습니다.
2. 일반화: 평가는 특정 에이전트 백본, 도구 환경, 벤치마크 정의 위험 시나리오에 국한되어 있습니다. 학습된 정책이 보지 못한 도구나 새로운 적대적 변형에 대해 어떻게 일반화될지는 아직 완전히 규명되지 않았습니다.