🤖 AI

RePolicy: Reinforcement Learning for Safety-Policy Invocation in Agent Safeguards

본 논문은 맥락 특화적 안전 정책을 동적으로 호출하여 근거 있는 안전 판단을 생성하는 강화 학습 기반의 에이전트 보호 체계인 RePolicy를 소개하며, 기존의 프롬프팅 및 미세 조정 방식과 비교하여 다양한 벤치마크에서 우수한 적응성과 탐지 성능을 입증한다.

원저자: Houcheng Jiang, Boxuan Zhang, Qiyong Zhong, Junfeng Fang, Xiang Wang, Xiangnan He

게시일 2026-08-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Houcheng Jiang, Boxuan Zhang, Qiyong Zhong, Junfeng Fang, Xiang Wang, Xiangnan He

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능이 급격히 진화하는 세상에서, 단순히 질문에 답하거나 글을 쓰는 수준을 넘어선 새로운 세대의 시스템들이 등장했습니다. 이들은 복잡한 작업을 계획하고, 소프트웨어 도구를 사용하며, 특정 목표를 달ох하기 위해 외부 세계와 상호작용할 수 있는 디지털 개체인 자율 에이전트입니다. 비행기를 예약할 뿐만 아니라 웹사이트를 탐색하고, 양식을 작성하며, 지속적인 인간의 안내 없이도 캘린더를 관리할 수 있는 개인 비서를 상상해 보십시오. 이러한 에이전트들의 능력이 향상됨에 따라, 그 안전에 대한 책임 또한 그만큼 높아지고 있습니다. 이제 위험은 단 하나의 부적절한 문장에 국한되지 않습니다. 그것은 개별적으로는 무해해 보일 수 있지만, 여러 동작이 연쇄적으로 이어졌을 때 해로운 결과로 이어질 수 있는 일련의 행동들에 관한 문제입니다. 에이전트가 안전하게 행동하도록 보장하기 위해서는, 그들의 전체 여정을 관찰하고, 도로 위의 규칙을 이해하며, 실수가 재앙이 되기 전에 개입할 수 있는 시스템이 필요합니다.

수년 동안, 이러한 에이전트를 안전하게 유지하기 위한 표준적인 접근 방식은 정적인 규칙이나 단순한 프롬프에 의존해 왔습니다. 개발자들은 금지된 행동의 고정된 목록을 안전 시스템에 프로그래밍하거나, 모델에게 일반적인 가이드라인에 따라 자신의 작업을 검토하도록 요청했습니다. 그러나 현실 세계는 단 하나의 변하지 않는 규칙 목록으로 모든 상황을 다루기에는 너무나 복잡합니다. 어떤 작업은 맥락에 따라 안전할 수도 있고, 누가 요청하는지, 어떤 도구를 사용할 수 있는지, 혹은 어떤 법률이 적용되는지에 따라 위험할 수도 있습니다. 게다가 안전 정책 자체도 시간이 흐름에 따라 변합니다. 모델이 단순히 고정된 규칙을 암기하도록 하는 것은, 모델이 새로운 시나리오나 이전에 본 적 없는 규칙의 조합에 직면했을 때 혼란을 느끼게 만듭니다. 이는 이미 방문했던 거리만을 보여주는 지도로 도시를 항해하려는 것과 같습니다. 새로운 동네로 코너를 돌 때, 그 지도는 아무런 도움을 주지 못합니다.

이를 해결하기 위해 연구자들은 RePolicy라고 불리는 새로운 방법을 개발했습니다. 이 시스템은 안전 규칙을 단순히 읽어야 할 수동적인 텍가 텍스트로 취급하는 대신, 안전 검사기가 선택하고 사용해야 하는 능동적인 도구로 취급합니다. 핵심 아이디어는 안전 시스템에게 특정 상황을 살펴보고, 사용 가능한 규칙 라이브러리를 스캔하여, 실제로 적용되는 규칙을 골라내는 법을 가르치는 것입니다. 일단 올바른 규칙이 선택되면, 시스템은 그 구체적인 세부 사항을 읽고 에이전트의 행동이 안전한지 여부에 대한 최종 판단을 내립니다. 이 접근 방식은 안전 검사를 수동적인 읽기 연습에서, 시스템이 당면한 과제에 맞는 규칙을 어떤 서랍에서 꺼내 써야 할지 배우는 능동적인 의사 결정 과정으로 변화시킵 sleep 합니다.

연구진은 먼저 20,000개 이상의 사례가 포함된 방대한 데이터셋을 구축하여 이 시스템을 만들었습니다. 이 사례들은 에이전트가 수행한 작업의 상세한 기록과, 해당 작업에 적용되는 특정 안전 규칙을 쌍으로 포함하고 있었습니다. 그들은 각 기록에 대해 어떤 규칙이 적용되어야 하는지와 그 이유를 정확히 표시했습니다. 이 데이터를 사용하여, 연구진은 먼저 지도 학습(supervised learning) 과정을 통해 시스템에게 상황을 읽고 일치하는 규칙을 찾는 기초를 가르쳤는데, 이는 학생이 교과서로부터 배우는 방식과 유사합니다. 그러나 단순히 예시를 암기하는 것만으로는 예측 불가능한 현실 세계의 작업을 처리하기에 충분하지 않습니다. 시스템을 더 발전시키기 위해, 연구진은 강화 학습(reinforcement learning)이라고 알려진 기법을 적용했습니다. 이 단계에서 시스템은 결정을 반복해서 연습할 수 있었습니다. 올바른 규칙을 선택하고 정확한 안전 판단을 내리면 보상을 받았고, 잘못된 규칙을 선택하거나 위험을 놓치면 벌점을 받았습니다. 시간이 흐르면서 시스템은 선택을 정교화하는 법을 배웠으며, 비슷해 보이지만 서로 다른 상황에 적용되는 규칙들을 더 잘 구별하게 되었습니다.

이 훈련의 핵심적인 부분은 시스템이 지름길을 악용하는 것을 방지하기 위한 영리한 트릭이었습니다. 연습 과정에서 연구진은 올바른 규칙들과 함께 무관한 규칙들과 가짜 "미끼" 정책들을 섞어서 투입했습니다. 이는 시스템이 단순히 목록에 있는 키워드에 기반해 추측하는 것이 아니라, 에이전트의 행동 맥락을 진정으로 이해하도록 강제했습니다. 만약 시스템이 관련 규칙과 미끼를 구분하지 못한다면 테스트에서 탈락하게 됩니다. 이를 통해 최종 시스템은 단순히 키워드의 존재 여부가 아니라, 작업의 세부 사항을 바탕으로 상황을 지배하는 특정 정책을 식별하는 법을 학습했습니다.

에이전트 안전을 평가하기 위해 설계된 6가지 서로 다른 벤치마크를 대상으로 테스트했을 때, 이 새로운 시스템은 기존 방식보다 훨씬 뛰어난 성능을 보였습니다. 이 시스템은 다양한 시나리오에서 안전하지 않은 행동을 탐지하는 데 높은 정확도를 달성했으며, 범용 인공지능 모델과 특화된 안전 도구 모두를 능가했습니다. 6가지 테스트 중 4가지에서 1위를 차지하며, 다른 시스템들이 놓친 위험을 포착하는 능력이 명확히 개선되었음을 보여주었습니다. 아마도 가장 중요한 점은, 이 시스템이 사용 가능한 규칙 목록이 바뀌거나 맥락이 변하더라도 올바른 안전 정책을 호출하는 강력한 능력을 입증했다는 것입니다. 시스템은 단순히 추측한 것이 아니라, 올바른 규칙을 능동적으로 선택하고 그 내용을 바탕으로 자신의 결정을 정당화했습니다.

이 연구는 안전 시스템에게 규칙을 단순히 수동적으로 읽게 하는 것이 아니라, 규칙을 능동적으로 선택하고 적용하도록 가르침으로써, 자율 에이전트를 위한 더 적응력 있고 신뢰할 수 있는 수호자를 만들 수 있음을 시사합니다. 이 접근 방식은 안전 메커니즘이 완전히 재프로그래밍될 필요 없이, 새로운 도구와 변화하는 규제에 맞춰 진화할 수 있게 합니다. 비록 이 시스템이 완벽한 해결책은 아니며 여전히 제공된 규칙의 품질에 의존하고 있지만, 그 결과는 유망한 길을 보여줍니다. 안전 정책 호출을 학습 과제로 전환함으로써, 연구자들은 인공 에이전트가 더욱 독립적으로 변함에 따라 그들이 명확하고 맥락을 인식하며 효과적인 안전 표준의 통제 아래에 머물 수 있도록 보장하는 중요한 발걸음을 내디뎠습니다.

기술 요약: RePolicy

문제 정의

대규모 언어 모델(LLM) 에이전트의 안전 위험은 고립된 유해 콘텐츠에서 실행 궤적 전체에서 발생하는 행동적 위해로 진화했습니다. 기존의 에이전트 보호 조치는 주로 사전 정의된 위험 분류 체계나 정적인 안전 정책에 의존합니다. 그러나 실제 배포 환경은 사용자 권한, 조직 요구 사항 또는 규제 관할권에 따라 동일한 행동이 서로 다른 제약 조건의 적용을 받을 수 있는 복잡하고 동적인 맥락을 포함합니다.

프롬프팅이나 지도 미세 조정(SFT)에 크게 의존하는 기존의 정책 인식 보호 조치는 다음과 같은 상당한 한계에 직면해 있습니다:

적응성: 보지 못한 궤적이나 새로운 안전 정책의 조합에 적응하는 데 어려움을 겪습니다.
호출 메커니즘: 안전 정책을 수동적인 컨텍스트가 아닌 능동적으로 호출 가능한 능력으로 취급하지 못합니다. 결과적으로, 어떤 특정 정책을 호출해야 하는지 또는 특정 궤적에 어떻게 조항을 적용해야 하는지를 결정하는 데 자주 실패합니다.
분포 변화: SFT 기반 모델은 훈련 중에 관찰된 궤적-정책 분포에 국한되며, 새로운 정책 맥락으로 일반화되지 못할 수 있습니다.

방법론

저자들은 RePolicy를 제안합니다. 이는 안전 정책 호출을 에이전트 강화 학습(RL) 과제로 공식화한 에이전트 보호 조치입니다. RePolicy는 정책을 수동적으로 읽는 대신, 안전 판단을 내리기 전에 동적 라이브러리에서 적용 가능한 정책을 능동적으로 선택하고 호출하는 법을 학습합니다.

1. 과제 공식화

보호 조치는 완전한 에이전트 궤적 $\tau$ 와 동적 정책 라이브러리 $P$ 를 대상으로 작동합니다. 프로세스는 다음과 같은 순차적 구조를 따릅니다:

정책 호출: 모델은 $\tau$ 를 기반으로 $P$ 에서 적용 가능한 정책 $\hat{p}$ 를 선택합니다.
콘텐츠 검색: 선택된 정책의 전체 내용 $c(\hat{p})$ 를 검색합니다.
추론 및 판단: 모델은 $\tau$ 와 $c(\hat{p})$ 를 사용하여 정책에 근거한 근거 $\hat{r}$ 과 최종 안전 라벨 $\hat{y} \in \{safe, unsafe\}$ 를 생성합니다.

2. 데이터 구축: PolicyTraj-20K

이 접근 방식을 지원하기 위해 저자들은 20,000개 이상의 안전 정책 주석이 달린 궤적을 포함하는 PolicyTraj-20K를 구축했습니다.

합성: 기존의 상호작용 패턴으로부터 다양한 에이전트 궤적을 합성하였으며, 도구 사용 패턴과 안전 메커니즘은 유지하면서 작업 콘텐츠를 다양화했습니다.
그라운딩(Grounding): 정책은 최종 위험 범주가 아닌 "에이전트 운영 장면"별로 구성되었습니다. 각 궤적에는 적용 가능한 정책, 관련 조항, 안전 라벨 및 결정 근거가 주석으로 달려 있습니다.
구조: 이 데이터셋은 명시적인 궤적-정책 그라운딩을 제공함으로써 지도 학습 초기화와 강화 학습을 모두 지원합니다.

3. 훈련 파이프라인

RePolicy는 2단계 훈련 과정을 채택합니다:

1단계: 콜드 스타트 지도 미세 조정 (SFT)
모델은 전체 호출-추론 시퀀스를 학습하기 위해 PolicyTraj-20K를 사용하여 초기화됩니다. 모델은 다음을 수행하도록 훈련됩니다:

로컬 라이브러리(대상 정책 및 방해 요소 포함)에서 올바른 정책 식별.
검색된 정책 내용을 바탕으로 근거 및 안전 라벨 생성.
구조화된 JSON 출력 형식 준수.

2단계: GRPO를 이용한 강화 학습
저자들은 보호 조치의 결과를 직접 최적화하기 위해 **그룹 상대 정책 최적화(GRPO)**를 적용합니다. 주요 혁신 사항은 다음과 같습니다:

검증 가능한 보상: 복합 보상 함수 $R = \lambda_{fmt}R_{fmt} + \lambda_{pol}R_{pol} + \lambda_{acc}R_{acc}$ $R = λ_{f m t} R_{f m t} + λ_{p o l} R_{p o l} + λ_{a cc} R_{a cc}$ 는 다음을 평가합니다:
- 형식 ( $R_{fmt}$ ): JSON 구조 및 정책 호출의 유효성.
- 정책 호출 ( $R_{pol}$ ): 올바른 정책이 선택되었는지 여부 ( $\hat{p} = p^*$ ).
- 정확도 ( $R_{acc}$ ): 최종 안전 라벨의 정확성.
정책-컨텍스트 섭동(Perturbation): 모델이 고정된 궤적-정책 연관성을 암기하거나 후보 라이브러리의 구성에 의존하는 것을 방지하기 위해, 훈련 과정에서 방해 요소를 재샘플링하고 정책 순서를 섞습니다. 이를 통해 모델은 궤적의 의미론과 정책의 범위 설명을 바탕으로 적용 가능성을 결정하도록 강제됩니다.

주요 기여

RePolicy 프레임워크: 안전 정책 호출을 수동적인 컨텍스트 입력이 아니라 RL을 통해 최적화되는 능동적이고 학습 가능한 능력으로 취급하는 새로운 보호 조치입니다.
PolicyTraj-20K: 다양한 도구, 환경 및 운영 장면을 다루며, 세밀한 정책 기반 감독을 제공하는 새로운 데이터셋입니다.
방법론적 혁신: 견고한 정책 선택과 일반화를 보장하기 위해 검증 가능한 규칙 기반 보상 및 정책-컨텍스트 섭동과 결합된 GRPO의 통합을 보여줍니다.
실험적 검증: 6개의 다양한 에이전트 안전 벤치마크에서 우수한 성능과 강건성을 입증했습니다.

실험 결과

RePolicy는 ATBench, R-Judge, OpenAgentSafety, ASSEBench, HINTBench, AgentHazard의 6개 벤치마크에서 평가되었습니다. 모델(RePolicy-4B)은 Qwen3-4B-Instruct 백본을 기반으로 구축되었습니다.

전반적인 성능: RePolicy-4B는 전체 Unsafe F1 점수 **88.15%**를 달성하여, 가장 강력한 외부 베이스라인보다 3.98 포인트, 가장 강력한 특화 가드 모델보다 8.46 포인트 높은 성능을 보였습니다.
벤치마크 지배력: 6개 중 4개의 벤치마크에서 1위를 차지했으며, 상당한 격차를 보였습니다 (예: AgentHazard에서 +5.47, ASSEBench에서 +5.26).
정책 호출: RL은 올바른 정책 호출률을 약 94.4%(콜드 스타트)에서 **98.5%**로 크게 향상시켰습니다. 모델은 관련 정책을 방해 요소와 성공적으로 구분하였으며, 방해 요소 선택률은 1% 미만으로 유지되었습니다.
강건성: 후보 정책 라이브러리 크기가 변하더라도(10개에서 50개까지) 높은 성능을 유지했으나, 라이브러리가 커짐에 따라 선택 정확도에서 약간의 트레이드오프가 관찰되었습니다.
절제 연구(Ablation Studies):
- 콜드 스타트 SFT는 강력한 기초를 제공했습니다 (+베이스 모델 대비 +28.48 포인트).
- 명시적인 정책 호출이 특히 AgentHazard 및 OpenAgentSafety와 같은 이질적인 벤치마크에서 최종 이득의 주요 동인임을 확인했습니다.
- 정책-컨텍스트 섭동은 특정 정책-라이브러리 구성에 대한 과적합을 방지하는 데 결정적이었습니다.

의의 및 주장

논문은 RePolicy가 더 적응 가능하고 해석 가능한 에이전트 보호 조치를 구축하기 위한 실용적인 방향을 제시한다고 주장합니다. 안전 정책을 능동적으로 호출하도록 학습함으로써 시스템은 다음과 같은 기능을 갖습니다:

변화하는 정책 맥락 및 보지 못한 궤적-정책 조합에 적응.
안전 판단에 대해 정책에 근거한 해석 가능한 근거 제공.
일반 목적의 LLM 및 정적 분류 체계로 훈련된 특화 가드 모델을 능가.

저자들은 본 연구가 방어적 연구를 목적으로 함을 명시합니다. 또한 후보 정책 라이브러리에 충분히 정밀한 적용 가능 정책이 포함되어 있다는 가정과 다단계 호출 프로세스로 인해 발생하는 추가적인 추론 오버헤드를 포함한 한계를 인정합니다. 이들은 RePolicy를 인간의 감독과 심층 방어 전략 없이 고위험 애플리케이션에서 단독 실행 메커니즘으로 취급해서는 안 된다고 강조합니다.