Learning When to Act or Refuse: Guarding Agentic Reasoning Models for Safe Multi-Step Tool Use

이 논문은 에이전트 언어 모델이 다단계 도구 사용 중 발생할 수 있는 치명적인 오류를 방지하기 위해, 안전성 판단과 거부를 명시적인 행동으로 통합하고 선호도 기반 강화학습을 통해 학습하는 'MOSAIC'이라는 새로운 정렬 프레임워크를 제안합니다.

핵심

🛡️ MOSAIC: 인공지능 에이전트의 '안전 운전'을 가르치는 새로운 방법

이 논문은 인공지능(AI)이 단순히 대화를 나누는 것을 넘어, 실제 도구를 사용하고 복잡한 작업을 수행하는 '에이전트'가 될 때 발생하는 위험을 어떻게 해결할지 제안합니다.

기존의 AI는 "해로운 말을 하지 않는 것"에 중점을 뒀다면, 이 연구는 **"해로운 행동을 하지 않는 것"**에 집중합니다. 마치 운전면허를 따는 것과 같습니다. 말을 잘하는 것(대화)과 차를 안전하게 운전하는 것(작업 수행)은 완전히 다른 기술이기 때문입니다.

이 연구의 핵심인 MOSAIC을 이해하기 쉽게 비유해 보겠습니다.

---

🚗 1. 문제: "무조건 잘 하려고 하다가 사고가 나다"

기존의 AI 에이전트들은 "사용자의 요청을 들어주고 일을 잘 끝내는 것"을 최우선으로 배웠습니다. 하지만 이 방식은 위험합니다.

• 상황: 사용자가 "내 컴퓨터에 있는 비밀 파일을 삭제해 줘"라고 요청합니다.
• 기존 AI의 반응: "네, 알겠습니다!"라고 바로 실행해 버립니다. (사용자가 악의적인 의도를 숨기고 있었을 때 치명적입니다.)
• 왜 그럴까? AI는 "일을 잘 끝내는 것"이 목표라, 중간에 "이게 안전한가?"라고 멈추어 생각하지 않기 때문입니다.

이는 마치 운전면허를 따지 않고, "목적지에 빨리 도착하는 것"만 배운 운전사와 같습니다. 빨리는 빨리지만, 신호를 무시하고 보행자를 치는 사고를 낼 수 있습니다.

---

🛑 2. 해결책: MOSAIC (모자이크) - "일단 멈추고 생각하자"

저자들은 AI에게 새로운 습관을 가르쳤습니다. 바로 MOSAIC이라는 프레임워크입니다. 이 시스템은 AI가 일을 할 때 다음 3단계를 거치도록 설계했습니다.

① 계획 (Plan) 📝

"무엇을 해야 할지 구상한다."

예: "사용자가 파일을 삭제하라고 했네. 파일을 찾아야겠다."

② 안전 점검 (Check) 🛡️ (가장 중요한 단계!)

이 단계에서 AI는 ****라는 특별한 '안전 사고'를 합니다. 마치 운전사가 "이 길은 위험한가? 보행자가 있는가?"라고 스스로에게 묻는 것과 같습니다.

AI의 생각: "잠깐, 이 파일이 중요한 시스템 파일일까? 삭제하면 큰일이 날까? 사용자가 악의적인 명령을 내린 건 아닐까?"

③ 행동 또는 거절 (Act or Refuse) 🚦

안전 점검 결과를 바탕으로 두 가지 선택을 합니다.

• 안전하다면: 일을 계속 진행한다 (Act).
• 위험하다면: 즉시 일을 멈추고 "안 됩니다"라고 거절한다 (Refuse).

핵심: 이 '거절'은 실패가 아니라, 가장 현명한 선택으로 훈련됩니다.

---

🎓 3. 훈련 방법: "점수"가 아닌 "비교"로 배우다

AI를 어떻게 훈련시킬까요? 단순히 "안전하면 점수 100, 위험하면 점수 0"을 주는 방식은 부족합니다. 왜냐하면 "위험한 일을 하다가 중간에 멈춘 경우"와 "처음부터 거절한 경우"는 둘 다 안전하지만, 어떤 것이 더 안전한지를 구분하기 어렵기 때문입니다.

저자들은 **LLM 심사위원 (LLM Judge)**을 도입했습니다.

• 비유: 두 명의 운전사가 같은 목적지로 가는 경기를 합니다.
  • A: 신호를 무시하고 달렸다가 경찰에 걸려 멈춤.
  • B: 처음부터 신호를 보고 멈춤.
  • 둘 다 목적지에 못 갔지만, B가 훨씬 더 안전한 운전입니다.
• MOSAIC의 방식: AI에게 여러 가지 행동 패턴을 보여주고, 심사위원에게 "어떤 것이 더 안전한가?"라고 비교하게 합니다.
  • "A보다 B가 더 안전해."
  • "C보다 D가 더 적절해."

이런 비교 학습을 통해 AI는 "언제 멈춰야 하는지", "언제 거절해야 하는지"를 미세하게 구분하는 법을 배웁니다.

---

🌟 4. 결과: 작고 빠른 AI도 안전해진다

이 연구는 다양한 크기의 AI 모델 (작은 모델부터 큰 모델까지) 에 적용해 보았습니다.

• 기존의 큰 AI (GPT-4o 등): 안전 장치가 없으면 해로운 요청을 그대로 수행했습니다. MOSAIC을 적용하니 거부율이 90% 이상으로 급증했습니다.
• 작은 AI (Qwen, Phi 등): 원래는 "일단 하다가 실패"하거나 "무조건 거절"하는 경향이 있었습니다. MOSAIC을 통해 정확하게 위험을 감지하고 거절하거나, 안전한 일은 잘 수행하는 법을 배웠습니다.

가장 놀라운 점:
MOSAIC을 적용한 작은 오픈소스 모델들이, 안전 장치가 없는 거대 모델들보다 더 안전하고 똑똑하게 행동했습니다. 즉, 모델이 얼마나 큰지보다 **어떻게 훈련되었는지 (안전 사고를 하는지)**가 더 중요하다는 것을 증명했습니다.

---

💡 요약: MOSAIC이 우리에게 주는 교훈

1. 에이전트 AI는 '작업자'입니다. 단순히 말을 잘하는 것을 넘어, 실제 행동을 하므로 안전 장치가 필수적입니다.
2. 멈추는 것이 능숙함입니다. 무조건 일을 끝내는 것보다, 위험할 때 "잠깐, 이거 안전한가?"라고 멈추고 거절하는 것이 진정한 지능입니다.
3. 비교가 학습을 만듭니다. AI에게 "무엇이 옳은가"를 절대적인 점수로 가르치는 것보다, "어떤 행동이 더 안전한가"를 비교하게 하는 것이 더 효과적입니다.

결론적으로, MOSAIC은 AI에게 "일단 멈추고 생각해보자"는 운전 습관을 가르쳐, 우리가 AI와 함께 일할 때 발생할 수 있는 큰 사고를 미리 막아주는 '안전벨트'와 같은 역할을 합니다.

기술 요약

태그를 사용하여 도구 호출 계획을 수립합니다. 2. **Check (점검 - 선택적):**태그를 사용하여 명시적인 안전 점검을 수행합니다. 이는 잠재적 해악, 되돌릴 수 없는 영향, 권한 변경, 최근 도구 피드백의 위험 등을 구조화된 자기 성찰 방식으로 평가합니다. 3. **Act/Refuse (행동/거부):** * **Act:** 안전하다고 판단되면 도구를 실행합니다. * **Refuse:** 위험이 감지되면refuse tool`을 호출하여 실행을 종료하고 이유를 제시합니다.
* Report: 작업 완료 또는 거부를 보고합니다.

이 구조는 안전 결정을 암시적인 부산물이 아닌, 계산 자원을 안전에 중요한 단계에 집중시키는 명시적인 모듈로 만듭니다.

2.2 선호 기반 강화 미세 조정 (Preference-Based RLFT)

대규모 주석 데이터가 없어도 학습할 수 있도록 **그룹 상대 정책 최적화 (GRPO, Group Relative Policy Optimization)**를 활용한 선호 기반 학습을 도입했습니다.

• 쌍별 비교 (Pairwise Comparison): 스칼라 보상이 아닌, 동일한 작업에 대한 두 개의 궤적 (trajectory) 을 LLM 판사 (LLM Judge) 가 비교하여 더 안전한 궤적을 선택하게 합니다.
• 시간적 안전 구분: 스칼라 보상이 놓치기 쉬운 '초기 거부'와 '늦은 중단' 사이의 차이를 포착하여, 위험한 중간 단계를 거친 후 중단하는 것보다 즉시 거부하는 것을 선호하도록 학습합니다.
• 복합 보상 (Composite Reward):
  • ralign: LLM 판사에 기반한 정렬 보상 (안전성 및 적절성).
  • rfmt: 구조화된 출력 형식 준수 보상.
  • plen: 불필요한 장황함을 줄이기 위한 토큰 길이 페널티.

3. 주요 기여 (Key Contributions)

1. MOSAIC 프레임워크: 계획 - 점검 - 행동/거부 루프를 통해 안전 평가와 거부를 명시적이고 학습 가능한 1 차적 결정으로 통합한 모듈형 에이전트 추론 프레임워크를 제안했습니다.
2. 쌍별 선호 기반 학습: 스칼라 보상으로는 학습하기 어려운 시간적 안전 구분 (예: 초기 거부 vs 늦은 중단) 을 포착할 수 있는 쌍별 궤적 비교 기반의 강화 미세 조정 방법을 제안했습니다.
3. 범용성 및 일반화: 다양한 모델 패밀리 (Qwen2.5, Qwen3, Phi-4) 와 규모, 도메인 (해로운 작업, 주입 공격, 개인정보 유출 등) 에서 안전성을 향상시키면서도 유용성 (benign task performance) 을 유지하거나 개선하는 것을 입증했습니다.

4. 실험 결과 (Results)

세 가지 모델 패밀리 (Qwen2.5-7B, Qwen3-4B-Thinking, Phi-4) 와 Frontier 모델 (GPT-4o, GPT-5) 을 대상으로 한 제로샷 (zero-shot) 평가에서 다음과 같은 성과를 보였습니다.

• 안전성 향상:
  • AgentHarm: Qwen2.5-7B 의 해로운 작업 점수를 50% 감소 (0.18 → 0.09) 시켰고, 해로운 작업 거부율을 87% 로 높였습니다.
  • 주입 공격 (Prompt Injection): Agent Security Bench 에서 직접적 (DPI) 및 간접적 (IPI) 주입 공격에 대한 성공률을 크게 낮추고 거부율을 높였습니다.
  • 프론티어 모델 대비: 안전 구조화 (safety scaffolding) 가 없는 GPT-4o/GPT-5 보다 MOSAIC으로 학습된 오픈 소스 모델들이 더 나은 안전 성능을 보였습니다. 안전 구조화를 적용하면 성능 격차가 좁혀졌습니다.
• 유용성 유지 및 개선:
  • Qwen3-4B: 무한한 추론 루프를 방지하여 benign 작업 완료율을 44% 에서 85% 로 크게 향상시켰습니다.
  • Phi-4: 과도한 거부 (over-refusal) 를 56% 감소시켜 benign 작업 완료율을 78% 에서 91% 로 높였습니다.
  • BFCLv3: benign 다단계 도구 호출 정확도가 35% 향상되었습니다.
• 개인정보 보호 (PrivacyLens): 개인정보 유출률을 최대 23% 감소시키면서도 유용성을 유지했습니다.
• 토큰 효율성: 안전 추론은 전체 토큰의 20% 미만을 차지하며, 필요할 때만 동적으로 호출되어 불필요한 추론을 줄이고 전체 토큰 사용량을 최적화했습니다 (Qwen3 의 경우 총 토큰 사용량 4 배 감소).

5. 의의 및 결론 (Significance)

이 연구는 에이전트 안전이 단순히 모델의 규모 (scale) 에만 의존하는 것이 아니라, 구조화된 추론 루프와 시간적 안전 결정을 반영한 학습 신호에 의해 달성된다는 것을 보여줍니다.

• 모델 적응형 정렬: MOSAIC 은 모든 모델을 동일한 보수적인 수준으로 만드는 것이 아니라, 각 모델의 고유한 실패 모드 (예: Qwen2.5 는 공격 방어, Phi-4 는 과도한 거부 완화) 에 맞춰 안전 - 유용성 균형을 조정합니다.
• 실용적 적용: 명시적인 안전 점검과 거부 메커니즘을 에이전트의 핵심 의사결정 루프에 통합함으로써, 다단계 도구 사용 환경에서의 신뢰할 수 있는 에이전트 구축을 위한 원칙적인 경로를 제시합니다.

결론적으로, MOSAIC 은 에이전트가 "언제 행동하고, 언제 검증하며, 언제 거부해야 하는지"를 학습하도록 하여, 복잡한 도구 사용 환경에서도 안전하고 효율적인 AI 에이전트를 실현할 수 있음을 입증했습니다.