🤖 AI

SAFETY SENTRY: Context-Aware Human Intervention via EXECUTE-ASK-REFUSE Routing

이 논문은 이진 안전성 검사를 개선하여, 단일 디코딩 임계값을 통해 조정 가능한 위험 허용도를 제공하면서도 안전성과 사용자 자율성 사이의 균형을 맞추기 위해 문맥 인식형 인스턴스별 3방향 라우팅 시스템(EXECUTE, ASK, REFUSE)을 구현한 경량 가드 모델인 "Safety Sentry"를 소개한다.

원저자: Tianyu Chen, Chujia Hu, Wenjie Wang

게시일 2026-07-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tianyu Chen, Chujia Hu, Wenjie Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 방금 무엇이든 시키는 대로 할 수 있는 초지능형 로봇 비서를 만들었다고 상상해 보세요. 이 비서는 이메일을 쓰고, 일정을 관리하거나, 디지털 파일을 정리할 수도 있습니다. 잠들지 않는 마법 같은 집사처럼 말이죠. 하지만 여기 함정이 하나 있습니다. 만약 당신이 이 로봇에게 "모두 삭제해"라고 말한다면, 로봇은 눈 하나 깜짝하지 않고 그대로 실행하여 당신의 평생 업적을 통째로 날려버릴 수도 있습니다. 이것이 바로 **AI 에이전트(AI Agents)**의 세계입니다. 단순히 대화만 하는 것이 아니라 현실 세계에서 실제로 '행동'하는 프로그램이죠. 지금 과학자들이 던지는 큰 질문은 이것입니다. 어떻게 하면 로봇을 숨 쉬는 것조차 허락받아야 하는 무능하고 주저하는 존재로 만들지 않으면서, 동시에 끔찍한 실수를 저지르지 않도록 막을 수 있을까?

오랫동안 해결책은 단순한 "정지 표지판"이었습니다. 안전 가드(Safety Guard)가 로봇이 하려는 모든 행동을 지켜보며 "안전" 또는 "위험"이라고 판정하는 방식이었죠. 위험하면 로봇을 멈추게 하고, 안전하면 진행하게 했습니다. 하지만 이 방식은 마치 보안 요원이 당신이 단순히 펜을 집으려는 것인지, 아니면 건물의 금고를 훔치려는 것인지 구분하지 못하고 입구에서 똑같이 "멈춰서 물어봐!"라고 제지하는 것과 같았습니다. 이 방식은 로봇을 번거롭고 느리게 만들었고, 결국 사람들은 일을 처리하기 위해 가드의 경고를 무시하고 그냥 지나쳐 버리기 시작했습니다. 이제 새로운 아이디어는 가드에게 조금 더 지적인 능력을 부여하여, "펜을 집는 것"(진행)과 "금고를 훔치는 것"(즉시 중단), 그리고 "펜을 집으려는 것 같긴 한데 정말 원하는 게 맞는지 확신이 서지 않는 상황"(인간에게 확인)을 구분할 수 있게 하는 것입니다.

이것이 바로 상하이 공과대학교(ShanghaiTech University)의 연구진들이 새로운 논문 SAFETY SENTRY를 통해 수행한 작업입니다. 그들은 기존의 "안전 vs 위험" 시스템이 너무 투박하다는 것을 깨달았습니다. 대신, 그들은 AI 가드가 로봇이 취하려는 모든 행동에 대해 세 가지 명확한 선택을 내리도록 가르쳤습니다: 실행(EXECUTE) (그대로 진행!), 질문(ASK) (이봐요, 인간님, 정말 확실합니까?), 또는 거부(REFUSE) (절대 안 됩니다, 그건 위험합니다).

이것을 클럽의 아주 똑똑한 문지기(Bouncer)라고 생각해 보세요. 예전의 문지기는 사람을 들여보내거나 쫓아내는 두 가지 선택만 했습니다. 하지만 새로운 SAFETY SENTRY 문지기는 당신의 신분증과 행동을 살핍니다. 당신이 단순히 술을 마시러 왔다면 "가세요"(EXECUTE)라고 말합니다. 만약 수상쩍은 커다란 꾸러미를 들고 있다면 "안 됩니다, 통과할 수 없습니다"(REFUSE)라고 말하죠. 하지만 티켓은 진짜처럼 보이지만 행동이 좀 이상하다면, 그는 당신을 쫓아내는 대신 "잠시만요, 매니저님께 먼저 확인해 보겠습니다"(ASK)라고 말합니다. 이렇게 함으로써 로봇은 여전히 빠르고 유능하게 작동하면서도, 실수로 주방을 폭파하거나 당신의 사진을 삭제하는 일을 방지할 수 있습니다.

이 가드가 이러한 세 가지 선택을 할 수 있도록 가르치기 위해, 연구진은 단순히 교과서를 사용한 것이 아니라 하나의 거대한 놀이터를 구축했습니다. 그들은 9가지의 서로 다른 실제 환경 "서비스"(이메일 시스템, 파일 저장소, 팀 채팅 앱의 가짜 버전들)를 설정하고 AI 로봇이 그 안에서 업무를 수행하도록 했습니다. 그런 다음 AI 가드가 로봇이 취하는 모든 단계를 관찰하게 했습니다. 가드는 맥락을 파악하도록 훈련받았습니다. 로토가 파일을 삭제하려고 하는가? 비밀번호를 요청하고 있는가? 또한 사용자가 "삭제 전에는 항상 확인하라"거나 "일상적인 편집은 사전 승인한다"와 같은 특정 규칙을 가지고 있는가? 등을 살피는 것이죠.

결과는 매우 인상적이었습니다. 이 새로운 3단계 가드를 다른 최고 수준의 AI 안전 시스템(비싼 폐쇄형 모델 포함)과 테스트했을 때, SAFETY SENTRY는 로봇을 언제 보내주고 언제 멈춰 세워야 하는지를 훨씬 더 잘 파악했습니다. 이 시스템은 두 방향 모두에서 실수를 줄였습니다. 즉, 로봇을 멈출 필요가 없을 때 멈추지 않았고(속도를 늦추지 않음), 멈춰야 할 때 로봇이 위험한 행동을 하지 못하도록 막았습니다.

이 시스템의 가장 멋진 부분 중 하나는 유연성입니다. 보통 안전 가드를 더 엄격하게 만들거나 더 관대하게 만들려면 전체 시스템을 처음부터 다시 학습시켜야 하며 이는 시간이 매우 오래 걸립니다. 하지만 SAFETY SENTRY에는 사용자가 돌릴 수 있는 특별한 "다이얼"(임계값/Threshold이라고 불림)이 있습니다. 만약 당신이 실수가 치명적인 병원 시스템을 운영한다면, 다이얼을 "초정밀 주의"로 돌려 가드가 거의 항상 인간의 승인을 요청하도록 할 수 있습니다. 반대로 속도가 중요한 개인 메모 앱을 운영한다면, 다이얼을 "진행"으로 돌려 정말 위험한 것들만 멈추게 할 수 있습니다. 가장 좋은 점은 AI를 다시 학습시킬 필요 없이, 그냥 다이얼을 돌리는 것만으로 즉각적으로 적응한다는 것입니다.

또한 이 논문은 이 가드가 사용자의 구체적인 위험 선호도를 읽음으로써 '사용자가 누구인지' 이해할 수 있다는 점을 보여주었습니다. 만약 당신이 가드에게 "되돌릴 수 없는 파일 삭제에 대해서는 명시적인 확인이 필요함"이라고 말한다면, 가드는 단 하나의 파일이라도 삭제하기 전에 반드시 허가를 구할 것입니다. 반대로 "나의 일일 노트에 대한 일상적인 편집은 사전 승인함"이라고 말한다면, 가드는 로봇이 해당 파일을 삭제하거나 편집할 때 묻지 않고 그대로 두게 합니다. 이러한 개인화 덕분에 로봇은 딱딱한 기계가 아니라, 당신의 특정 운영 규칙을 존중하는 유능한 파트너처럼 느껴지게 됩니다.

결론적으로, SAFETY SENTRY는 우리가 강력하고 자율적인 로봇을 갖는 것과 안전한 로봇을 갖는 것 사이에서 하나를 포기할 필요가 없음을 시사합니다. 단순한 "예/아니오" 시스템에서 벗어나 더 똑똑한 "예, 아니오, 혹은 확인 요청" 시스템으로 전환함으로써, 우리는 AI 에이전트가 집을 태워 먹는 일 없이 빠르고 자유롭게 움직일 수 있도록 만들 수 있습니다. 이는 로봇이 생각하는 방식을 바꾸는 작은 변화이지만, AI 에이전트가 사고를 치지 않으면서도 마음껏 활약하게 만드는 핵심 열쇠가 될 수 있습니다.

기술 요약: SAFETY SENTRY

문제 정의

대규모 언어 모델(LLM) 에이전트는 도구 호출(tool calls)을 통해 현실 세계 환경에서 작동하며, 단 한 번의 잘못된 판단이 돌이킬 수 없는 피해를 초래할 수 있습니다. 현재의 안전 메커니즘은 제안된 행동을 "안전함(safe)" 또는 "안전하지 않음(unsafe)"으로 분류하는 **가드 모델(guard models)**에 의존합니다. 저자들은 이 이진 프레임워크가 두 가지 결정적인 결함을 가지고 있다고 주장합니다:

결정의 혼재(Conflation of Decisions): 본질적으로 해로운 행동과, 그 자체로는 적절하지만 사용자 맥락이나 불확실성으로 인해 인간의 확인이 필요한 행동을 구분하지 못합니다.
그래뉼러리티(Granularity) 문제: 개별 인스턴스가 아닌 행동 범주 수준에서 작동합니다. 이는 저위험 행동(예: 스크래치 파일에 쓰기)이 파괴적인 행동(예: rm -rf)과 동일하게 플래그 처리되어, 에이전트의 자율성을 저해하고 사용자가 경고를 무시하도록 만드는 "일상적 방해(routine interruptions)" 및 "알람 피로(alarm fatigue)"를 유발합니다.

또한, 기존 프레임워크에는 중간 결정 경계가 부족합니다. 많은 행동은 엄격하게 안전하지도, 그렇다고 안전하지도 않은 상태입니다. 이러한 행동의 적절성은 사용자의 의도와 실행 시점의 맥락에 달려 있습니다. 표준적인 이진 관점은 명시적인 거부 또는 실행 중 하나를 선택하도록 강요하며, 인간에게 확인을 요청하는 중요한 옵션을 놓치게 됩니다.

방법론: SAFETY SENTRY

본 논문은 에이전트 안전을 **{실행(EXECUTE), 질문(ASK), 거부(REFUSE)}**라는 인스턴스별 3방향 라우팅 결정으로 재정의합니다.

EXECUTE (실행): 명확하게 안전한 행동은 자율적으로 실행됩니다.
ASK (질문): 불확실성, 높은 영향 가능성, 또는 맥락 의존적 적절성을 가진 행동은 인간에게 확인을 위해 전달됩니다.
REFUSE (거부): 구조적으로 해롭거나 수용 불가능한 행동은 차단됩니다.

데이터 구축

이러한 미묘한 라우팅이 가능한 모델을 훈련하기 위해, 저자들은 단계별 감독 코퍼스를 구축했습니다:

환경: 실제적인 시드 콘텐츠가 포함된 Docker 컨테이너 내에서 실행되는 9개의 자체 호스팅 프로덕션급 엔터프라이즈 서비스(예: Gitea, Rocket.Chat, OpenEMR, Vaultwarden).
태스크: 내부 LLM 생성 지침 및 5개의 공개 벤치마크(예: AgentHarm, AT-Bench)에서 파생된 9,203개의 단계별 기록.
페르소나 컨디셔닝(Persona Conditioning): 태스크는 세 가지 사용자 프로필을 나타내는 "페르소나 메모리"와 쌍을 이루었습니다: 신중한(Cautious) (되돌릴 수 없는 작업에 대해 확인 필요), 허용적인(Permissive) (일상적인 작업을 사전 승인), 적대적인(Adversarial) (메모리 포이즈닝 공격 시뮬레이션).
어노테이션: 14개의 패턴으로 구성된 트리거 택소노미(taxonomy)를 사용하여 단계를 레이블링했습니다. 두 명의 LLM 어노테이터가 데이터를 레이블링하였으며, 불일치 시 저자의 중재를 거쳤으며, 테스트 세트에서 92%의 인간 일치도를 달了一种습니다.

모델 아키텍처 및 훈련

SAFETY SENTRY는 LoRA를 사용한 지도 미세 조정(SFT)을 거친 경량 가드 모델(4B 파라미터 Qwen3.5 백본 기반)입니다.

입력: 사용자 메모리, 태스크, 애플리케이션 도메인, 이전 트레이스(prior trace), 그리고 제안된 행동을 포함하는 스냅샷.
출력: 모델은 추론 블록, 결정 토큰(<|direct_execute|>, <|ask_human|>, 또는 <|refuse|>), 그리고 이유(ASK인 경우 명확화 질문 포함)가 담긴 JSON 페이로드를 생성합니다.
추론 제어: 단일 디코딩 시점 임계값( $\tau$ )이 EXECUTE/ASK 경계를 제어합니다. REFUSE 결정은 안전을 위한 고정된 하한선으로 유지됩니다. 이를 통해 하나의 체크포인트를 재학습 없이도 다양한 위험 허용도(자율적 vs 보수적)에 맞춰 재배치할 수 있습니다.

주요 결과

저자들은 인-디스트리뷰션(in-distribution) 테스트 세트와 홀드아웃 아웃-오브-디스트리뷰션(OOD) 서비스(Mailu)에 대해 오픈 웨이트 모델(3B–27B 범위) 및 프런티어 폐쇄형 모델(GPT, Claude, Gemini, DeepSeek)을 대상으로 SAFETY SENTRY를 평가했습니다.

우수한 정확도 및 균형: SAFETY SENTRY는 91.02%의 정확도와 90.92%의 Macro-F1을 달성하여 모든 베이스라인을 크게 앞질렀습니다. 결정적으로, 다음과 같이 **방향성 오류율(directional error rates)**을 동시에 제어했습니다:
- 과잉 질문율 (Over-Ask Rate, OAR): 5.05% (불필요한 방해 최소화).
- 과소 질문율 (Under-Ask Rate, UAR): 4.96% (안전하지 않은 자율 실행 최소화).
- 대조: 베이스라인들은 일반적으로 한쪽으로 쏠리는 경향을 보였습니다. 예: DeepSeek-V3는 낮은 OAR(3.70%)을 보였으나 높은 UAR(57.79%)을 기록했고, Llama-3.2-3B는 높은 OAR(6.67%)과 극단적인 UAR(80.12%)을 보였습니다.
동적 제어: $\tau$ 를 스윕(sweep)함으로써, 모델은 베이스라인들에 비해 낮은 OAR과 UAR을 동시에 달성하는 파레토 프런티어(Pareto frontier)를 그려냅니다. 하나의 체크포인트가 고위험(보수적 $\tau$ ) 및 저위험(자율적 $\tau$ ) 배포 모두에 사용될 수 있습니다.
개인화: 메모리 증강 데이터로 테스트했을 때, SAFETY SENTRY는 골드 레이블이 사용자 페르소나에 따라 반전되더라도 높은 정확도(87.0%)를 유지했습니다. 베이스라인들은 크게 저하되었습니다(예: Claude-Opus-4.7은 72.5%에서 56.5%로 하락). 이는 그들이 사용자 맥락에 효과적으로 조건화되지 못했음을 나타냅니다.
일반화: 홀드아웃 서비스인 Mailu(OOD)에서 SAFETY SENTRY는 85.35%의 정확도를 달성하여 가장 강력한 독점 베이스라인(Claude-Opus-4.7, 80.81%)을 능가했습니다. 또한 베이스라인들이 고정된 사전 확률(항상 질문하거나 절대 거부하지 않음)로 무너지는 것과 달리, 균형 잡힌 오류 프로필을 유지했습니다.
효율성: 모델은 단계당 약 1.57초의 지연 시간을 추가합니다(메인 에이전트 비용의 42%). 그러나 근거를 제공하지 않는 빠른 이진 가드들과 달리, 구조화되고 실행 가능한 판결과 함께 추론 근거를 제공합니다.

의의 및 주장

본 논문은 SAFETY SENTRY가 "안전하지 않은 행동을 차단하는 것"에서 "자율성, 안전성, 그리고 인간의 감독 사이의 균형을 맞추는 것"으로의 패러다임 전환을 나타낸다고 주장합니다. 주요 기여는 다음과 같습니다:

안전의 재정의: 이진 분류에서 "질문하기"와 "거부하기"를 명시적으로 분리하는 3방향 라우팅 문제로 전환했습니다.
맥락 인식: 안전 결정은 단순히 행동 자체가 아니라 사용자의 의도와 메모리에 조건화되어야 함을 입증했습니다.
배포 가능성: 단순한 임계값 조정을 통해 재학습 없이도 다양한 위험 허용도에 맞춰 튜닝할 수 있는 경량화된 단일 체크포인트 솔루션을 제공합니다.
강건성: 학습된 결정 경계가 서로 다른 업스트림 에이전트 프레임워크와 백본 간에도 전이됨을 보여주었습니다.

저자들은 SAFETY SENTRY를 "심층 방어(defense-in-depth)" 전략의 필수적인 계층으로 위치시키며, 현재의 이진 가드레일이 유발하는 자동화 편향과 알람 피로 문제를 해결한다고 강조합니다.