🤖 machine learning

Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs

이 논문은 입력 측 필터에서 흔히 발생하는 과잉 거부 문제를 완화하기 위해 모델의 은닉 상태 공간(hidden state space) 내에서 잠재적인 유해 생성을 예측하는 출력 인지형 안전 가드레일을 제안하며, 이를 통해 멀티모달 거대 언어 모델의 안전성과 유용성을 모두 보존한다.

원저자: Jiayi Li, Kun Zhan

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiayi Li, Kun Zhan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 사진을 보고 대화할 수 있는 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 이 로봇은 질문에 답하는 데 능숙하지만, 가끔 사람들이 로봇이 못된 말을 하거나 위험한 지침을 주거나 거짓 정보를 퍼뜨리도록 유도하려고 속임수를 쓰기도 합니다. 이를 막기 위해, 우리는 보통 로봇 앞에 '보안 요원'을 세워둡니다.

문제점: 과잉 보호하는 문지기
현재 대부분의 보안 요원은 클럽 입구에서 당신의 신분증(당신이 던진 질문)만 확인하는 엄격한 문지기처럼 작동합니다. 만약 신분증에 무서운 단어가 적혀 있다면, 문지기는 그 질문이 사실은 아주 무해한 질문일지라도 즉시 문을 쾅 닫아버립니다.

예를 들어, 당신이 "파이썬 프로세스를 어떻게 죽여요(kill a Python process)?"라고 묻는다면(이는 단순히 컴퓨터 코드에 관한 것입니다), 문지기는 '죽이다(kill)'라는 단어를 보고 차단합니다. 또한 "어디서 멋진 사진을 찍을(shoot) 수 있을까요?"라고 묻는다면(이는 사진 촬영에 관한 것입니다), 문지기는 '찍다(shoot)'라는 단어를 보고 "안 돼!"라고 말합니다. 로봇은 자신이 얼마나 안전하고 도움이 되는 답변을 할 수 있는지 보여줄 기회조차 얻지 못합니다. 논문에서는 이를 **과잉 거절(over-refusal)**이라고 부릅니다. 이는 마치 경비원이 문제를 너무 두려워한 나머지 선량한 고객들까지 실수로 쫓아내는 것과 같습니다.

옛날 방식 vs 새로운 방식
연구자들은 기존의 보안 요원들이 전적으로 입력(당신이 묻는 것)에 기반하여 결정을 내린다는 것을 발견했습니다. 그들은 로봇이 실제로 무엇을 말할지는 기다려주지 않습니다.

이 논문은 이러한 "입력 중심" 접근 방식에 반대합니다. 연구자들은 로봇 자체가 스스로 안전하게 행동하는 능력이 꽤 뛰어나다고 주장합니다. 까다로운 질문을 받더라도, 로봇은 종종 스스로 경고를 주거나 "그것은 할 수 없습니다"라고 말하는 법을 알고 있습니다. 하지만 기존의 보안 요원은 로봇이 자신의 좋은 모습을 보여주기도 전에 가로막아 버립니다!

해결책: OutGuard (수정구슬 보안 요원)
저자들은 OutGuard라고 불리는 새로운 시스템을 제안합니다. 단순히 신분증을 들여다보는 대신, OutGuard는 로봇이 생각하는 동안, 즉 말을 내뱉기 직전에 로봇의 뇌 속을 엿보는 '수정구슬'처럼 행동합니다.

작동 방식은 다음과 같습니다:

엿보기(The Peek): 로봇이 답변을 형성하기 시작하면, OutGuard는 로봇의 뇌 층 내부에서 소용돌이치는 "숨겨진 생각들"(숨겨진 상태, hidden states)을 들여다봅니다.
예측(The Prediction): OutGuard는 다음과 같이 추측합니다. "로봇이 정말로 위험한 것을 말하려는 것인가, 아니면 위험한 주제에 대해 생각하고 있지만 안전한 답변을 할 계획인가?"
결정(The Decision):
- 만약 로봇이 정말로 해로운 것(예: 폭탄 만드는 법)을 말하려 한다면, OutGuard가 개입하여 이를 차단합니다.
- 만약 로봇이 안전한 것(예: "프로세스를 죽이는 것"이 코딩에 관한 것임을 설명하는 것)을 말하려 한다면, OutGuard는 통과시킵니다!

마법 같은 기술: "생각의 주머니"로부터 배우기
OutGuard에게 이 방법을 가르치기 위해, 연구자들은 영리한 학습 방법인 **다중 인스턴스 대조 학습(Multi-Instance Contrastive Learning, MICL)**을 사용했습니다.

로봇의 답변을 구슬 주머니라고 생각해 보세요. 어떤 구슬은 위험하고(나쁜 단어들), 대부분은 안전합니다. 옛날 방식의 보안 요원들은 그 주머니를 보고 "위험한 구슬이 들어있으니 버려!"라고 말합니다.
OutGuard는 주머니 내부를 들여다봅니다. 특수한 어텐션 메커니즘(attention mechanism)을 사용하여 특정 위험한 구슬을 찾아냅니다. 이는 안전한 구슬은 무시하고, 전체 답변을 해롭게 만드는 실제 위험한 요소에만 집중하도록 학습합니다. 이는 마치 하나의 나쁜 사과를 찾는다고 해서 전체 바구니가 썩었다고 판단하지 않고, 그 나쁜 사과가 정말로 즙을 망칠 정도인지 파악하는 탐정과 같습니다.

숫자가 말해주는 것
연구자들은 이 시스템을 두 가지 인기 있는 로봇 모델인 LLaVA 1.6과 Qwen 3.5에서 테스트했습니다. 그들은 OutGuard를 HiddenDetector, QGuard, LoD와 같은 다른 최고 수준의 보안 요원들과 비교했습니다.

안전성(Safety): OutGuard는 거의 모든 진짜 나쁜 요청을 잡아냈습니다. 표준 테스트 세트에서 LLaVA는 AUPRC 0.9725, Qwen은 0.9937을 기록했습니다 (1.0이 완벽함). 이는 OutGuard가 다른 방식들만큼 나쁜 놈들을 잘 잡아낸다는 것을 의미합니다.
"과잉 거절" 해결: 이 부분이 바로 OutGuard가 빛나는 지점입니다. 기존의 보안 요원들은 안전한 질문을 너무 자주 차단했습니다.
- QGuard는 안전한 질문의 **100%**를 차단했습니다 (ARSP = 1.0000). 너무 겁이 많아서 아무도 못 들어오게 한 것입니다.
- OutGuard는 LLaVA의 경우 안전한 질문의 5.5%, Qwen의 경우 **1.15%**만을 차단했습니다.
- 위험해 보이지만 실제로는 안전한 질문(예: "공항에서 시간을 때우는(kill time) 방법은?")에 대해, OutGuard는 차세대 방식들보다 41.6% 더 많은 안전한 질문을 통과시켰습니다.

속도와 비용
로봇의 뇌를 엿보는 것이 속도를 늦출까 걱정될 수도 있습니다. 논문은 OutGuard가 매우 빠르다는 것을 보여줍니다. 질문당 평균 약 0.208초가 걸리며, 이는 3초 이상 걸리는 다른 방식들보다 훨씬 빠릅니다. 또한 추가적인 메모리도 많이 필요하지 않으며, 시스템에 약 1.37 GB만을 추가합니다.

핵-심 요약
이 논문은 "입력 인지형"(질문을 확인하는 것)에서 "출력 인지형"(답변이 완성되기 전에 확인하는 것)으로 전환함으로써, 로봇을 번거롭게 만들지 않으면서도 안전하게 유지할 수 있다고 제안합니다. OutGuard는 로봇이 도움이 되는 것을 막는 것이 아니라, 단지 위험해지는 것을 막는 것입니다. 이는 인터넷을 안전하게 유지하면서도 우리가 질문을 던질 수 있게 하는, 더 똑똑하고 정밀한 방법입니다.

기술 요약: OutGuard – MLLM을 위한 출력 인지형(Output-Aware) 안전 가드레일

1. 문제 정의: 과잉 거절(Over-Refusal)의 트레이드오프

기존의 멀티모달 거대 언어 모델(MLLM) 안전 메커니즘은 안전성과 유용성 사이의 중대한 트레이드오프에 직면해 있습니다. 모델 미세 조정(Fine-tuning)은 강력한 안전성을 제공하지만, 종종 일반적인 유용성을 저해합니다. 반대로, 입력 측 안전 가드레일은 가볍고 비침습적인 대안을 제공하지만, 심각한 과잉 거절(Over-refusal) 문제를 겪습니다.

현재의 가드레일은 입력 이미지-텍스트 쌍의 분석에만 의존하여 안전 결정을 내리는 입력 인지형(Input-aware) 패러다임 하에서 작동합니다. 이러한 접근 방식은 모델의 내재된 안전 역량을 고려하지 못한다는 단점이 있습니다. 본 논문에서 입증되었듯이, MLLM은 유해한 입력을 안전한 출력(예: 거절 스타일의 응답, 훈계 또는 경고)으로 변환할 수 있는 내부 정렬 메커니즘을 갖추고 있는 경우가 많습니다. 그러나 입력 인지형 가드레일은 입력이 위험하다고 플래그가 지정되면, 모델이 무해한 응답을 생성할 가능성이 있더라도 이러한 상호작용을 무차별적으로 차단합니다. 이는 "Python 프로세스를 어떻게 죽이나요?(How to kill a Python process?)" 또는 "어디서 좋은 사진을 찍을 수 있을까요?(Where can I shoot a good a good photo?)"와 같이 단순히 위험해 보일 뿐인 양질의 질의를 거부하게 만들어, 사용자 경험을 크게 저하시키고 실질적인 사용성을 제한합니다.

2. 방법론: OutGuard 프레임워크

이를 해결하기 위해 저자들은 입력 인지형에서 출력 인지형(Output-aware) 안전 가드레일로의 패러다임 전환을 제안하는 OutGuard를 제안합니다. OutGuard는 입력을 단독으로 판단하는 대신, 출력이 완전히 생성되기 전에 곧 나올 생성물의 안전성을 예측하기 위해 모델의 은닉 상태 공간(Hidden state space) 내에서 작동합니다.

핵심 구성 요소:

은닉 상태 활용 (Hidden State Utilization): OutGuard는 추론 단계(데이터 흐름의 Stage S4)에서 백본 LLM으로부터 은닉 상태 표현( $H_l$ )을 추출합니다. 이 상태들은 내부 모델 역학을 최종 출력과 연결합니다.
다중 인스턴스 대조 학습 (Multi-Instance Contrastive Learning, MICL) 분류기:
- 문제 정식화: 탐지 작업을 다중 인스턴스 학습(Multiple Instance Learning, MIL) 문제로 프레임화합니다. 생성된 출력의 은닉 상태 시퀀스는 하나의 "백(Bag)"으로 취급되며, 개별 토큰 표현은 "인스턴스(Instance)"가 됩니다. 백 레벨의 라벨(Safe/Unsafe)은 알려져 있지만, 특정 토큰 수준의 유해성은 잠재적(Latent)입니다.
- 아키텍처: MICL 분류기는 **게이트 어텐션 메커니즘(Gated attention mechanism)**을 사용하여 토큰 레벨 표현을 백 레벨 표현( $z_l$ )으로 집계합니다. 이 메커니즘은 노이즈를 억제하면서 높은 주의를 받는 인스턴스(유해할 가능성이 높은 토큰)에 집중하는 법을 학습합니다.
- 학습 목표: 분류기는 다음과 같은 복합 손실 함수를 사용하여 학습됩니다:
  1. 이진 교차 엔트로피 손실 ( $L_{cls}$ ): 백 레벨 분류를 위함.
  2. 엔트로피 정규화 ( $L_{ent}$ ): 어텐션 가중치의 희소성(Sparsity)을 장려하여, 모델이 특정 핵심 토큰에 집중하도록 강제함.
  3. 백 내부 대조 손실 ( $L_{con}$ ): 동일한 백 내에서 높은 주의를 받는(Positive) 인스턴스 간의 유사성은 최대화하고, 낮은 주의를 받는(Negative) 인스턴스와의 유사성은 최소화하는 InfoNCE 스타일의 손실.
레이어 선택 및 투표 (Layer Selection and Voting):
- Safety-Score 지표를 사용하여 서로 다른 레이어에서 학습된 MICL 분류기의 성능을 평가합니다.
- Safety-Score가 0.9보다 큰 레이어의 분류기만을 선택합니다.
- 추론 시, 선택된 분류기들이 은닉 상태의 안전성에 대해 투표합니다. 다수결에 의해 최종 결정(Safe vs. Unsafe)이 내려집니다.

운영 워크플로우:
OutGuard는 MLLM과 병렬로 독립적인 모듈로서 실행됩니다. 이는 추론 과정 중에 은닉 상태를 분석하며 단 한 번의 패스(Single pass)로 안전 탐지를 수행합니다. 시스템이 안전하지 않은 출력을 예측하면 개입하고, 그렇지 않으면 생성을 진행합니다. 이를 통해 추가적인 쿼리나 상당한 지연 시간 오버헤드 없이 작동할 수 있습니다.

3. 주요 기여

패러다임 전환: 본 논문은 과잉 거절의 근본 원인이 입력 인지형 패러다임에 대한 의존임을 식별하고, 출력 인지형 안전 평가로의 전환을 제 propose합니다.
OutGuard 프레임워크: 은닉 상태 표현과 다중 인스턴스 대조 학습(MICL) 분류기를 활용하여 출력을 직접 평가함으로써, 유해한 출력을 유도하는 입력과 모델이 내부적으로 중화시킨 입력을 구분하는 새로운 프레임워크를 제시합니다.
실증적 검증: 광범-한 실험을 통해 OutGuard가 유해 콘텐츠 및 탈옥 공격(Jailbreak attacks)에 대한 강력한 탐지 성능을 유지하면서도 과잉 거절률을 유의미하게 감소시킴을 입증했습니다.

4. 실험 결과

저자들은 GQA, AdvBench, SafeBench, MM-Vet, MM-SafetyBench를 포함한 데이터셋을 사용하여 LLaVA 1.6 및 Qwen 3.5에서 OutGuard를 평가했습니다. 베이스라인으로는 HiddenDetector, QGuard, LoD, ProGuard가 포함되었습니다.

안전성 vs. 유용성 균형: OutGuard는 모든 지표에서 우수한 성능을 보였습니다. 테스트 세트에서 유해한 프롬프트에 대한 안전하지 않은 응답률(URUP < 0.1)을 낮게 유지하는 동시에, 안전한 프롬프트에 대한 거절 응답률(ARSP < 0.1)을 획기적으로 줄였습니다. 예를 들어, LLaVA에서 OutGuard는 F1-Score 0.9335와 ARSP 0.0749를 달성하여, ARSP가 0.1124였던 차순위 방법(LoD-PP)보다 뛰어난 성능을 보였습니다.
과잉 거절 완화: XSTest 데이터셋(유해해 보이지만 실제로는 양질인 질의)에서 OutGuard는 베이스라인 대비 과잉 거절률을 유의미하게 감소시켰습니다 (예: LLaVA 기준 0.5840 vs. 0.7400).
강건성: OutGuard는 탈옥 공격(Visual-Adversarial-Examples, HADES, JOOD)에 대해 강력한 강건성을 보여주었으며, 낮은 과잉 거절률을 유지하면서도 거의 완벽한 분류 지표(AUPRC/AUROC > 0.97)를 달성했습니다.
효율성: 이 방법은 최소한의 지연 시간만을 도입합니다. 샘플당 평균 결정 시간은 0.208초로, 많은 베이스라인(예: QGuard 3.154초)과 비슷하거나 더 빠르며, 사후 출력 방식(Post-output methods)보다 훨씬 빠릅니다.
절제 연구 (Ablation Studies): 핵심 구성 요소(게이팅 모듈, 대조 학습 또는 희소성 정규화)를 제거했을 때 탐지 능력이 급격히 저하되어, MICL 아키텍처의 필요성을 확인했습니다.

5. 의의 및 주장

본 논문은 OutGuard가 MLLM의 안전성-유용성 트레이드오프에 대한 실질적인 해결책을 제공한다고 주장합니다. 입력 위험에서 실제 출력의 유해성으로 초점을 전환함으로써, 모델의 내장된 안전 역량과 일반적인 유용성을 보존합니다. 저자들은 이 접근 방식이 모델의 실제 응답이 유해할 때만 정밀하게 개입할 수 있게 하여, 불필요한 양질의 상호작용 차단을 방지한다고 강조합니다.

이 연구는 출력 인지형 안전 메커니즘의 중요성을 강조하며, 은닉 상태로 학습된 경량 분류기가 모델 재학습 없이도 실제 위협 탐지를 저해하지 않으면서 과잉 거절을 효과적으로 완화할 수 있음을 입증합니다. 연구의 발전을 돕기 위해 코드는 공개되었습니다.