💻 computer science

SafeCap: Improving LVLM Safety with Image Captioning Reinforcement Learning

SafeCap은 모델이 동결된 LLM을 정렬된 결정으로 유도하는 안전 관련 이미지 캡션을 생성하도록 학습시킴으로써, 기존의 안전 정렬 방법들을 능가하면서도 시각적 유용성을 유지하며 대규모 시각-언어 모델(Large Vision-Language Model)의 탈옥 공격에 대한 안전성을 강화하는 강화 학습 프레임워크이다.

원저자: Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

게시일 2026-08-12

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 책을 읽고 이야기를 쓰는 데 있어 거의 누구보다 뛰어난, 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 이 로봇은 이미 매우 조심스럽습니다. 만약 당신이 폭탄을 만드는 법처럼 위험한 일을 해달라고 요청하면, 로봇은 "안 됩니다, 그것은 안전하지 않습니다"라고 정중하게 거절합니다. 하지만 이제, 당신이 단순히 단어를 타이핑하는 대신 폭탄의 사진을 보여준다고 상상해 보세요. 갑자기 로봇이 혼란에 빠집니다. 로봇은 "오, 이건 멋진 그림이네!"라고 생각하며 안전 규칙을 잊어버리고, 기쁘게 그 장치를 만드는 법을 설명하기 시작합니다. 이것이 바로 현대의 "시각-언어(vision-language)" 모델들이 직면한 까다로운 문제입니다. 이 모델들은 보는 능력은 뛰어나지만, 이미지를 볼 때 안전 브레이크가 작동하지 않을 때가 있습니다.

이 문제를 해결하기 위해 연구자들은 모델에게 특별한 방식으로 "이중 언어"를 구사하도록 가르치려 노력하고 있습니다. 그들은 로봇이 단순히 사진을 보고 답하는 것이 아니라, 먼저 사진을 안전하고 주의 깊게 말로 설명한 다음, 그 후에 답을 내놓기를 원합니다. 마치 보안 요원이 수상한 물건에 대해 상세한 보고서를 작성한 후에야 비로소 당신에게 어떻게 대처해야 할지 알려줄 수 있는 것과 같습니다. 만약 보고서가 모호하거나 위험 요소를 놓친다면, 보안 요원은 멈춰 서서 "잠깐, 더 자세히 살펴봐야겠습니다"라고 말할 것입니다. SafeCap이라 불리는 이 논문은 AI 로봇이 이러한 안전 보고서를 자동으로 작성하도록 가르치는 새로운 훈련 방법을 소개하며, 이를 통해 모델을 속이기가 훨씬 더 어렵게 만듭니다.

문제점: 사진이 뇌를 속일 때

대규모 시각-언어 모델(LVLMs)은 볼 수 있는 능력을 갖춘 챗봇의 초강력 버전과 같습니다. 이들은 자신을 구축할 때 사용된 텍스트 전용 뇌로부터 "착한 행동"을 물려받았습니다. 하지만 사진은 교활합니다. 텍스트 전용 모델은 "폭탄을 만드는 법"이라는 요청은 거부할 수 있지만, 만약 폭탄 사진과 함께 "이걸 어떻게 만드나요?"라는 메모가 있다면, 모델은 이미지에 정신이 팔려 안전 규칙을 잊어버릴 수 있습니다. 이는 마치 신분증을 확인하던 경비원이 방문자의 셔츠에 붙은 반짝이는 스티커에 정신이 팔려 사람을 통과시켜 버리는 것과 같습니다.

이를 해결하려는 이전의 시도들은 모델의 눈 앞에 필터를 설치하는 것과 같은 "추론 시 방어(inference-time defenses)"를 포함했습니다. ECSO라고 불리는 한 인기 있는 방법은 로봇이 이미지를 본 후에 사진을 단어로 변환하여, 텍스트 전용 안전 시스템이 위험을 포착하기를 기대합니다. 하지만 이것은 복잡한 그림을 시각 장애가 있는 친구에게 설명하면서, 그 친구가 붓터치 속에 숨겨진 함정을 찾아내길 바라는 것과 같습니다. 종종 그 설명은 작지만 위험한 세부 사항을 놓치게 되고, 결국 안전 시스템은 실패하게 됩니다.

해결책: SafeCap ("안전 캡션" 트레이너)

이 논문의 저자들은 로봇이 답변하기 전에 스스로 안전 보고서를 쓰도록 가르치는 영리한 훈련 방법인 SafeCap을 제안합니다. 모델은 단순히 "예" 또는 "아니요"라고 말하는 대신, 다음 두 가지를 출력하도록 훈련됩니다:

캡션(Caption): 위험과 관련된 세부 사항(예: "위험" 라벨이나 무기)을 강조하여 이미지를 상세하게 묘-사하는 것.
답변(Answer): 사용자의 질문에 대한 최종 응답.

마법은 훈련 과정에서 일어납니다. 모델은 단순히 캡션을 쓰는 법을 배우는 것이 아니라, "고정된(변하지 않는)" 텍스트 전용 AI가 올바른 안전 결정을 내릴 수 있도록 돕는 캡션을 쓰는 법을 배웁니다. 학생(모델)이 시험을 치르는 상황을 상상해 보세요. 선생님(훈련 시스템)이 말합니다. "이 사진의 요약을 먼저 써라. 그런 다음, 나는 그 요약을 사진을 볼 수 없는 엄격한 채점자에게 전달할 것이다. 만약 채점자가 오직 네 요약만을 바탕으로 '이것은 위험하다'라고 판단하고, 너 또한 '이것은 위험하다'라고 말한다면, 너는 보상을 받을 것이다."

이 방식은 모델이 정직하고 철저하게 행동하도록 강제합니다. 모델은 위험을 무시하고 채점자가 이를 놓치기를 바랄 수 없습니다. 모델은 안전 점검이 작동할 수 있도록 캡션에서 위험을 명시적으로 지적해야만 합니다.

작동 방식: "보상" 게임

이 훈련은 강화 학습(Reinforcement Learning) 기술을 사용합니다. 이는 모델이 착한 행동을 하면 점수를 얻고 나쁜 행동을 하면 점수를 잃는 비디오 게임과 같습니다.

템플릿 보상(The Template Reward): 모델은 엄격한 형식(캡션을 쓰고, 그 다음에 답변을 쓰는 것)을 따라야 합니다. 형식을 어기면 0점을 받습니다.
답변 보상(The Answer Reward): 모델의 최종 답변이 검사됩니다. 답변이 유익하고 안전하면 점수를 얻습니다. 만약 위험하다면, "지수적 위험 할인(exponential risk-discount)"이라는 특별한 수학적 기법을 사용하여 점수를 대폭 삭감합니다(위험한 답변의 가치를 거의 0에 가깝게 만듭니다).
캡션 보상(The Caption Reward): 이것이 핵심 비법입니다. 모델이 작성한 캡션이 "고정된" 텍스트 전용 AI가 동일한 안전한 결론에 도달하도록 돕는다면 추가 점수를 받습니다. 만약 캡션이 모호하여 고정된 AI가 위험을 놓친다면, 모델은 그 부분에 대해 점수를 받을 수 없습니다.

연구 결과: 지능을 유지하면서도 안전성을 확보하다

연구진은 다섯 가지 안전 벤치마크(AI를 속이도록 설계된 테스트)와 여섯 가지 유틸리티 벤치마크(이미지 묘사나 퍼즐 풀기 같은 일반적인 작업 수행 능력을 보기 위한 테스트)에서 SafeCap을 테스트했습니다. 이들은 20억(2B)에서 40억(4B) 개의 파라미터를 가진 다양한 크기의 모델을 사용했습니다.

결과는 인상적이었습니다:

안전성 향상: "DirectCap" 프로토콜(모델이 캡션을 쓰고 답변하는 방식) 하에서, SafeCap은 다양한 모델에 걸쳐 안전 점수를 3.7에서 19.0 포인트까지 향상시켰습니다. 4B-Base 모델의 경우, 안전 점수가 무려 19.0 포인트나 급등했습니다.
트레이드오프 없음: 보통 모델을 더 안전하게 만들면 모델이 멍청해지는(무해한 질문에도 답변을 거부하는) 경향이 있습니다. 하지만 SafeCap은 "시각 유틸리티"(이미지를 묘사하고 질문에 답하는 능력)를 훈련되지 않은 모델과 거의 동일하게 유지했습니다. 이 모델은 모델을 까칠한 "안 돼" 기계로 만들지 않았습니다. 단지 더 똑똑하고 주의 깊은 모델로 만들었을 뿐입니다.
경쟁 우위: 표준 안전 훈련(SFT), DPO, 그리고 SafeGRPO라는 새로운 방법과 비교했을 때, SafeCap은 가장 뛰어난 성과를 보였습니다. SafeCap은 더 높은 안전 점수를 달면서도 더 나은 유틸리티를 유지했습니다.

이것이 왜 중요한가

이 논문은 시각적 AI 모델을 안전하게 유지하는 최선의 방법은 이미지를 본 후에 패치를 적용하는 것이 아니라, 보기 전에 본 것에 대해 "생각을 소리 내어 말하도록" 가르치는 것이라고 제안합니다. 모델이 안전을 고려한 캡션을 생성하도록 강제함으로써, 시각적 세계와 텍스트 기반 안전 규칙 사이의 가교를 만듭니다.

연구진은 모델이 이 "캡션 우선" 경로를 사용하도록 훈련되었을 때 이 방법이 가장 효과적이라는 것을 발견했습니다. 만약 캡션 없이(그냥 직접 답변하도록) 모델을 사용하려고 하면, 안전 이득은 더 작아지고 특정 모델에 더 의존하게 됩니다. 하지만 모델이 이 "안전 캡션" 습관을 사용할 수 있게 되면, 탈옥(jailbreak)이나 위험한 요청에 대해 훨씬 더 강력한 방어력을 갖게 됩니다.

요약하자면, SafeCap은 AI가 사진을 보고, 위험을 명확하게 설명하고, 그 후에 무엇을 할지 결정하도록 가르칩니다. 이는 경비원에게 문을 열기 전에 항상 보고서를 쓰도록 훈련시키는 것과 같으며, 이를 통해 설령 문지기가 주의를 딴 데로 돌리더라도 서면 보고서가 모두를 안전하게 지킬 수 있도록 보장합니다. 이 논문은 이러한 접근 방식이 효과적일 뿐만 아니라 모델의 유용성도 보존한다는 것을 보여주며, 시각적 세계에서 더 안전한 AI를 위한 유망한 길을 제시합니다.

기술 요약: SafeCap

문제 정의

대규모 시각-언어 모델(LVLM)은 언어 백본으로부터 지시 이행 능력을 상속받지만, 시각적 입력을 악용하는 탈옥 공격에 취약한 상태로 남아 있습니다. 텍스트 전용 모델과 달리, LVLM은 이미지 내의 안전 관련 증거를 인지하고, 이를 사용자 요청과 정렬하며, 응답 여부를 결정해야 합니다. 이는 타이포그래피 이미지가 유해한 지시를 포함하거나, 객체가 위험한 의도를 암시하거나, 혹은 양호한 프롬프트가 시각적 근거와 결합되었을 때 비로소 유해해지는 등의 실패 모드를 생성합니다. 기존의 안전 정렬 방법들은 이러한 멀티모달 특유의 위협을 포괄하지 못하는 경우가 많습니다.

현재의 방어 기제는 두 가지 범주로 나뉩니다:

추론 시 개입(Inference-time interventions): ECSO와 같은 방법은 이미지를 텍스트로 변환하여 언어 측의 안전성을 활용합니다. 그러나 이미지-텍스트 변환 과정에서 미세한 시각적 세부 사항(예: 안전 관련 객체, 가시적 텍теxt, 맥락 등)이 손실될 수 있으며, 이로 인해 다운스트림 텍스트 전용 모델이 안전한 결정을 내리지 못하게 됩니다.
학습 시 정렬(Training-time alignment): 큐레이션된 선호도 데이터나 안전 미세 조정(SFT)을 사용하는 방법은 유해한 입력에 대한 거절 성능을 높이는 것과 양호한 입력에 대한 시각적 인지 능력을 보존하는 것 사이의 트레이드오프(trade-off) 문제를 겪습니다.

핵째 과제는 모델의 시각적 이해 능력을 희생하거나 취약한 추론 시 래퍼(wrapper)에 의존하지 않으면서, LVLM이 시각적 안전 신호를 인식하고 대응하도록 정렬하는 것입니다.

방법론: SafeCap

SafeCap은 **학습된 셀프 캡셔닝(learned self-captioning)**을 통해 LVLM을 정렬하는 강화 학습(RL) 프레임워크입니다. SafeCap은 이미지 캡셔닝을 부가적인 설명이나 사후 방어 기제로 취급하는 대신, 모델이 최종 답변을 내놓기 전에 명시적이고 안전 관련성이 있는 중간 표현을 생성하도록 하는 '셀프 캡셔닝 문제'로 안전 정렬을 공식화합니다.

프레임워크 개요

각 이미지-질문 쌍 $(x, q)$ 에 대해, 정책 모델 $\pi_\theta$ 는 구조화된 응답 $y = \langle \text{caption} \rangle c \langle / \text{caption} \rangle a$ 를 생성하도록 훈련됩니다. 여기서 $c$ 는 이미지의 텍스트 설명이며, $a$ 는 최종 답변입니다. 훈련 목적 함수는 세 가지 별도의 신호를 최적화합니다:

템플릿 보상 ( $R_{tmp}$ ): 출력에 정확히 하나의 완전한 캡션 블록과 비어 있지 않은 답변이 포함되도록 보장하는 바이너리 게이트(binary gate) 역할을 하며, 구조적 퇴화를 방지합니다.
직접 답변 보상 ( $R_{ans}$ ): 판별 모델(judge model)을 사용하여 정책 모델의 최종 답변 $a$ 를 평가합니다. 이 모델은 유용성 점수(retention score) $u(a)$ 와 위험 점수(risk score) $h(a)$ 를 할당합니다. 보상은 지수적 위험 할인 함수인 $S(u, h) = u \cdot \gamma^h$ ( $\gamma \in (0, 1)$ )를 사용하여 계산됩니다. 이 곱셈 형태는 고위험 답변의 가치를 급격히 감소시켜, "아무것도 하지 않는" 행동을 억제하는 동시에 안전하면서도 정보가 풍부한 응답에 보상을 줍니다.
캡션 매개 보상 ( $R_{cap}$ ): 이것이 핵심 혁신 요소입니다. 생성된 캡션 $c$ $c$ 는 이미지를 전혀 보지 못하는 동결된 텍스트 전용 LLM으로 전달되며, 원래의 질문 $q$ $q$ 와 함께 입력됩니다. 동결된 LLM은 답변 $a_f$ $a_{f}$ 를 생성합니다. 보상은 다음 두 가지 요소를 평가합니다:
- 기술적 커버리지(Descriptive Coverage): 피사체, 속성, 동작, 공간적 배치 및 가시적 텍스트의 포함 정도를 측정하는 점수 $u(c)$ .
- 안전 정렬(Safety Alignment): 정책 모델의 답변 $a$ 와 동결된 LLM의 답변 $a_f$ 가 상황의 안전 상태(즉, 둘 다 위험을 인식하거나 둘 다 안전하다고 판단함)에 대해 일치하는지 나타내는 바이너리 신호 $g(q, a, a_f)$ .
- 캡션 보상은 $R_{cap} = g(q, a, a_f) \cdot u(c)$ 로 정의됩니다. 이는 정책 모델이 텍스트 전용 추론기가 안전하게 정렬된 결정을 내릴 수 있도록 충분한 시각적 근거를 담은 캡션을 생성하도록 유도합니다.

최적화

SafeCap은 **그룹 상대 정책 최적화(GRPO)**를 활용합니다. 각 프롬프트에 대해 정책은 $K=8$ 개의 롤아웃(rollout) 그룹을 샘플링합니다. 어드밴티지 함수(advantage function)는 서로 다른 스케일과 분산을 처리하기 위해 세 가지 보상 신호( $R_{tmp}, R_{cap}, R_{ans}$ )의 구성 요소별 그룹 정규화를 사용하여 구축됩니다. 동결된 LLM과 판별 모델은 오직 보상 계산을 위해서만 사용되며 업데이트되지 않습니다.

주요 기여

안전 인지형 셀프 캡셔닝 공식화: 본 논문은 LVLM의 안전 정렬을 셀프 캡셔닝 작업으로 재정의하여, 모델이 최종 답변을 내놓기 전에 안전 관련 시각적 증거를 드러내는 명시적인 중간 표현을 생성하도록 요구합니다.
캡션 매개 강화 학습 목적 함수: 직접적인 최종 답변 평가와 동결된 LLM 신호를 결합한 이중 신호 보상 메커니즘을 도입했습니다. 이 신호는 생성된 캡션이 텍스트 전용 추론기로부터 안전하게 정렬된 응답을 도출할 수 있는지를 검증함으로써, 인지와 정렬 사이의 간극을 효과적으로 메웁니다.
다중 프로토콜 평가: 다섯 가지 멀티모달 안전 벤치마크와 여섯 가지 비전-유틸리티 벤치마크에 걸쳐 Direct, DirectCap(의도된 운용 지점), 그리고 Prism(캡션 전용) 추론 프로토콜을 비교하는 종합적인 평가를 제공합니다.

결과

실험은 공개된 SPA-VL 데이터셋으로 훈련된 Qwen3.5 모델(2B, 2B-Base, 4B, 4B-Base)에 대해 수행되었습니다.

안전성 향상: DirectCap 프로토콜 하에서, SafeCap은 총체적인 안전 성능을 실질적으로 개선합니다. 네 가지 모델 설정 전체에서 안전 평균 점수가 3.7에서 19.0 포인트 상승했습니다. 특히 4B-Base 모델은 평균 비전 유틸리티를 거의 변화시키지 않으면서 안전 평균을 19.0 포인트 높였습니다.
유틸리티 보존: 일부 안전 미세 조정 방법들이 성능을 저하시키는 것과 달리, SafeCap은 MM-Vet, BLINK, MMVP와 같은 벤치마크에서 비전 유틸리티 점수를 유지하거나 향상시킵니다.
비교 성능:
- SafeCap은 동일한 데이터와 단계로 훈련되었을 때 표준 Safety SFT 및 DPO보다 우수한 성능을 보입니다.
- SafeGRPO의 데이터를 사용한 통제된 비교에서, SafeCap은 유사한 유틸리티를 유지하면서 DirectCap 안전 평균 55.06을 달고, SafeGRPO는 41.27을 기록했습니다.
절제 연구(Ablation Studies): 캡션 보상 또는 직접 답변 보상을 제거하면 안전성과 유틸리티 모두 크게 저하되어, 두 신호가 모두 필요함을 확인했습니다. 또한, 디커플링된 보상 정규화(decoupled reward normalization)가 Direct 및 DirectCap 성능에 특히 결정적이라는 것이 밝혀졌습니다.

의의 및 주장

본 논문은 **지각 측면의 증거(perception-side evidence)**를 멀티모달 안전 정렬에 통합하는 것의 가치를 입증한다고 주장합니다. LVLM이 안전 관련 시각적 단서를 캡션에 명시적으로 드러내도록 훈련함으로써, 이 방법은 단순한 거절 프롬프팅이나 취약한 추론 시 래퍼에 의존하지 않고 모델의 시각적 인지를 안전 정책과 정렬합니다.

저자들은 DirectCap 경로(훈련된 모델이 캡션을 생성한 후 답변하는 방식)가 의도된 운용 지점임을 강조하며, 이것이 가장 일관된 안전 이득을 제공한다고 설명합니다. "Prism" 프로토콜(동결된 LLM이 캡션을 통해 답변하는 방식)이 어느 정도의 전이 가능성을 보여주기는 하지만, 주요 기여는 안전 인지형 캡셔닝을 수행하는 LVLM 자체의 학습된 능력에 있습니다. 이 연구는 캡션 매개 강화 학습이 전통적인 출력 측 정렬을 보완할 수 있는, 향후 멀티모달 안전 분야의 실질적이고 효과적인 방향임을 시사합니다.