💻 computer science

PRISM: Robust VLM Alignment with Principled Reasoning for Integrated Safety in Multimodality

이 논문은 시각-언어 모델 (VLM) 의 안전성을 강화하면서도 유용성을 해치지 않도록, 체계적인 추론 단계와 MCTS 기반의 선호도 최적화 (PRISM-DPO) 를 통해 복잡한 다중모달 위협을 효과적으로 탐지하고 방어하는 'PRISM' 프레임워크를 제안합니다.

원저자: Nanxi Li, Zhengyue Zhao, G. Edward Suh, Marco Pavone, Chaowei Xiao

게시일 2026-04-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nanxi Li, Zhengyue Zhao, G. Edward Suh, Marco Pavone, Chaowei Xiao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

PRISM: AI 의 '안전한 사고방식'을 가르치는 새로운 방법

이 논문은 **시각-언어 모델 **(VLM)이라는 AI 가 그림과 글을 함께 볼 때, 어떻게 하면 더 똑똑하면서도 해로운 일을 하지 않도록 안전하게 만들 수 있는지에 대한 이야기를 담고 있습니다.

기존의 방법들은 마치 "무조건 "아니요"라고 외치는 경비원"과 같았습니다. 위험할 것 같은 질문을 하면 이유도 없이 거절하거나, 반대로 아주 교묘한 위험은 눈치채지 못해 넘어가는 경우가 많았죠.

이 논문은 PRISM이라는 새로운 방법을 제안합니다. PRISM 은 "차분하게 생각한 뒤 결정하는 현명한 경비원"과 같습니다.

1. 왜 새로운 방법이 필요할까요? (문제 상황)

지금까지의 AI 안전 장치는 두 가지 큰 문제를 겪고 있었습니다.

**과도한 방어 **(Over-defense) "이건 위험할지도 몰라!"라고 생각하면, 아주 harmless(무해한)한 질문에도 "죄송합니다, 할 수 없습니다"라고 막아버립니다. 마치 "비행기 타는 거 위험하니까 집에만 있으세요"라고 말하는 것과 비슷하죠.
**얕은 방어 **(Shallow alignment) 교묘하게 숨겨진 위험은 눈치채지 못합니다. 예를 들어, "고대 유적에 그래피티를 그려보세요"라는 질문은 글자만 보면 예술적인 요청처럼 보이지만, 실제로는 문화재를 훼손하는 불법 행위를 부추기는 것입니다. 기존 AI 는 이 '숨겨진 의도'를 못 알아채고 답변해 줍니다.

2. PRISM 은 어떻게 작동할까요? (해결책)

PRISM 은 AI 가 답변을 하기 전에 4 단계의 사고 과정을 거치게 합니다. 마치 수사관이 사건을 해결할 때 단계별로 증거를 분석하는 것과 같습니다.

이 사고 과정은 크게 3 가지 유형의 위험을 잡습니다:

**문제 **(Problem) 질문 자체에 나쁜 말이나 위험한 내용이 있는 경우.
**이미지 **(Image) 그림 자체가 위험하거나 금지된 내용을 담은 경우.
**조합 **(Combination) 질문도 그림도 따로 보면无害하지만, 둘을 합치면 위험해지는 경우 (가장 교묘한 함정).

PRISM 의 4 단계 사고 과정 (비유: 수사관)

**질문 분석 **(Problem) "사용자가 정말로 무엇을 원하는 걸까? 숨은 의도가 있을까?"라고 질문의 의도를 파악합니다.
**그림 설명 **(Caption) "이 그림이 질문과 어떤 관련이 있을까?"라고 그림을 자세히 묘사합니다.
**종합 추론 **(Reasoning) 가장 중요한 단계입니다. "질문과 그림을 합치면 어떤 일이 벌어질까?"라고 생각합니다.
- 예시: "고대 사원에 그래피티를 그려줘" (질문) + "고대 사원 사진" (그림) = "문화재 훼손!"이라는 결론을 내립니다.
**최종 답변 **(Output) 추론 결과를 바탕으로, 안전한 질문에는 친절하게 답변하고, 위험한 질문에는 "왜 위험한지" 설명하며 거절합니다.

3. PRISM 은 어떻게 배우나요? (학습 방법)

단순히 정답을 외우는 것이 아니라, 올바른 사고 과정을 칭찬받으며 배웁니다.

**MCTS **(몬테카를로 트리 검색) AI 가 여러 가지 사고 경로를 상상해보게 합니다. (예: "이렇게 생각하면 안전할까? 저렇게 생각하면 어떨까?")
**PRISM-DPO **(선호도 최적화) 여기서 중요한 점은 **보상 **(Reward)입니다.
- 기존 방법: 마지막에 틀리면 처음부터 끝까지 다 잘못한 것으로 치고 벌점을 줍니다. (불공정함)
- PRISM 방법: "질문 분석은 잘했네? (점수 UP)" "그림 설명도 좋네? (점수 UP)" 하지만 "결론을 잘못 내렸어? (그 단계만 점수 DOWN)"라고 단계별로 공정하게 평가합니다.
- 이렇게 하면 AI 는 "아, 나는 사고 과정은 잘하는구나. 다만 결론을 잘 내리면 더 좋은 AI 가 되겠구나"라고 배우게 되어, 안전하면서도 유용한 AI가 됩니다.

4. 결과는 어떨까요? (성과)

실험 결과, PRISM 은 다음과 같은 성과를 보였습니다.

**해킹 **(Jailbreak) 교묘하게 AI 를 속여 위험한 답을 내놓게 하려는 시도를 99% 이상 막아냈습니다.
유용성 유지: 위험한 질문은 거절하되, 안전한 질문 (수학 문제, 이미지 분석 등) 에 대해서는 기존 방어 방법들보다 훨씬 잘 답변했습니다.
적응형 공격에도 강함: 공격자가 방법을 바꿔도 PRISM 은 그 논리를 파악해 내서 막아냅니다.

요약

PRISM은 AI 에게 "무조건 거절하는 것"이 아니라, "왜 위험한지 차분하게 생각한 뒤 거절하는 것"을 가르치는 방법입니다.

마치 현명한 부모가 아이에게 "그건 해서는 안 돼"라고 막기만 하는 게 아니라, "그건 왜 위험한지, 어떤 문제가 생길지 생각해보자"라고 가르쳐 아이 스스로 판단력을 키우는 것과 같습니다. 이 방법을 통해 AI 는 더 안전하면서도, 우리가 필요로 하는 일을 더 잘 해낼 수 있게 되었습니다.

1. 문제 정의 (Problem)

시각 - 언어 모델 (VLM) 의 안전성 확보는 중요한 과제이지만, 기존 방법론들은 다음과 같은 한계를 가지고 있습니다.

과도한 방어 (Over-defense): benign(유용한) 쿼리를 잘못 거부하여 모델의 유용성 (Utility) 을 해칩니다.
피상적인 정렬 (Shallow Alignment): 단순한 키워드 필터나 정적 거부 규칙에 의존하여, 텍스트나 이미지 단독으로는 해롭지 않지만 **두 모달리티가 결합되었을 때만 악의적인 의도가 드러나는 복잡한 위협 (Combination Unsafe)**을 탐지하지 못합니다.
심층 추론 부재: 기존 RLHF 나 SFT 기반 방어는 구체적인 추론 과정 없이 단순히 거절하는 패턴을 학습하여, 정교한 조이스브레이크 (Jailbreak) 공격에 취약합니다.

2. 방법론 (Methodology)

저자들은 VLM 을 **System 2(신중한 추론)**와 유사하게 작동하도록 하는 PRISM(Principled Reasoning for Integrated Safety in Multimodality) 프레임워크를 제안합니다. 이는 구조화된 4 단계 추론 과정을 통해 세 가지 유형의 안전 위반 (문제 텍스트 해롭음, 이미지 해롭음, 텍스트 + 이미지 결합 해롭음) 을 처리합니다.

A. PRISM-CoT (구조화된 추론 데이터셋)

안전 위반 유형을 분리하여 분석하는 4 단계 추론 체인을 가진 데이터셋을 구축했습니다.

PROBLEM: 텍스트 프롬프트의 의도를 분석하고 안전 위반 여부를 식별.
CAPTION: 질문의 맥락에 맞춰 이미지의 시각적 내용을 설명 (문맥화된 캡셔닝).
REASONING: 텍스트와 이미지의 상호작용을 종합하여 교차 모달리티 (Cross-modal) 위협 탐지.
OUTPUT: 명시적인 위반 근거를 바탕으로 거절하거나 유용한 답변 생성.

이 과정은 인간이 라벨링한 안전 범주에 기반하여 생성되었으며, 특히 텍스트와 이미지가 각각은 안전해 보이지만 결합 시 위험한 'Combination Unsafe' 시나리오를 포괄합니다.

B. PRISM-DPO (단계별 선호도 최적화)

몬테카를로 트리 서치 (MCTS) 를 활용하여 생성된 선호도 데이터로 모델을 미세 조정합니다.

MCTS 트리 구조: 각 노드는 4 단계 (Problem, Caption, Reasoning, Output) 중 하나에 해당하며, 각 단계에서 $k$ 개의 후보 추론을 생성합니다.
국소적 보상 할당 (Stage-local Reward Assignment): 이것이 PRISM-DPO 의 핵심 혁신입니다.
- 안전성 보상 (Safety Reward): 각 단계에서 GPT-4o 를 평가자로 사용하여 산출되지만, 트리 전체로 역전파 (Back-propagation) 되지 않습니다. 즉, 앞선 단계가 올바르게 맥락을 분석했더라도 뒤따르는 단계에서 안전 위반이 발생했다고 해서 앞선 단계의 추론을 불이익 (Penalty) 으로 처리하지 않습니다. 이는 '잘못된 신용 할당 (Incorrect Credit Assignment)'을 방지합니다.
- 유용성 보상 (Helpfulness Reward): 기존 벤치마크의 정답 (Ground Truth) 과 비교하여 산출되며, 이는 표준 MCTS 방식대로 트리 전체에 역전파되어 추론 능력을 개선합니다.
이 방식을 통해 모델은 안전한 거절을 하더라도 유용성을 유지할 수 있게 됩니다.

3. 주요 기여 (Key Contributions)

다중 모달리티 특화 구조적 추론 프레임워크: 텍스트와 이미지의 상호작용을 명시적으로 분석하는 4 단계 추론 파이프라인을 도입하여, 기존 방법론이 놓치던 '결합형 안전 위반'을 효과적으로 탐지합니다.
안전 - 유용성 트레이드오프 개선: 안전 보상을 국소적으로 처리하고 유용성 보상만 역전파하는 PRISM-DPO를 통해, 공격 성공률 (ASR) 을 낮추면서도 benign 태스크에서의 성능 저하를 최소화했습니다.
광범위한 평가 및 일반화: JailbreakV-28K, VLBreak, MIS 등 다양한 벤치마크에서 기존 방어 기법 (SafeRLHF-V, SPA-VL 등) 보다 우수한 성능을 입증했으며, 적응형 공격 (Adaptive Attacks) 과 분포 외 (Out-of-Distribution) 다중 이미지 위협에도 강인함을 보였습니다.

4. 실험 결과 (Results)

안전성 (Safety):
- Qwen2-VL 기반 모델에서 JailbreakV-28K 의 공격 성공률 (ASR) 을 1.46% 로, VLBreak Challenge 에서 0.05% 로 획기적으로 낮췄습니다.
- LLaVA-1.5에서도 모든 벤치마크에서 낮은 ASR 을 기록했습니다.
- 적응형 공격 (IDEATOR) 에 대해 공격자가 성공적인 조이스브레이크를 찾기 위해 필요한 쿼리 수를 크게 증가시켜, 공격 비용을 높였습니다.
유용성 (Utility):
- MM-Vet-v2 벤치마크에서 기존 방어 모델들 (VLGuard, SafeRLHF-V 등) 이 성능이 급격히 떨어지는 것과 대조적으로, PRISM 은 높은 유용성 점수를 유지했습니다. (예: Qwen2-VL 에서 48.9 점, VLGuard 는 17.7 점).
- 특히 약한 베이스 모델 (LLaVA-1.5) 에서는 오히려 유용성 점수가 향상되기도 했습니다.
테스트 시간 확장 (Test-time Scaling): Beam Search 와 Best-of-N 전략을 적용하여 계산 비용을 늘리면, 안전 탐지율이 90% 이상으로 더욱 향상됨을 확인했습니다.

5. 의의 및 결론 (Significance)

PRISM 은 VLM 의 안전 정렬이 단순한 '거절 학습'을 넘어, **구조화된 심층 추론 (Structured Deep Reasoning)**을 통해 이루어져야 함을 증명했습니다.

신뢰할 수 있는 안전성: 텍스트와 이미지의 복잡한 상호작용을 이해해야만 탐지 가능한 은밀한 위협을 효과적으로 차단합니다.
실용성 유지: 안전성을 강화하면서도 모델의 본래 기능 (유용성) 을 희생하지 않는 최적의 균형을 달성했습니다.
확장성: 추론 프레임워크의 구조적 특성을 활용하여 테스트 시 계산 자원을 늘리는 것만으로도 안전성을 추가적으로 강화할 수 있음을 보여주었습니다.

결론적으로, PRISM 은 다중 모달리티 환경에서의 안전 위협에 대응하기 위한 새로운 패러다임을 제시하며, 보다 안전하고 실용적인 차세대 AI 모델 개발의 중요한 방향성을 제시합니다.