기술 요약: 시각 언어 모델(VLM)의 안전성 미세 조정에 있어서의 병목 현상 재고

문제 정의

대규모 시각 언어 모델(VLM)은 멀티모달 작업에서 탁월한 능력을 입증했으나, 안전이 필수적인 도메인에 배포될 때 심각한 과제에 직면해 있습니다. 기존의 안전 미세 조정 방식은 주로 텍스트 기반의 지도 미세 조정(SFT) 또는 단일 이미지 멀티모달 SFT(예: VLGuard)에 의존하며, 다음과 같은 결정적인 병목 현상을 보입니다:

1. 안전 시각 추론 격차: 현재의 방법들은 시각적 맥락 내에서 안전성을 추론하는 능력이 부족합니다. 이들은 단일 이미지 내의 명시적인 유해 요소가 아니라, 여러 이미지와 무해한 텍스트 쿼리의 상호작용에서 발생하는 유해한 의도를 탐지하는 데 자주 실패합니다.
2. 과도한 신중함과 트레이드오프: 기존 데이터셋으로 미세 조정을 수행하면 모델이 "과도하게 보수적(over-conservative)"이 되어, 무해한 쿼리에 대해서도 답변을 거부하는 현상(예: 안전한 입력에 대해 "죄송합니다"라고 응답)이 발생합니다. 반대로, 거절을 줄이려는 시도는 복잡한 작업에서 높은 공격 성공률(ASR)을 초래하여 일반화에 실패하는 경우가 많습니다.
3. 단일 이미지 패러다임의 한계: 대부분의 안전 벤치마크와 학습 데이터는 단일 이미지 입력을 기반으로 합니다. VLM이 다중 이미지 이해로 발전함에 따라, 기존의 안전 장치가 여러 시각적 입력을 결합하여 형성되는 맥락적 위험을 효과적으로 해석하지 못하므로 안전 격차는 더욱 벌어집니다.

방법론

이러한 한계를 해결하기 위해 저자들은 MIS(Multi-Image Safety) 데이터셋과 MIRage(Multi-Image Reasoning Safety) 미세 조정 접근법을 중심으로 한 새로운 프레임워크를 제안합니다.

1. MIS 데이터셋 구축

MIS 데이터셋은 시각적 인지 및 추론 관련 안전성을 평가하고 개선하기 위해 설계된 최초의 다중 이미지 안전 데이터셋입니다. 이는 다음으로 구성됩니다:

• 학습 세트 (4k 샘플): 유해한 의도를 생성하는 텍스트 지침(예: 이미지 A의 도구를 사용하여 이미지 B의 물체를 조작함)과 연결된 다중 이미지 쌍입니다. 결정적으로, 텍스트 지침은 독성이 제거된 중립적인 형태이며, 안전 위험은 시각적 결합으로부터 발생합니다.
• 테스트 세트 (2185 샘플): 세 가지 하위 집합으로 나뉩니다:
  • MIS-easy: 이미지 내에 명시적인 유해 요소가 포함됨.
  • MIS-hard: 이미지는 모두 무해하지만, 이미지 간의 관계와 쿼리로부터 유해한 의도가 도출됨.
  • MIS-real: 실제 세계의 이미지를 사용하여 일반화 능력을 테스트함.
• 구축 파이프라인: 다음의 4단계 자동화 파이프라인을 통해 데이터셋이 생성됩니다:
  1. 유해 요소 추출: LLM(Qwen2.5, InternVL)을 사용하여 기존 벤치마크에서 유해한 개념을 추출합니다.
  2. 텍스트 지침 생성 및 독성 제거: 두 개의 물체가 포함된 유해한 쿼리를 생성한 후, 이를 중립적인 지침으로 정제합니다(예: "유물을 밀반입하다"를 "첫 번째 이미지의 물체를 운반하다"로 교체).
  3. 자동 정제 T2I 생성: Stable Diffusion 3.5 Large를 사용하여 이미지를 생성하고, VLM을 통해 텍스트와의 정렬을 확인하며 정제합니다.
  4. 다중 전문가 필터링: 인간 전문가와 GPT-4o가 데이터를 학습, easy, hard, real 서브셋으로 필터링하고 분류합니다.

2. 안전 사고 체인(Safety Chain-of-Thought, CoT) 레이블

핵심 혁신은 학습 세트를 위한 Safety CoT 레이블 구축입니다. 단순한 거절 응답(예: "그것을 할 수 없습니다") 대신, 레이블은 모델이 다음을 수행하도록 유도합니다:

1. 시각적 인지(Visual Perception): 두 이미지의 객체를 식별합니다.
2. 시각적 추론(Visual Reasoning): 이미지와 텍스트 사이의 관계를 분석하여 잠재적인 유해 의도를 도출합니다.
3. 안전한 응답 생성(Safe Response): 단순한 거절이 아닌, 왜 해당 요청이 안전하지 않은지에 대한 이유를 설명하는 도움이 되고 맥락을 고려한 거절 또는 경고를 제공합니다.

3. MIRage 미세 조정 접근법

저자들은 MIS 학습 세트를 활용하는 미세 조정 전략인 MIRage를 소개합니다.

• 데이터 구성: 학습 세트는 4k개의 안전 관련 다중 이미지 샘플과 500개의 일반 QA 샘플(전체의 11%)로 구성됩니다. 이는 VLGuard와 같은 이전 연구에서 사용된 33%의 일반 데이터 비율보다 현저히 낮습니다.
• 학습 목표: 모델이 안전 응답에 시각적 인지 및 추론 로직을 통합하도록 학습시켜, 일반적인 능력을 희생하지 않으면서 유용성과 무해함 사이의 균형을 맞추는 것을 목표로 합니다.

주요 기여

1. 병목 현상 식별: 본 논문은 기존 안전 미세 조정 방식의 한계를 분석하여, 도전적인 작업(예: MSSBench)에서의 실패 원인이 시각적 안전 추론의 부재와 과도한 신중함을 유발하는 단순한 거절 기반 레이블 사용에 있음을 밝혀냈습니다.
2. MIS 데이터셋: 시각적 추론 강화를 위한 학습 분할과 엄격한 평가를 위한 3단계 테스트 분할(easy, hard, real)을 특징으로 하는 최초의 다중 이미지 안전 데이터셋을 도입했습니다.
3. MIRage 프레임워크: Safety CoT 레이블을 활용하는 새로운 미세 조정 패러다임을 제시합니다. 이는 시각적 추론 능력을 개선함으로써 모델이 복잡한 다중 이미지 안전 시나리오를 효과적으로 처리할 수 있음을 보여줍니다.
4. 실증적 검증: MIRage가 일반적인 능력을 유지하거나 약간 향상시키면서도 다중 이미지 안전 작업에서 오픈 소스 및 API 기반 모델보다 우수한 성능을 보임을 종합적인 실험을 통해 입증했습니다.

실험 결과

저자들은 주로 InternVL2.5-8B를 대상으로 하여, 텍스트 기반 SFT, VLGuard (P 및 R 변형), 그리고 다양한 최첨단 VLM(예: Qwen2-VL, LLaVA-OV, GPT-4o, Gemini-1.5-pro)과 비교 평가했습니다.

• 안전 성능:

  • MIS 테스트 세트에서 MIRage는 베이스라인 모델들이 약 80-90%의 ASR을 보이는 것과 대조적으로, InternVL2.5-8B 기준 ASR을 거의 제로 수준(예: MIS-easy에서 0.24%, MIS-hard에서 0.20%, MIS-real에서 0.00%)으로 낮추었습니다.
  • **추론 성공률(Reasoning Success Rate, RSR)**을 크게 높였으며, 이는 모델이 단순한 거절이 아닌 추론을 통해 위험을 성공적으로 식별하고 있음을 나타냅니다.
  • MIRage는 기존 방식들이 실패하거나 과도하게 신중해지는 경 경향을 보이는 도전적인 벤치마크인 MSSBench(유해 시나리오) 및 SIUO(안전한 입력, 유해한 출력)에서 베이스라인보다 뛰어난 성능을 보였습니다.

• 일반 능력:

  • 일반적인 성능(특히 MMT-Bench 및 MuirBench와 같은 다중 이미지 벤치마크)을 저하시키는 경우가 많은 VLGuard 및 Textual SFT와 달리, MIRage는 일반적인 능력을 유지하거나 약간 향상시켰습니다.
  • MIS를 통한 미세 조정은 5개의 일반 벤치마크(Q-Bench, MMStar, MMMU, MuirBench, MMT-Bench)에서 평균 정확도를 0.83% 증가시켰습니다.
  • 이 방법은 학습 믹스에 11%의 일반 데이터만을 사용하면서도 이를 달성하였으며, 이는 안전 추론 로직이 본질적으로 일반적인 지시 이행 능력을 지원할 수 있음을 입증합니다.

• 일반화:

  • 절제 연구(Ablation studies) 결과, MIRage를 통해 학습된 안전 능력은 보지 못한 안전 카테고리(예: 개인정보 보호 및 자해)로 일반화되며, 심지어 텍스트 전용 탈옥 시나리오(AdvBench)로도 전이됨을 보여주었습니다.

의의 및 주장

본 논문은 현재 VLM 안전의 주요 병목 현상이 데이터의 부족이 아니라, 안전 시각 추론의 부족과 지나치게 단순화된 학습 레이블의 사용에 있다고 주장합니다. 단일 이미지 거절에서 사고 체인(CoT) 로직을 갖춘 다중 이미지 추론으로 패러다임을 전환함으로써, 저자들은 다음을 입증했습니다:

1. 안전과 유용성은 상충하는 개념이 아니다: 모델을 복잡한 시나리오에서 매우 안전하게 학습시키면서도 지나치게 보수적이 되거나 일반적인 유용성을 잃지 않게 할 수 있습니다.
2. 다중 이미지 맥락이 핵심이다: VLM이 다중 이미지 입력을 처리하도록 발전함에 따라, 안전 평가 및 학습 또한 맥락적 위험을 다루기 위해 단일 이미지 패러다임을 넘어 진화해야 합니다.
3. 추론이 핵심이다: 안전 레이블에 추론 로직을 포함하는 것이 단순한 거절보다 더 효과적이며, 이를 통해 모델이 미묘한 멀티모달 맥락에서 안전한 시나리오와 안전하지 않은 시나리오를 구분할 수 있게 합니다.

저자들은 본 연구가 안전한 VLM 배포를 위해 설계된 더 정교한 안전 데이터 및 전략에 대한 미래 연구의 토대를 마련하며, 다중 이미지 설정에서의 중요한 격차를 해소한다고 결론짓습니다.