1. 연구 배경 및 문제 정의 (Problem Definition)

• 배경: 비전 - 언어 모델 (VLM) 의 성능이 향상됨에 따라, '안전성 (Safety)'과 '유용성 (Usefulness)' 사이의 균형을 유지하는 것이 핵심 과제가 되었습니다. 안전 메커니즘은 필수적이지만, 과도한 경계로 인해 benign(무해한) 요청까지 거절하는 '과거절 (Over-refusal)' 현상이 발생합니다.
• 문제점:
  • 현재 시각 (Visual) 모달리티에서의 과도한 거절을 체계적으로 평가하는 벤치마크가 부족합니다.
  • 기존 연구는 주로 해로운 지시를 거부하는 '방어 강건성 (Defense Robustness)'에 집중했으나, 무해한 요청을 거절하는 '과거절' 문제는 간과되었습니다.
  • 이중 사용 (Dual-use) 시나리오: 지시문 자체는 무해함 (예: "이 이미지를 설명해 줘") 하지만, 이미지 내에 해로운 내용 (예: 폭탄 제조법 텍스트) 이 포함된 경우, 모델은 두 가지 극단적인 실패 모드를 보입니다:
    1. 과도한 거절: 무해한 지시까지 거부하여 유용성을 잃음.
    2. 방어 없는 생성: 해로운 내용을 그대로 생성하여 안전성을 해침.
  • 이상적인 행동은 **'안전한 완료 (Safe Completion)'**입니다. 즉, 무해한 부분은 수행하되, 해로운 요소에 대해 명시적으로 경고하는 것입니다. 현재 모델들은 이 균형을 맞추는 데 실패하고 있습니다.

2. 방법론 (Methodology)

저자들은 DUAL-Bench라는 대규모 멀티모달 벤치마크를 제안하여 위 문제를 해결하고자 했습니다.

• 데이터셋 구성:
  • 규모: 총 192,372 개의 이미지 (해로운 지시 32,062 개 + 무해한 지시 32,062 개 및 그 변형들 포함).
  • 카테고리: MLCommons 안전 분류 체계에 기반한 12 가지 해로운 카테고리 (폭력 범죄, 아동 성 착취, 자살 및 자해, 혐오 발언 등).
  • 이중 사용 구조: 각 해로운 지시에는 의미론적으로 유사하지만 해로운 요소를 제거한 '무해한 (Detoxified)' 버전이 쌍으로 존재합니다.
  • 지시 프롬프트: 모든 실험에서 지시문은 고정된 무해한 문장 ("이 이미지를 설명해 줘") 을 사용합니다. 해로운 내용은 이미지 내에 렌더링된 텍스트로 삽입됩니다. 이는 모델의 거절이 텍스트 프롬프트가 아닌 시각적 위험 신호에 의해 유발되었음을 보장하기 위함입니다.
• 강건성 평가 (Robustness Evaluation):
  • 각 이미지에 대해 **의미 보존 시각적 변형 (Semantics-preserving perturbations)**을 적용하여 모델의 안전 경계 안정성을 측정합니다.
  • 적용된 변형: 실제 배경, 노이즈 배경, 회전, 폰트 크기 축소, 언어 변환 (영어→중국어) 등 5 가지.
• 평가 지표 (Metrics):
  • 거절률 (Refusal Rate, RR): 모델이 요청을 거절하는 비율.
  • 직접 답변률 (Direct Answer Rate, DAR): 모델이 요청을 수행하는 비율.
  • 지시 강건성 격차 (Instruction Robustness Gap, $\Delta$IR): 무해한 입력과 해로운 입력 간의 답변률 차이.
  • 안전한 완료율 (Safe Completion Rate, SCR): 해로운 입력에 대해 모델이 해로운 내용을 경고하면서도 무해한 부분을 수행하는 비율 (핵심 지표).
• 평가 프로토콜:
  • 18 개의 최신 VLM (GPT-5 시리즈, Gemini, Qwen, LLaMA, Mistral 등) 을 평가했습니다.
  • LLM-as-a-Judge 프레임워크를 사용하여 모델을 '직접 답변', '직접 거절', '간접 거절', '안전한 완료'로 분류했습니다.

3. 주요 기여 (Key Contributions)

1. DUAL-Bench 출시: 과거절과 안전한 완료를 평가하기 위한 최초의 대규모 멀티모달 벤치마크를 공개했습니다. 12 가지 위험 카테고리와 의미 보존 변형을 포함합니다.
2. 고품질 비교 벤치마크: 1,200 개의 원본 해로운 지시 이미지와 5 가지 변형, 그리고 대응되는 무해한 버전 (총 14,400 개) 으로 구성된 비교 평가용 데이터셋을 구축했습니다.
3. 포괄적 모델 평가: 18 개의 최첨단 VLM 에 대한 체계적인 비교 평가를 수행하고, 재현성을 위해 전체 벤치마크 스위트 (데이터, 코드, 프롬프트) 를 공개했습니다.
4. 새로운 통찰 도출: 모델이 이중 사용 사례에서 안전성과 유용성 사이의 균형을 맞추는 데 극도로 취약하며, 현재 안전 정렬 (Alignment) 전략이 '이분법적 (거절 vs 수행)'으로 고착되어 있음을 입증했습니다.

4. 실험 결과 (Results)

• 안전한 완료 (Safe Completion) 의 부재:
  • 대부분의 모델이 '안전한 완료'를 수행하지 못했습니다.
  • GPT-5-Nano가 가장 높은 점수를 기록했으나, 안전한 완료율 (SCR) 이 **12.9%**에 불과했습니다.
  • GPT-5 패밀리 평균 SCR 은 7.9%, Qwen 패밀리는 **3.9%**로 매우 낮았습니다.
  • GPT-4.1과 LLaMA 계열 모델은 거의 0% 에 수렴하며, 해로운 내용에 대해 과도하게 거절하거나 아예 수행하지 못했습니다.
• 과거절과 모델 크기의 비연관성:
  • 과거절 (Over-refusal) 행동은 모델의 파라미터 크기와 직접적인 상관관계가 없었습니다. 대신 개발자의 안전 정렬 패러다임과 정책에 크게 의존했습니다.
  • 예를 들어, GPT-4.1 은 매우 높은 거절률을 보인 반면, GPT-5-Nano 는 상대적으로 낮은 거절률을 보였습니다.
• 변형에 대한 취약성 (Fragility):
  • 모델의 안전 경계는 매우 취약했습니다. 작은 시각적 변형 (배경 노이즈, 회전 등) 만으로도 거절 결정이 뒤바뀌거나 안전성이 무너졌습니다.
  • 특히 GPT-4.1은 노이즈 배경에 대해 비정상적으로 높은 거절률 (0.70 → 0.82) 을 보이며, 학습 데이터의 노이즈에 과민 반응하는 경향을 보였습니다.
  • **언어 변환 (중국어 번역)**과 같은 의미론적 변형은 이미지 수준의 변형보다 모델 정렬에 더 큰 충격을 주었습니다.
• 이분법적 함정 (Binary Trap):
  • 현재 모델들은 '완전한 거절'과 '위험한 수행' 사이에서만 선택하는 경향이 강하며, '안전한 완료'라는 제 3 의 선택지를 활성화하는 능력이 부족합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전 정렬의 새로운 방향 제시: 단순한 '거절'을 넘어, '유용성 (Helpful)', '정직성 (Honest)', '무해성 (Harmless)'을 동시에 만족하는 안전한 완료 (Safe Completion) 전략이 필요함을 강조합니다.
• 과도한 거절의 위험성: 무해한 요청을 거절하는 것도 해로운 정보 유출만큼이나 HHH 원칙에 위배될 수 있음을 지적하며, 맥락에 따른 세밀한 정렬 (Fine-grained alignment) 의 중요성을 역설합니다.
• 향후 연구 방향:
  • 세밀한 RLHF: '이중 사용' 및 '안전한 완료'에 대한 선호 데이터를 구축하여 모델을 훈련해야 함.
  • 안전 사고 체인 (Safety Chain-of-Thought): 모델이 응답 전에 내부적으로 안전성을 추론하도록 유도.
  • 적대적 훈련: 의미 보존 변형을 활용한 대비 학습을 통해 시각적 노이즈에 대한 강건성을 높여야 함.

결론적으로, DUAL-Bench 는 VLM 의 안전성 평가가 단순한 해로운 콘텐츠 차단에서 벗어나, 맥락을 이해하고 무해한 부분은 수행하면서 위험 요소는 경고하는 **고급 안전성 (Nuanced Safety)**으로 나아가야 할 필요성을 강력하게 제기하는 중요한 연구입니다.