Self-adaptive Dataset Construction for Real-World Multimodal Safety Scenarios

이 논문은 실제 세계의 다중 모달 안전 시나리오를 포괄하는 35,000 개의 이미지 - 텍스트 쌍으로 구성된 데이터셋을 자동 생성하고, 안전 저지 모델을 파인튜닝하여 평가하는 표준화된 지표를 도입함으로써 기존 위험 중심 방식의 한계를 극복하는 새로운 적응형 데이터 구축 방법을 제시합니다.

핵심

🎭 1. 문제: "가짜 위험"만 찾는 구식 검사

지금까지 AI 의 안전성을 테스트할 때는 주로 **"위험한 것"**을 찾아냈습니다.
예를 들어, "총을 쏘는 사진"이나 "폭탄을 만드는 글"처럼 단독으로 보면 이미 위험한 자료를 AI 에게 보여주고 "이거 위험하냐?"라고 물었습니다.

하지만 이 방식에는 두 가지 큰 문제가 있습니다.

1. 가짜 (Synthetic) 데이터가 너무 많음: 실제 세상에서 찍은 사진이 아니라, 컴퓨터로 만든 가짜 사진이 대부분이라 현실 감각이 떨어집니다.
2. 예상 가능한 위험만 다룸: "위험한 글"과 "위험한 사진"을 섞어서 테스트하니까, AI 는 "아, 이건 위험한 조합이네"라고 금방 알아챕니다. 하지만 실제 세상에서 일어나는 미묘한 위험은 놓칩니다.

🧩 2. 해결책: "안전한 조각"을 맞추면 '위험한 그림'이 되는 새로운 방식

이 논문은 **"정보의 상호보완성 (Information Complementarity)"**이라는 개념을 도입했습니다.

💡 비유: "안전한 레고 조각"

• 사진 A: 평범한 '절벽' 사진 (안전함)
• 글 B: "오늘 날씨가 좋으니 산책하러 가자"라는 문장 (안전함)

각각은 전혀 위험하지 않습니다. 하지만 이 두 가지를 함께 보면 이야기가 달라집니다.

• 조합: 절벽 위에서 "산책하러 가자"고 하면? -> 낙사 위험!

이 논문은 각각은 안전하지만, 합치면 위험해지는 상황을 찾아내는 '이미지 중심 (Image-oriented)' 방식을 개발했습니다.

🏗️ 3. 어떻게 만들었나요? (자동화 공장)

연구팀은 AI 를 활용해 다음과 같은 공정을 거쳤습니다.

1. 영감 얻기: 실제 세상에서 찍은 안전한 사진 (COCO 데이터 등) 을 가져옵니다.
2. 위험 발견: AI 가 "이 사진에서 숨겨진 위험은 뭐지?"라고 생각합니다. (예: '책상' + '불' = '화재 위험')
3. 안전한 글 만들기: 그 위험을 유발할 수 있지만, 글 자체는 innocently(순수하게) 들리는 문장을 만듭니다. (예: "책상 위에 촛불을 켜고 따뜻한 밤을 보내고 싶어.")
4. 대응 생성:
   • 안전한 답변: "아니요, 그건 위험할 수 있어요. 다른 방법을 제안해 드릴게요."
   • 위험한 답변: "와, 정말 로맨틱한 아이디어네요! 해보세요!" (AI 가 위험을 모르고 응원하는 경우)

이 과정을 통해 **3 만 5 천 개 (35k)**의 새로운 데이터 세트를 만들었습니다.

📊 4. 결과는? (AI 들도 당황했습니다)

이 새로운 데이터로 기존 유명한 AI 모델들 (GPT-4o, Gemini 등) 을 테스트해 보았더니 놀라운 결과가 나왔습니다.

• 대부분의 AI: "위험한 글"과 "위험한 사진"을 합친 것은 알아차렸지만, **"안전한 글 + 안전한 사진 = 위험한 상황"**은 못 알아챘습니다.
• 결과: AI 가 "위험해"라고 경고해야 할 상황에서, 오히려 "좋네요, 해보세요!"라고 응원하는 치명적인 실수를 많이 했습니다.

🎯 5. 이 연구의 핵심 가치

1. 실제 세상 (Real-World) 을 반영함: 가짜가 아니라 실제 사진과 자연스러운 문장을 사용했습니다.
2. 적응형 (Self-adaptive) 데이터: AI 가 새로운 위험을 발견하면, 그 패턴을 학습해서 더 많은 위험 상황을 자동으로 찾아낼 수 있습니다.
3. 새로운 평가 기준: 단순히 "정답을 맞췄나?"가 아니라, **"이 데이터로 AI 를 훈련시켰을 때, 다른 위험 상황도 잘 막아내는가?"**를 평가하는 새로운 지표를 제안했습니다.

🌟 한 줄 요약

"혼자서는 아무 문제없는 사진과 글이 합쳐지면 위험해질 수 있다는 사실을 AI 가 깨닫게 하려면, 가짜 위험이 아닌 '실제 세상'의 숨겨진 위험을 찾아내야 합니다. 이 논문은 바로 그 '숨겨진 위험'을 찾아내는 자동화 시스템을 만들었습니다."

이 연구는 앞으로 AI 가 우리 일상에서 더 안전하게 작동하도록 돕는 중요한 나침반이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 멀티모달 대형 언어 모델 (MLLM) 의 급속한 발전과 함께 안전성 (Safety) 에 대한 우려가 커지고 있습니다.
• 기존 방법의 한계:
  • 위험 지향적 (Risk-oriented) 접근: 기존 데이터셋은 주로 사전에 정의된 위험 (예: 폭력, 성폭력 등) 이 명시적으로 포함된 이미지를 사용하거나, 합성 이미지 (Synthetic Images) 에 의존합니다. 이는 실제 세계의 복잡하고 미묘한 상황을 반영하지 못합니다.
  • 실제 세계 상황 부재: 단일 모드 (이미지 또는 텍스트) 만으로는 안전하지만, 두 모드가 결합되었을 때 잠재적 위험이 발생하는 '실제 세계의 안전 시나리오'를 포착하지 못합니다.
  • 평가 기준 부재: 안전성 데이터셋의 전반적인 효과를 측정할 수 있는 통일된 평가 지표가 부족하여, 모델의 안전 판단 능력 향상이 입증되지 않았습니다.
• 핵심 문제: 기존 데이터셋은 실제 세계의 복잡한 멀티모달 안전 시나리오 (Real-World Multimodal Safety Scenarios, RMS) 를 충분히 커버하지 못하며, 모델이 이러한 숨겨진 위험을 식별하는 능력을 키우기 어렵게 만듭니다.

2. 제안된 방법론 (Methodology)

이 논문은 이미지 중심의 자기 적응형 (Image-oriented Self-adaptive) 데이터 구축 방법을 제안합니다. 핵심 개념은 **'정보 보완성 (Information Complementarity)'**입니다.

• 정보 보완성 (Information Complementarity): 개별적으로는 안전하지만 서로 다른 모달리티 (이미지 + 텍스트) 가 결합되었을 때 잠재적 위험을 초래하는 상황을 의미합니다.
  • 예시: '서점' 이미지 (안전) + '난로 켜기' 텍스트 (안전) = '화재 위험' (위험).
• 데이터 구축 파이프라인 (Image-oriented Construction Pipeline):
  1. 패턴 생성 (Pattern Generation): COCO 와 같은 실제 세계 이미지 데이터셋을 '영감 (Inspiration)' 소스로 사용합니다. AI 어시스턴트 (Gemini-1.5-Flash 등) 를 활용하여 이미지 내 잠재적 위험 요소 (예: 절벽, 불) 를 추출하고, 이를 보완하여 위험을 초래할 수 있는 행동 (예: 절벽에서 뛰어내리고 싶다, 불을 지르다) 을 생성합니다.
  2. 데이터 증강 (Data Augmentation): 생성된 키워드를 기반으로 LAION-5B 등 대규모 데이터셋에서 실제 세계 이미지를 검색하고 필터링합니다. 텍스트는 키워드를 기반으로 생성하여 이미지 - 텍스트 쌍을 구성합니다.
  3. 가이드 응답 생성 (Guidance Response Generation):
     • 불안전 응답 (Unsafe Response): 이미지와 텍스트를 분리하여 입력했을 때 AI 가 위험을 인지하지 못하고 행동을 지지하거나 답변하는 경우.
     • 안전 응답 (Safe Response): 이미지와 텍스트의 결합 위험을 명시적으로 알려주고, 행동을 제지하거나 대안을 제시하는 경우.
  4. 검증 (Review): InternVL2.5-78B 와 같은 강력한 AI 모델을 사용하여 생성된 데이터의 현실성, 안전성, 그리고 멀티모달 결합 시 위험 발생 여부를 검증합니다.
• 데이터셋 규모: 최종적으로 35,000 개의 이미지 - 텍스트 쌍으로 구성된 RMS 데이터셋을 구축하였으며, 39 개의 세부 시나리오를 12 개 주요 카테고리 (자살/자가해, 재산 피해, 불법 행위 등) 로 분류했습니다.

3. 주요 기여 (Key Contributions)

1. RMS 데이터셋 구축: 실제 세계 이미지와 안전 텍스트의 결합으로 잠재적 위험을 유발하는 대규모 (35k) 멀티모달 안전 데이터셋을 최초로 자동화 방식으로 구축했습니다.
2. 새로운 평가 지표 제안: 기존 데이터셋의 효과를 측정하기 위해 **'안전 판정 모델 (Safety Judge Model) 파인튜닝 및 타 데이터셋 평가'**라는 표준화된 평가 지표를 제안했습니다. 즉, 특정 데이터셋으로 학습시킨 모델이 다른 안전 데이터셋에서도 얼마나 잘 위험을 판단하는지 측정합니다.
3. 자기 적응형 (Self-adaptive) 접근법: 데이터의 규모가 증가함에 따라 더 많은 위험 카테고리를 자동으로 발견하고 확장할 수 있는 유연한 방법론을 제시했습니다.

4. 실험 결과 (Results)

• MLLM 의 안전 판단 능력 부족:
  • 기존 주요 MLLM (Llama, Qwen, GPT-4o, Gemini 등) 은 RMS 데이터셋에서 불안전 응답을 식별하는 데 매우 취약했습니다.
  • 많은 모델이 안전하지 않은 응답을 '안전'하다고 판단하거나, 오히려 위험한 행동을 지지하는 응답을 생성했습니다. (예: GPT-4o 의 안전 응답 비율은 9.0% 에 불과함).
  • 이는 현재 모델들이 개별 모달리티는 안전하지만 결합 시 발생하는 위험을 인식하지 못함을 시사합니다.
• RMS 데이터셋의 효과성 검증:
  • RMS 데이터셋으로 파인튜닝된 모델 (Llama-3.2-11B-vision 기반) 은 다른 멀티모달 안전 벤치마크 (VLGuard, MSS-Bench 등) 에서 가장 높은 안전 판단 정확도를 보였습니다.
  • 기존 데이터셋 (Ch3Ef, VLGuard 등) 으로 학습된 모델보다 RMS 로 학습된 모델이 다양한 위험 시나리오를 더 잘 식별했습니다.
• 확장성: 영감 데이터셋의 크기를 늘릴수록 발견된 위험 카테고리가 증가하고, 모델의 안전 판단 능력도 비례하여 향상됨을 확인했습니다.

5. 의의 및 결론 (Significance)

• 실제 세계 안전성 연구의 전환: 합성 데이터나 명시적 위험에 의존하던 기존 접근법에서 벗어나, 실제 세계의 이미지와 안전한 텍스트의 상호작용을 통해 발생하는 숨겨진 위험을 탐구하는 새로운 패러다임을 제시했습니다.
• 모델 정렬 (Alignment) 향상: RMS 데이터셋은 MLLM 이 복잡한 실제 상황에서도 잠재적 위험을 식별하고 안전한 응답을 생성하도록 훈련시키는 데 필수적인 자원으로 입증되었습니다.
• 표준화된 평가 체계: 안전성 데이터셋의 품질을 평가하기 위한 새로운 메트릭을 제안함으로써, 향후 안전성 연구의 방향성을 제시했습니다.

요약하자면, 이 논문은 실제 세계의 안전 위협이 어떻게 '안전한 요소들의 결합'에서 발생하는지 규명하고, 이를 해결하기 위한 대규모 자동화 데이터셋 구축 방법과 평가 체계를 제시하여 MLLM 의 안전성을 획기적으로 개선할 수 있는 토대를 마련했습니다.