기술 요약: 다국어 멀티모달 거대 언어 모델의 적대적 강건성 및 안전 정렬 탐색

1. 문제 정의

멀티모달 거대 언어 모델(MLLM)은 시각적 인지와 언어적 추론을 통합하며, 이는 적대적 섭동(adversarial perturbations)에 취약한 연속적인 공격 표면을 생성합니다. 기존 연구들이 MLLM의 강건성을 조사해 왔으나, 평가는 압도적으로 영어 중심이었으며, 다국어 환경에서의 모델 동작에 대한 연구는 미개척 상태로 남아 있습니다.

다국어 MLLM, 특히 지시어 튜닝(instruction tuning)을 통해 적응된 모델들이 다양한 언어에 걸쳐 진정한 안전 정렬(safety alignment)을 보유하고 있는지, 아니면 저자원 언어에서의 외견상 안전함이 이해력 실패에 따른 결과물인지에 대한 이해에는 결정적인 격차가 존재합니다. 또한, 시각적 입력이 경사 하강법 기반 최적화가 가능한 연속적이고 고차원적인 공간에 존재한다는 점을 고려할 때, 적대적 취약성(추론 및 안전 모두)이 언어 간에 전이되는지 여부도 불분확합니다.

2. 방법론

저자들은 12개의 유형론적으로 다양한 언어(아랍어, 벵골어, 중국어, 영어, 프랑스어, 힌디어, 일본어, 포르투갈어, 러시아어, 스페인어, 터키어, 우르두어)를 대상으로 체계적인 연구를 수행합니다. 평가는 다국어 멀티모달 지시어 튜닝(PALO 및 PARROT)을 통해 다국어 능력을 습득하는 두 개의 대표적인 오픈 소스 MLLM과, 전체 훈련 파이프라인 전반에 걸쳐 다국어 데이터를 통합하는 모델(QWEN3-VL)에 초점을 맞춥니다.

벤치마크 구축

다국어 벤치마크의 부재를 해결하기 위해, 저자들은 기존의 영어 중심 데이터셋(COCO, Flickr30k, LLaVA-Bench, RealToxicityPrompts, MM-SafetyBench)을 12개 언어로 변환한 종합적인 제품군을 구축했습니다. 이는 다음과 같은 엄격한 번역 후 검증(Translate-then-Verify) 파이프라인을 통해 이루어졌습니다:

1. 다중 모델 번역: LLM 풀을 사용하여 후보 번역본 생성.
2. 역번역 일관성: 역번역을 통한 의미적 충실도를 바탕으로 후보군 필터링.
3. 인간 검증: 원어민이 최종 번역과 타이포그래피 렌더링을 검증.
   그 결과, 60,000개 이상의 변환된 인스턴스로 구성된 제품군이 탄생했습니다.

평가 축

본 연구는 두 가지 상호 보완적인 축을 따라 모델을 평가합니다:

1. 경사 기반 적대적 공격 (White-box):
   • 강건성: 소스 언어에서 캡셔닝 및 추론 성능을 저하시키기 위해(교차 엔트로피 손실 극대화) 시각적 섭동($\delta$)을 최적화하고, 이를 타겟 언어로 전이하여 평가합니다.
   • 시각적 탈옥(Visual Jailbreaking): 텍스트 프롬프트와 결합되었을 때 유해한 응답을 유도하기 위해 노이즈 이미지를 무제한 최적화하여, 교차 언어적 안전성 전이를 테스트합니다.
2. 비적대적 멀티모달 안전성:
   • 텍스트 전용 안전성: 다양한 언어로 된 유해한 지시어로 모델을 질의하여 언어적 이해도와 거절 능력을 평가합니다.
   • 타이포그래피 안전성: 텍스트 프롬프트는 무해하게 유지하면서 이미지 내에 유해한 키워드를 직접 삽입(시각적 모달리티)하여, 비영어권 스크립트를 파싱하고 거절하는 비전 인코더의 능력을 테스트합니다.

3. 주요 결과

교차 언어적 적대적 전이성

• 공유된 취약성: 단일 소스 언어에서 최적화된 적대적 섭동은 다른 평가 언어로 광범위하게 전이됩니다. 이는 MLLM이 언어에 무관한 적대적 취약성이 존재하는 공유된 멀티모달 표현 공간을 보유하고 있음을 나타냅니다.
• 비대칭성: 고자원 또는 LLM 주도 언어(예: 영어, 중국어)에서 제작된 공격은 저자원 언어 공격에 비해 영어 평가에서 더 큰 성능 저하를 일으키는 경향이 있습니다. 그러나 벵골어와 같은 저자원 언어의 공격조차 고자원 언어의 성능을 성공적으로 저하시킵니다.
• 범위: 이러한 전이성은 단문 캡셔닝(COCO, Flickr30k)과 장문 추론(LLaVA-Bench) 모두에서 유효합니다.

안전 행동: "실패에 의한 안전(Safety-by-Failure)" vs. 진정한 정렬

본 연구는 다국어 능력을 획득하는 방식에 따라 안전 행동의 결정적인 차이를 식별합니다:

• 지시어 튜닝 모델 (PALO, PARROT):

  • 외견상 안전함: 이 모델들은 저자원 언어(예: 벵골어, 우르두어) 및 비영어 스크립트에서 낮은 유해 응답률을 보입니다.
  • 메커니즘: 이 안전함은 **"실패에 의한 안전(Safety-by-Failure)"**이라 명명된 환상입니다. 낮은 유해 응답률은 낮은 거절률과 동시에 나타납니다. 모델은 (취약한 언어적 근거 또는 비영어 스크립트에 대한 열악한 OCR로 인해) 유해한 의도를 이해하지 못하며, 대신 환각을 일으키거나 무관하거나 반복적인 출력을 생성합니다. 이들은 해로움을 거부하는 것이 아니라, 단순히 놓치는 것입니다.
  • 타이포그래피 편향: 유해한 텍스트가 이미지에 삽로될 경우, 영어 스크립트는 안정적으로 파싱되지만, 비영어 스크립트는 거의 인식되지 않아 안전 정렬이 아닌 시각적 근거 형성 실패를 반영하는 제로에 가까운 유해 응답률을 보입니다.

• 깊게 통합된 모델 (QWEN3-VL):

  • 진정한 안전성: 사전 훈련 및 정렬 단계 전반에 걸쳐 다국어 데이터를 포함하는 QWEN3-VL은 질적으로 다른 프로필을 보여줍니다. 이 모델은 언어 전반에 걸쳐 능동적인 거절률을 유지합니다.
  • 역전된 패턴: 지시어 튜닝 모델에서 가장 "안전해" 보였던 언어들(벵골어, 우르두어)이 QWEN3-VL에서는 가장 높은 잔여 취약성을 드러냈습니다. 이는 QWEN3-VL이 유해한 쿼리를 진정으로 이해하고 능동적으로 거절을 선택했음을 확인시켜 주며, 이는 이해 실패로 가려진 것이 아닌 실제적인 정렬 격차를 드러냅니다.

4. 주요 기여

1. 다국어 벤치마크 제품군: 적대적 강건성과 멀티모달 안전성 모두를 다루는, 12개 언어로 엄격하게 번역 및 검증된 공개 가능한 벤치마크 제품군을 구축했습니다.
2. 교차 언어적 전이성 발견: 경사 기반 적대적 취약성이 공유된 멀티모달 표현 공간 내에서 존재하며, 최적화나 평가에 사용된 언어와 관계없이 효과적으로 전이됨을 입증했습니다.
3. "실패에 의한 안전" 식별: 얕은 다국어 적응(지시어 튜닝만 수행)이 저자원 언어에서 환상적인 안전을 생성함을 밝혀냈습니다. 모델은 언어나 스크립트를 파싱하지 못하기 때문에 안전해 보이는 것이지, 정렬되어 거절하는 것이 아닙니다.
4. 훈련 패러다임 비교: 다국어 능력을 훈련 파이프라인 전반에 통합하는 것(QWEN3-VL의 경우)이 진정한 교차 언어적 안전과 능동적 거절로 이어지는 반면, 사후 지시어 튜닝은 취약한 이해 의존적 안전을 초래한다는 증거를 제공했습니다.

5. 의의 및 주장

본 논문은 얕은 다국어 적응(예: 번역된 지시어 데이터로 파인튜닝하는 것)이 안전한 MLLM을 보장하기에 불충분하다고 주장합니다. 이는 저자원 언어에서 표면적인 다국어 이해를 만들어내어 **환상적인 안전(illusory safety)**을 생성합니다.

저자들은 진정한 안전 정렬을 위해서는 모든 훈련 단계에서 다국어 능력의 더 깊은 통합이 필요하다고 주장합니다. 그렇지 않으면 모델은 언어나 스크립트를 파싱하지 못해 안전해 보일 수 있으며, 이는 실제 안전 정렬의 부재를 가리는 실패 모드입니다. 본 연구는 안전 평가가 이러한 숨겨진 취약성과 "실패에 의한 안전" 현상을 드러내기 위해 영어 중심 벤치마크를 넘어서야 함을 강조합니다.

결론적으로, 다국어 능력을 개선하는 것만으로는 충분하지 않으며, 일관되고 진정한 안전 행동을 보장하기 위해 안전 정렬이 지원되는 모든 언어에 대해 명시적으로 검증되어야 합니다.