기술 요약: 멀티모달 LLM의 정렬 드리프트(Alignment Drift)

문제 정의

멀티모달 대규모 언어 모델(MLLM)이 실제 시스템에 점점 더 많이 배치되고 있음에도 불구하고, 적대적 프롬프팅(adversarial prompting)에 대한 안전성, 특히 종단적 안정성(longitudinal stability)에 관한 연구는 여전히 미진한 상태이다. 기존의 레드팀 활동은 주로 텍나 중심의 벤치마크에 집중되어 왔으며, 시각-언어 역량이 도입하면서 발생하는 추가적인 공격 표면을 고려하지 못했다. 또한, 기존 문헌은 주로 단일 시점에서의 모델 평가에 치중되어 있어, 모델 세대가 변화함에 따라 안전 행동이 개선되는지, 저하되는지, 혹은 모달리티별로 특정 방식으로 변화하는지에 대한 증거가 부족하다. 멀티모달 입력이 취약성을 악화시키는지, 그리고 안전 메커니즘이 모달리티와 업데이트 전반에 걸쳐 일반화될 수 있는지 결정하는 것이 매우 중요하다.

방법론

본 연구는 8개의 상용 배포된 MLLM을 대상으로 두 세대에 걸쳐 고정된 적대적 벤치마크를 사용하여 무해성(harmlessness)을 평가하기 위해 2단계 종단적 평가 설계를 채택한다.

• 데이터셋: 26명의 전문 레드팀원이 작성한 726개의 프롬프트로 구성된 새로운 적대적 데이터셋을 사용한다. 프롬프트는 텍스트 전용과 멀티모달 형식으로 균등하게 분할되며, 불법 활동, 허위 정보, 비윤리적 행동의 세 가지 유해 카테고리를 타겟팅한다. 각 멀티모달 프롬프트는 모달리티 효과를 격리하기 위해 텍스트 전용 대응 프롬프트와 쌍을 이룬다.
• 평가 대상 모델:
  • 1단계: GPT-4o, Claude Sonnet 3.5, Pixtral 12B, Qwen VL Plus.
  • 2단계: 후속 모델(GPT-5, Claude Sonnet 4.5, Pixtral Large, Qwen Omni).
• 주석 작업(Annotation): 모델 응답은 미국 영어 원어민 주석가들에 의해 "전혀 해롭지 않음"에서 "매우 해로움"까지의 5점 리커트 척도를 사용하여 평가되었다. 1단계에는 17명의 주석가(2,904개 응답)가, 2단계에는 12명의 주석가(2,904개 응답)가 참여하여 총 82,000건 이상의 인간 유해성 등급을 생성하였다. 주석가들은 모델의 정체성과 모달리티를 알지 못하는 블라인드 상태에서 수행하였다.
• 통계 분석: 저자들은 프롬프트의 이질성과 주석가의 차이를 통제하면서, 유해성을 5점 척도의 서수형 결과값으로 모델링하기 위해 누적 링크 혼합 모델(CLMM)을 활용하였다. 기대 평균(Estimated Marginal Means, EMMs)을 도출하여 예상되는 유해 수준을 비교하였다. 또한, 공격 성공률(Attack Success Rate, ASR)을 취약성의 이진 척도(유해한 콘텐츠가 생성되었는지 여부)로 계산하였다.

주요 기여

1. 종단적 벤치마킹: 본 연구는 동일한 적대적 데이터셋을 사용하여 선도적인 MLLM의 두 세대에 걸친 안전성을 체계적이고 종단적으로 비교한 최초의 사례 중 하나를 제공한다.
2. 모달리티 특화 안전성 분석: 입력 모달리티(텍스트 전용 vs 멀티모달)가 안전성에 미치는 영향을 격리하여, 멀티모달 입력이 취약성을 일률적으로 증가시키거나 감소시킨다는 가설에 도전한다.
3. 거절(Refusal)과 정렬(Alignment)의 구분: 본 연구는 안전 점수에 미치는 거절 행동의 역할을 명시적으로 분석하며, 견고한 정렬 덕분에 안전한 모델과 높은 기본 거절(기권) 비율 덕분에 안전한 모델을 구분한다.

결과

모델 제품군 간의 차이

• 취약성 계층 구조: 모델 제품군 사이에 유의미하고 지속적인 차이가 존재한다. Pixtral 모델은 두 단계 모두에서 가장 높은 예상 유해성과 ASR을 보이며 지속적으로 가장 취약한 모습을 보였다. Claude 모델은 본질적인 양호한 생성 행동보다는 높은 거절률에 의해 주도되어 가장 안전한 것으로 나타났다. GPT와 Qwen 모델은 중간 위치를 차지했다.
• 정렬 드리프트(Alignment Drift): 안전 행동은 세대를 거치며 안정적이지 않다.
  • GPT 및 Claude: 1단계에서 2단계로 넘어갈 때 전반적인 ASR 증가(GPT: +8%, Claude: +10%)를 보였으며, 이는 "더 새로운" 모델임에도 불구하고 안전성 측면에서 퇴보했음을 나타낸다.
  • Pixtral 및 Qwen: 완만한 ASR 감소(Pixtral: -7%, Qwen: -5%)를 보였으나, Pixtral은 여전히 전체적으로 가장 위험한 제품군으로 남았다.

모달리티 효과

• 1단계: 모든 모델에서 텍스트 전용 프롬프트가 멀티모달 프롬프트보다 평균적으로 더 효과적으로 안전하지 않은 출력을 유도했다.
• 2단계: 모달리티 효과는 모델별로 상이하고 이질적으로 나타났다.
  • GPT-5 및 Claude 4.5: 모달리티 간 취약성이 거의 대등하게 나타났으며, ASR에서 텍스트와 멀티모달 입력 간의 차이가 최소화되었다.
  • Pixtral Large: 텍스트 전용 프롬프트에 대한 강한 민감도를 유지했으며, 이전 단계인 Phase 1의 모델과 비교했을 때 텍스트와 멀티모달 취약성 사이의 격차가 더 커졌다.
  • Qwen Omni: GPT-5 및 Claude 4.5와 유사하게 균형 잡힌 행동을 보였다.

거절 행동

거절률은 유해성 점수에 유의미한 영향을 미쳤다. Claude 모델은 두 단계 모두에서 가장 높은 거절률을 유지했다. 주목할 점은, GPT와 Claude의 후속 모델들은 이전 모델들보다 기본 거절(default refusal)을 훨씬 적게 생성한 반면, Qwen Omni는 Qwen VL Plus에 비해 거절률이 증가했다는 것이다. 연구는 거절과 양호한 완결(benign completion)을 혼동하는 것이 진정한 정렬 차이를 가릴 수 있다고 지적한다.

의의 및 주장

본 논문은 MLLM의 무해성이 균일하지도, 안정적이지도 않다고 주장한다. 연구 결과는 다음을 입증한다:

1. 안전성은 동적이다: 모델 업데이트는 개선과 퇴보를 동시에 가져오며, 취약성 패턴은 모델별 및 모달리티별로 진화한다. 안전성은 세대를 거치며 단조롭게 개선되지 않는다.
2. 모달리티 민감도는 비균일하다: 멀티모달 대 텍스트 전용 공격의 효과는 모델 제품군이나 세대에 따라 일반화되지 않는다. 새로운 모델은 모달리티 간의 격차를 좁히기도 하고, 다른 모델은 이를 오히려 넓히기도 한다.
3. 종단적 벤치마크의 필요성: 본 연구는 진화하는 안전 행동을 추적하기 위해 종단적, 멀티모달 벤치마크가 필수적임을 강조한다. 단발성 또는 텍스트 중심의 평가는 멀티모달 강건성의 퇴보나 거절 역학의 변화를 간과할 위험이 있다.

저자들은 급변하는 MLLM 환경에서 정적인 벤치마크에 의존하는 것은 불충분하며, 정렬의 진전이 불균등한 지점을 진단하기 위해 고정된 적대적 데이터셋에 대한 반복적인 평가가 필수적이라고 결론짓는다.