기술 요약: MM–SCALE

문제 정의

시각-언어 모델(VLM)은 현재 다중 모달 및 사회적 모호성이 존재하는 맥락에서 도덕적으로 유의미한 판단을 내리는 데 어려움을 겪고 있습니다. 기존의 안전 정렬(safety alignment) 방법들은 대개 이진(안전/위험) 또는 쌍체 비교(A 대 B) 방식의 감독에 의존합니다. 이러한 접근 방식은 인간의 도덕적 추론이 지닌 연속적이고 스칼라적인 특성을 포착하지 못하며, 시각적 맥락과 상황적 미묘함이 도덕적 해석을 어떻게 재구성하는지를 간과하는 경우가 많습니다. 기존 벤치마크들은 스칼라 판단과 명시적인 양상 접지(modality grounding, 판단이 텍스트, 이미지, 또는 둘 다에 근거하는지 여부)에 대한 커버리지가 부족하여, 모델이 다원적이고 맥락에 민가한 도덕적 추론을 처리하는 능력을 제한하고 있습니다.

방법론

1. 데이터셋 구축: MM–SCALE

저자들은 AI 생성 이미지를 기반으로 한 32,212개의 주석이 달린 도덕적 시나리오로 구성된 대규모 데이터셋인 MM–SCALE(MULTIMODAL MORAL SCALE)을 소개합니다.

• 소스 자료: 시나리오는 Commonsense NormBank에서 유래되었으며, Stable Diffusion v1.5와 DALL·E 3를 사용하여 시각화되었습니다.
• 주석 스키마: 각 이미지-시나리오 쌍은 다음 항목으로 주석이 달립니다:
  • 스칼라 도덕 등급: 도덕적 수용성에 대한 5점 척도(1–5).
  • 양상 접지(Modality Grounding): 판단이 텍스트, 이미지, 또는 둘 다에 근거하는지를 나타내는 레이블.
• 주석 파이프라인 (MORALE): 저자들은 웹 기반 인터랙티브 인터페이스인 MORALE(MORal Alignment and Listwise Evaluation)을 개발했습니다.
  • 모델 인 더 루프(Model-in-the-Loop): 시스템은 주석 작성자의 등급과 VLM의 예측값을 비교합니다.
  • 불일치 처리: 모델의 판단이 인간의 등급과 크게 차이가 날 경우, 시스템은 모델이 잘못된 양상에 주의를 기울였는지 확인하기 위해 양상 접지 체크를 트리거합니다.
  • 확장: 모델과 인간이 일치할 경우, 주석 작성자는 커버리지를 확장하기 위해 새로운 이미지 관련 시나리오를 추가하도록 안내받습니다.
• 품질 관리: 데이터셋은 분산 스크리닝 및 "카나리 체크(canary checks)"를 포함한 엄격한 필터링을 거쳤으며, 높은 주석 작성자 간 일관성(점수에 대해 Krippendorff's $\alpha$ = 0.74, 양상에 대해 0.71)을 확보했습니다.

2. 훈련 프레임워크: 리스트와이즈 선호도 최적화 (Listwise Preference Optimization)

스칼라 판단을 독립적인 레이블로 취급하거나 이진 클래스로 축소하는 대신, 저자들은 리스트와이즈 선호도 최적화 프레임워크를 사용합니다.

• 목표: 모델이 단일 이미지와 관련된 전체 시나리오 세트에 대한 인간의 선호 순위를 재현하도록 훈련합니다.
• 손실 함수: 저자들은 ListMLE(Listwise Maximum Likelihood Estimation) 손실을 활용합니다. 이는 모델이 스칼라 점수를 할당할 때, 그 결과로 나타나는 순위가 인간 등급의 실제 순열(ground-truth permutation)과 일치하도록 유도합니다.
• 아키텍처: 이 프레임워크는 사전 훈련된 VLM(예: LLaVA-OneVision, Qwen2-VL, Phi-3-Vision, InstructBLIP) 위에 스칼라 회귀 헤드를 미세 조정합니다.

주요 기여

1. MM–SCALE 데이터셋: 이진 또는 쌍체 비교 벤치마크와 구별되는, 스칼라(1–5) 등급과 명시적인 양상 접지 주석을 특징으로 하는 32,212개의 다중 모달 도덕 시나리오를 담은 새로운 데이터셋입니다.
2. 리스트와이즈 정렬 분석: 스칼라 감독이 쌍체 비교를 넘어 VLM을 인간의 도덕적 선호에 어떻게 더 잘 정렬시키는지 보여주는 분석을 통해, 단순한 이진 비교 이상의 가치를 입증했습니다.
3. MORALE 인터페이스: 불일치 데이터를 대규모로 수집할 수 있도록 설계된 오픈 소스 웹 인터페이스로, 모델 인 더 루프 피드백을 통해 인간 중심의 정렬과 데이터셋 확장을 용이하게 합니다.

실험 결과

저자들은 MM–SCALE로 미세 조정된 VLM을 이진 선호(BPO) 및 이진 분류(BCE) 목적 함수로 훈련된 모델들과 비교 평가했습니다.

• 순위 충실도(Ranking Fidelity): 리스트와이즈 스칼라 감독으로 훈련된 모델은 NDCG@5(최대 0.89) 및 **평균 역순위(MRR)**를 포함한 순위 지표에서 일관되게 가장 높은 성능을 보였으며, 이진 및 쌍체 베이스라인을 능가했습니다. 이는 전체적인 서수 구조(ordinal structure)를 학습하는 것이 더 나은 전역적 도덕 순위를 제공함을 나타냅니다.
• 안전성 캘리브레이션(Safety Calibration): 이진 훈련 모델은 "Unsafe Rate"(임계값 기반 목적 함수에 유리한 이진 지표)에서 약간 낮은 수치를 보였으나, AUC-Safety가 더 낮고 캘리브레이션이 덜 안정적이었습니다. 반면 리스트와이즈 모델은 더 매끄럽고 변별력 있는 스칼라 예측을 생성하여, 경쟁력 있는 안전율을 유지하면서도 우수한 임계값 없는 위험 추정 능력을 제공했습니다.
• 양상 접지: 경험적 분석 결과, 인간의 도덕적 판단 중 **68%**가 텍스트 전용 레이블과 비교했을 때 이미지를 본 후 변화하는 것으로 나타났습니다. 또한, 이러한 판단 변화의 78%가 이미지 또는 이미지와 텍스트의 결합에 근거하고 있음이 밝혀져, 다중 모달 접지의 필요성을 확인했습니다.
• 인간 일관성: 리스트와이즈 감독 모델은 쌍체(0.60) 및 이진(0.55) 방식에 비해 인간의 합의(Kendall's $\tau$ = 0.68)와 가장 강력한 일치도를 보였습니다.

의의 및 주장

본 논문은 이진 스칼라 감독에서 스칼라 리스트와이즈 감독과 명시적 양상 접지로 전환함으로써 MM–SCALE가 다중 모달 안전 정렬의 핵심적인 격차를 해결한다고 주장합니다.

• 이진법을 넘어서는 미묘함: 저자들은 도덕적 정렬이 단순히 행동 자체뿐만 아니라 그 행동이 전개되는 맥락에 관한 것이라고 주장합니다. 스칼라 등급은 이진 레이블이 놓치기 쉬운 미세한 수용성과 모호하고 부분적으로 수용 가능한 행동을 포착합니다.
• 맥락적 민감도: 이 데이터셋은 시각적 맥락이 도덕적 해석을 빈번하게 재구성하며, 이미지가 텍스트와 상충하거나 이를 강화할 때 판단의 상당한 변화가 발생함을 보여줍니다.
• 안정성: 본 연구는 스칼라 리스트와이즈 감독이 양상 간에 더 일관된 도덕적 순위를 생성하고 합성 및 실제 이미지 모두에서 안정성을 유지함을 강조하며, 이는 감독의 세밀함(granularity)이 도덕적 정렬을 개선하는 핵심임을 시사합니다.

저자들은 MM–SCALE을 특히 언어와 시각을 통한 상황적 모호성 해결이 필요한 과업을 위한, 사회적으로 정렬된 다중 모달 모델의 토대로 포지셔닝합니다. 저자들은 주석 작성자의 문화적 다양성(주로 미국/영국 중심)과 양상 귀속(텍스트/이미지/둘 다)의 거친 특성을 한계점으로 인정하며, 이를 향후 개선이 필요한 영역으로 제시했습니다.