Dictionary-Aligned Concept Control for Safeguarding Multimodal LLMs

1. 문제 정의 (Problem)

멀티모달 대형 언어 모델 (MLLMs) 은 강력한 시각 - 언어 능력을 갖추고 있지만, 악성 쿼리 (텍스트 기반의 재일크 또는 이미지 기반의 공격) 에 의해 안전하지 않은 응답을 생성할 수 있는 취약점이 있습니다. 기존 안전성 강화 기법들은 다음과 같은 한계를 가지고 있습니다:

• 프롬프트 엔지니어링 및 응답 필터링: 지시 사항이 불완전하여 방어에 실패하거나, 반복적인 쿼리 재시도로 인한 계산 비용이 발생합니다.
• 파인튜닝 (Finetuning): 새로운 작업이나 위협 패턴에 대응하기 위해 매번 비용이 많이 드는 재학습이 필요합니다.
• 기존 활성화 조향 (Activation Steering) 방법:
  • 제한된 개념 범위: 기존 방법들은 안전 관련 개념이 매우 적게 (보통 20 개 미만) 정의되어 있어 활성화 공간의 기하학적 구조를 충분히 활용하지 못합니다.
  • 조절의 어려움: 해로운 개념을 억제하는 강도를 조절하기 어렵습니다. 너무 약하면 안전 목표 달성 실패, 너무 강하면 모델의 일반적 유용성 (Utility) 이 손상됩니다.
  • 의미론적 부재 (Semantic Grounding): 희소 오토인코더 (SAE) 기반 방법들은 학습된 특징 (atoms) 의 의미를 수동으로 해석하거나 비용이 많이 드는 프로빙 (probing) 을 필요로 합니다.

2. 방법론 (Methodology)

저자들은 **사전 정렬 개념 제어 (Dictionary-Aligned Concept Control, DACO)**라는 새로운 프레임워크를 제안합니다. 이는 커스터마이징된 개념 사전과 희소 오토인코더 (SAE) 를 결합하여 MLLM 의 활성화 (activation) 를 세밀하게 제어합니다.

2.1. DACO-400K 데이터셋 및 개념 사전 구축 (§3.1)

• 개념 추출: WordNet 에서 약 15,000 개의 고유한 개념 (lemma) 을 추출합니다.
• 자극 (Stimuli) 수집: CC-3M 데이터셋에서 각 개념에 해당하는 400,000 개 이상의 캡션 - 이미지 쌍을 검색합니다. CLIP 을 활용하여 텍스트 - 텍스트 및 텍스트 - 이미지 간의 유사도를 계산하고, 기하학적 집계 (geometric aggregation) 방식을 사용하여 개념과 자극 간의 관련성을 정량화합니다.
• 개념 벡터 생성: 양의 자극 (해당 개념을 잘 나타내는 데이터) 과 음의 자극 (해당 개념과 무관한 데이터) 에 대한 MLLM 의 활성화 차이를 계산하여 각 개념에 대한 벡터 (concept vector) 를 생성합니다.
• 레이블링: 강력한 전문가 MLLM 을 사용하여 각 개념을 '원하는 (Desirable)' 또는 '원하지 않는 (Undesirable)' 범주로 분류합니다.

2.2. 커스터마이징된 사전 기반 개념 제어 (§3.2)

• 희소 코딩 (Sparse Coding): MLLM 의 활성화 벡터를 구축된 개념 사전의 선형 결합으로 분해합니다 (Elastic Net 솔버 사용).
• 사선 투영 (Oblique Projection): 원하지 않는 개념에 해당하는 계수를 제거하여 활성화 벡터를 수정합니다. 이는 학습 없이 (training-free) 작동하는 초기 제어 방식입니다.

2.3. 학습된 사전 기반 개념 제어 및 SAE (§3.3)

• SAE 초기화: 희소 오토인코더 (SAE) 의 디코더 가중치를 구축된 개념 사전 벡터로 초기화합니다. 이는 무작위 초기화보다 더 효과적이고 해석 가능한 특징을 학습하도록 돕습니다.
• 자동 주석 (Automatic Annotation): 학습된 SAE 의 각 원자 (atom) 가 사전의 어떤 개념에 가장 가까운지 계산하여, 해당 개념의 안전성 라벨 (원하는/원하지 않는) 을 자동으로 할당합니다.
• 조성적 조향 (Compositional Steering): 추론 시, SAE 를 통해 활성화의 희소 계수를 계산한 후, 원하지 않는 원자의 계수를 0 으로 만들고 (제거), 원하는 원자의 계수를 증폭시킵니다 (강화).

3. 주요 기여 (Key Contributions)

1. 대규모 멀티모달 개념 사전 (DACO-400K): 15,000 개의 개념과 400,000 개의 멀티모달 자극으로 구성된 대규모 데이터셋을 구축하고, 이를 MLLM 의 활성화 공간에 매핑했습니다.
2. 희소 코딩을 통한 정밀 제어: 커스터마이징된 사전과 희소 코딩을 결합하여 해로운 개념을 제거하고 원하는 개념을 유지하는 정밀한 제어 메커니즘을 제안했습니다.
3. SAE 학습 및 자동 주석: 개념 사전으로 SAE 를 초기화하고, 사전의 의미론적 정보를 활용하여 SAE 의 원자들을 자동으로 주석하는 방법을 제안했습니다. 이는 SAE 의 해석 가능성과 제어 효율성을 크게 향상시켰습니다.
4. 광범위한 검증: QwenVL, LLaVA, InternVL 등 다양한 MLLM 과 MM-SafetyBench, JailBreakV 등 다양한 벤치마크에서 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 안전성 향상: DACO 는 MM-SafetyBench 와 JailBreakV-28K 벤치마크에서 기존 방법들 (프롬프팅, ActAdd, MOP 등) 보다 압도적으로 높은 안전성 점수를 기록했습니다. 예를 들어, Qwen2.5-VL-7B 에서 MM-SafetyBench 안전성 점수는 0.990 (기존 최고 0.840 대비) 으로 크게 향상되었습니다.
• 유용성 (Utility) 보존: 안전성을 높임에도 불구하고 모델의 일반적 능력 (유창성, PPL, MMMU 점수) 은 거의 유지되었습니다. 특히 ActAdd 나 MOP 보다 낮은 PPL 과 높은 유창성을 보여주었습니다.
• 과도한 거부 (Over-Refusal) 감소: MOSSBench 벤치마크에서 DACO 는 benign(선의의) 쿼리에 대한 과도한 거부를 최소화하여, 모델이 유용한 정보를 제공하는 능력을 유지했습니다.
• 계산 효율성: 추론 시 토큰당 추가 소요 시간은 약 14.62% 로, MOP 방식보다 효율적이며 안전성과 유용성 간의 균형을 잘 맞췄습니다.
• SAE 성능: 개념 사전으로 초기화된 SAE 는 무작위 초기화 SAE 보다 더 높은 분산 설명 비율 (FVE) 과 방향 정렬 (DA) 을 보이며, 더 빠르고 안정적인 수렴을 달성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 MLLM 의 안전성을 강화하기 위해 해석 가능한 개념 수준 (concept-level) 의 제어를 가능하게 하는 중요한 진전을 이룩했습니다.

• 해석 가능성: DACO 는 모델이 어떤 개념을 억제하거나 강화하는지 명확하게 보여줌으로써, 안전성 조정이 블랙박스처럼 작동하지 않음을 입증했습니다.
• 유연성과 확장성: 파인튜닝 없이도 추론 시 실시간으로 안전성을 조절할 수 있으며, 새로운 도메인이나 위협 패턴에 대해 개념 사전만 확장하면 쉽게 적용 가능합니다.
• 실용성: 계산 오버헤드가 상대적으로 낮고, 모델의 일반적 성능을 해치지 않으면서 강력한 안전 장벽을 구축할 수 있어 실제 배포 환경에 적용하기 유리합니다.

결론적으로, DACO 는 멀티모달 모델의 안전성 문제를 해결하기 위해 데이터 기반의 대규모 개념 사전과 SAE 기반의 해석 가능한 제어를 결합한 새로운 패러다임을 제시합니다.