[기술 요약] CR-VLM: 시각-언어 모델(VLM)을 위한 활성화 스티어링 기반 가변적 거절 메커니즘

1. 문제 정의 (Problem Statement)

현재의 시각-언어 모델(VLM)의 안전 정렬(Safety Alignment)은 '일률적인 거절(One-size-fits-all)' 전략을 사용합니다. 즉, 모델은 특정 유해 질문에 대해 무조건 거절하도록 설계되어 있어, 사용자의 다양한 맥락이나 규제 환경에 따른 맞춤형 대응이 불가능합니다. 이로 인해 다음과 같은 두 가지 주요 문제가 발생합니다.

• 과잉 거절 (Over-refusal): 안전한 질문임에도 불구하고 모델이 무조건 답변을 거절하는 현상.
• 거절 능력 부족 (Under-refusal): 특정 맥락(예: 특정 국가의 법규)에서 거절해야 함에도 답변을 해버리는 현상.

기존의 프롬프트 엔지니어링은 언어적 변동성에 취약하여 우회되기 쉽고, 파인튜닝(Fine-tuning)은 비용이 많이 들며 확장성이 떨어진다는 한계가 있습니다.

2. 제안 방법론 (Methodology: CR-VLM)

본 논문은 모델의 가중치를 직접 수정하지 않고, 추론 시 모델의 내부 상태를 조절하는 활성화 스티어링(Activation Steering) 방식을 사용하여 CR-VLM 프레임워크를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다.

(1) 교사 강제 활성화 추출 (Teacher-Forced Activation Extraction)

기존 방식은 시스템 프롬프트 유무로 거절 벡터를 추출했으나, 정렬이 약한 모델은 프롬프트만으로 거절 반응을 보이지 않아 신호가 약했습니다. CR-VLM은 '교사(Teacher)' 역할을 하는 미리 정의된 거절 문구(예: "Sorry,")를 입력 뒤에 강제로 붙여 모델이 거절 프로세스를 수행하도록 유도합니다. 이를 통해 노이즈가 적고 강력한 **거절 방향 벡터(Refusal Steering Vector)**를 추출합니다.

(2) 게이팅 메커니즘을 통한 과잉 거절 완화 (Mitigation of Over-refusal)

거절 벡터를 무조건 적용하면 안전한 질문까지 거절하게 됩니다. 이를 막기 위해 두 가지 장치를 도입합니다.

• 게이트 손실(Gate Loss): 질문이 허용 범위(In-scope) 내에 있다면 모델의 활성화를 원래 상태로 유지하도록 유도합니다.
• 직교성 규제(Orthogonality Regularizer): '거절을 위한 업데이트 방향'과 '정상 답변을 유지하기 위한 방향'이 서로 직교(Orthogonal)하도록 학습시켜, 두 목적이 충돌하지 않고 분리되도록 합니다.

(3) 반사실적 시각 강화 (Counterfactual Vision Enhancement)

텍스트 스티어링만 강조하면 모델이 시각 정보(Image)를 무시하고 텍스트에만 의존할 위험이 있습니다. 이를 해결하기 위해 시각적 반사실(Counterfactual Vision) 개념을 도입합니다. 즉, "이미지가 거절을 유도해야 하는 상황이라면 시각적 표현이 어떻게 변해야 하는가?"를 기준으로 시각적 활성화 변화를 학습시켜, 모델이 시각적 증거에 기반하여 거절 여부를 결정하도록 만듭니다.

3. 주요 기여 (Key Contributions)

• 최초의 연구: VLM에서 사용자 맞춤형(Configurable) 거절 메커니즘을 체계적으로 연구한 첫 번째 사례입니다.
• 효율성 및 견고성: 모델 전체를 재학습시키지 않고 가벼운 '교정 모델(Calibrated Model)'만을 학습시켜 적용하므로 매우 효율적이며, 다양한 VLM 아키텍처에 범용적으로 적용 가능합니다.
• 멀티모달 정렬: 텍스트뿐만 아니라 시각적 정보가 거절 결정에 핵심적인 역할을 하도록 설계된 통합 프레임워크를 제시했습니다.

4. 실험 결과 (Results)

LLaVA, Idefics3, InstructBLIP 등 다양한 오픈소스 VLM을 대상으로 ScienceQA 및 MMMU 데이터셋에서 실험을 진행했습니다.

• 거절 성능 (EQ1): 프롬프트 기반 방식이나 단순 파인튜닝보다 훨씬 높은 거절률(Refusal Rate)을 기록하며, 허용 범위를 벗어난 질문을 효과적으로 차단했습니다.
• 과잉 거절 억제 (EQ2): Persona 방식이나 파인튜닝이 허용 범위 내 질문에도 답변을 거절하는 것과 달리, CR-VLM은 매우 낮은 과잉 거절률을 유지했습니다.
• 균형 잡힌 성능 (MB-Score): 거절 효율성과 답변 유지 능력 사이의 트레이드오프를 나타내는 MB-Score에서 모든 베이스라인을 압도하는 최적의 균형점을 보여주었습니다.
• 시각적 근거 확인: Ablation study를 통해 제안된 'Vision Loss'가 모델이 시각 정보에 더 집중하게 만들어, 시각적 증거에 기반한 정확한 거절을 가능케 함을 증명했습니다.

5. 의의 (Significance)

본 연구는 VLM의 안전 정렬이 단순히 "나쁜 것을 막는 것"을 넘어, **"사용자의 맥락과 규제에 따라 유연하게 대응하는 것"**으로 진화해야 함을 보여주었습니다. 특히 모델의 내부 활성화를 조절하는 방식은 모델의 지식을 보존하면서도 안전 가이드라인을 실시간으로, 그리고 매우 정교하게 적용할 수 있는 확장 가능한(Scalable) 경로를 제시했다는 점에서 학술적/실무적 가치가 매우 높습니다.