기술 요약: 비전-언어 모델을 위한 객체 환각 없는 강화 학습 기반 망각

문제 정의

비전-언어 모델 (VLM) 은 개인정보, 저작권, 편향과 관련하여 중대한 위험을 초래하므로, 특정 민감한 지식을 제거하기 위한 기계적 망각 (machine unlearning) 이 필요합니다. 그러나 기존 망각 방법들은 주로 언어 디코더의 미세 조정 (fine-tuning) 에 의존합니다. 저자들은 이 접근법의 결정적 한계를 지적합니다: 이는 피상적인 망각으로 이어진다는 점입니다. 모델이 개방형 텍스트에서 특정 키워드의 생성을 억제할 수는 있지만, 비전 인코더 내에 대상 개념의 근본적인 시각적 표현은 유지됩니다. 결과적으로 모델은 "이 사람이 X 입니까?"와 같은 판별적 프롬프트를 받았을 때 잊혀진 개념을 여전히 인식하거나 추론할 수 있습니다.

또한, 이 논문은 이전에 간과되었던 실패 모드인 **객체 환각 (object hallucination)**을 강조합니다. 모델이 의미적 대체 수단이 없이 개념을 억압하도록 강요받을 때, 시각적 입력에 근거하지 않은 무관한 객체들로 확률 질량을 임의로 재분배할 수 있습니다. 논문은 객체 환각 없는 VLM 망각의 목표를 공식적으로 정의하며, 이는 다음을 요구합니다:

1. 효과적인 망각: 생성 및 판별 작업 전반에 걸쳐 대상 개념의 영향을 제거합니다.
2. 유용성 보존: 비대상 (보존) 데이터 및 일반 벤치마크에서의 성능을 유지합니다.
3. 환각 없는 생성: 모델이 대상 개념을 식별하지 못할 때, 무관한 객체의 존재를 확신 있게 주장하지 않도록 보장합니다. 대신 불확실성을 표현하거나 의미적으로 유효한 상위개념 (예: 특정 "개"나 무작위 "고양이" 대신 "동물") 을 사용해야 합니다.

방법론: HFRU 프레임워크

저자들은 HFRU(Hallucination-Free Reinforcement Unlearning, 환각 없는 강화 학습 기반 망각) 를 제안합니다. 이는 언어 디코더가 아닌 비전 인코더에서 직접 작동하는 2 단계 프레임워크로, 표현 수준에서의 깊은 의미적 제거를 보장합니다.

1 단계: 콜드 스타트 정렬 교란

첫 번째 단계는 망각 세트 (forget set) 의 시각적 특징과 원래 의미 레이블 간의 정렬을 교란시키기 위해 지도 미세 조정 (SFT) 을 사용합니다.

• 과정: 모델은 망각 세트의 이미지에 대한 캡션을 생성합니다. 대상 개념과 관련된 키워드는 보존 세트 (retain set) 의 토큰으로 무작위 교체됩니다 (예: "개"를 "토끼"로 교체).
• 목표: 비전 인코더는 수정된 불일치 텍스트와 시각적 입력을 연관하도록 훈련됩니다. 이는 모델이 대상 개념에 의존하는 것을 약화시키고, 원래 연관성이 크게 교란된 상태에서 인코더를 초기화합니다.

2 단계: 인코더 전용 강화 학습 기반 망각

두 번째 단계는 언어 디코더를 고정된 상태로 유지하면서 비전 인코더 매개변수를 정제하기 위해 **그룹 상대 정책 최적화 (GRPO)**를 활용합니다.

• 복합 보상 구조: 핵심 혁신은 대상 개념을 패널티 부과하면서도 의미적으로 유효한 추상화를 장려하도록 설계된 보상 함수입니다.
  • 패널티 보상 ($R_{pen}$): 대상 키워드 및 그 동의어 생성에 패널티를 부과합니다.
  • 추상화 보상 ($R_{abs}$): 무관한 객체 대신 상위개념 (hypernyms) (예: "개" 대신 "동물") 생성을 보상합니다. 이는 "안전한 의미적 대체 수단"으로 작용하여, 모델이 잊혀진 개념을 유효한 상위 범주로 대체하도록 유도합니다.
  • 보존 보상 ($R_{retain}$): 모델이 비대상 개념에 대한 지식을 유지하도록 보장합니다.
• 최적화: GRPO 는 샘플링된 응답 그룹 내에서 상대적 이점을 계산하여 훈련을 안정화합니다. 목적 함수는 망각 세트 (대상 패널티, 상위개념 보상) 와 보존 세트 (보존 보상) 에 대한 보상을 최대화하여 잠재 표현 공간을 효과적으로 재구성합니다.

이론적 보장

이 논문은 추상화 보상 ($R_{abs}$) 의 포함이 패널티 전용 보상을 사용할 때보다 기대 환각률을 체계적으로 감소시킨다는 이론적 증명 (Lemma 1) 을 제공합니다. 대상 개념에서 제거된 확률 질량에 대한 유효한 의미 경로 (상위개념) 를 제공함으로써, 모델은 근거 없는 환각된 객체를 생성할 가능성이 줄어듭니다.

주요 기여

1. 문제 정의: 저자들은 개념 제거가 근거 없는 콘텐츠 생성을 유발하는 실패 모드를 해결하는 객체 환각 없는 VLM 망각이라는 새로운 문제를 공식적으로 정의했습니다.
2. HFRU 프레임워크: 비전 인코더를 대상으로 하는 2 단계 프레임워크를 제안했습니다. 이는 피상적인 어휘 필터링이 아닌 깊은 의미적 제거를 보장합니다. 이론적으로 이 메커니즘은 망각 세트에서의 환각을 감소시킵니다.
3. 새로운 시각화: 저자들은 매핑 네트워크와 확산 기반 IP-Adapter 를 사용하여 숨겨진 상태로부터 내부 지각을 재구성하는 방법을 개발하여, 망각 과정에서 시각적 특징이 어떻게 변화하는지 직접 관찰할 수 있게 했습니다.
4. 종합 평가: 객체 인식 (PACS) 및 얼굴 신원 (VGGFace2) 작업에 대한 광범위한 실험을 통해 프레임워크의 유효성을 입증했습니다.

실험 결과

저자들은 PACS 및 VGGFace2 데이터셋에서 HFRU 를 평가하였으며, Gradient Ascent (GA), Gradient Difference (GD), NPO, RMU, SAUCE, SLUG 등을 포함한 베이스라인과 비교했습니다.

• 망각 및 보존: HFRU 는 다양한 프롬프트 형식 (Original, Paraphrased, Discriminative) 에서 평균 망각률과 보존 성능이 **98%**를 초과했습니다.
• 환각 완화: 망각과 환각 사이의 트레이드오프를 보이는 베이스라인들 (예: SAUCE 는 높은 망각률을 보였으나 VGGFace2 에서 20.67% 의 환각률을 기록함) 과 달리, HFRU 는 무시할 수 있는 수준의 객체 환각 (PACS 에서 0.25%, VGGFace2 에서 1.34%) 을 보였습니다.
• 일반 유용성: HFRU 는 기본 모델과 비교할 수 있는 일반적인 비전 - 언어 능력을 유지한 반면, 많은 베이스라인들은 일반 벤치마크 (MMStar, OCRBench, MMMU, RealWorldQA) 에서 심각한 성능 저하를 겪었습니다.
• 애블레이션 연구: 추상화 보상을 제거하면 환각이 급증 (VGGFace2 에서 최대 99.67%) 하여 그 결정적 역할을 확인했습니다. 비전 인코더에 대한 업데이트만 제한하는 것이 전체 매개변수 미세 조정보다 우월한 것으로 나타났으며, 후자는 종종 피상적인 토큰 수준 억제로 이어졌습니다.

중요성 및 주장

이 논문은 HFRU 가 효과적인 개념 제거와 환각 예방이라는 이중 과제를 해결함으로써 VLM 망각의 새로운 최첨단 (state-of-the-art) 을 확립한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 초점의 전환: 진정한 의미적 소거를 달성하기 위해 망각을 언어 디코더에서 비전 인코더로 이동시킵니다.
• 안전성 및 신뢰성: 특정 데이터를 잊도록 강요받을 때 모델이 새로운, 잠재적으로 유해하거나 잘못된 사실을 "환각"하지 않도록 방지하는 메커니즘을 제공합니다.
• 견고성: 이 방법이 훈련 분포에 과적합되지 않고 분포 외 (OOD) 설정 (예: PACS 의 Sketch 도메인) 으로 일반화됨을 입증했습니다.

저자들은 그들의 작업이 신뢰할 수 있는 멀티모달 망각을 위해 인코더 수준의 개입과 구조화된 보상 설계의 필요성을 강조하며, 더 안전하고 신뢰할 수 있는 AI 시스템을 위한 실용적인 접근법을 제공한다고 결론지었습니다.