기술 요약: 비전 - 언어 모델의 기계적 망각에 대한 견고성

문제 제기

비전 - 언어 모델 (VLM) 은 실제 응용 분야에서 점점 더 널리 배포되고 있지만, 학습 데이터에서 민감한 정보, 개인 정보, 저작권이 있는 콘텐츠 또는 그 외 유해한 내용을 포함할 수 있는 원치 않는 정보를 암기할 위험이 있습니다. 기계적 망각은 대규모 언어 모델 (LLM) 에 대해 광범위하게 연구되어 왔으나, 이를 VLM 에 적용하는 것은 고유한 도전 과제를 제시합니다. 텍스트 전용 모델과 달리 VLM 은 비전 인코더, 텍스트 인코더, 멀티모달 디코더 등 여러 구성 요소를 통해 얽힌 시각적 및 텍스트 표현을 통해 정보를 저장합니다.

이 논문에서 다루는 핵심 문제는 현재 VLM 망각 방법의 견고성입니다. 기존 평가는 종종 표준 프롬프팅에 의존하여 모델이 잊혀진 개체에 대한 직접적인 쿼리를 억제하는지 여부만 확인합니다. 그러나 기계적 망각이 실제로 멀티모달 지식을 소멸시키는지, 아니면 단순히 숨겨서 대체 쿼리, 문맥적 단서 또는 하류 재학습을 통해 재활성화될 수 있는 잔여 연관성을 남기는지 여부는 여전히 불분명합니다.

방법론

1. 분류 체계 및 검토

저자들은 먼저 기존 VLM 망각 방법의 포괄적인 분류 체계를 수립하여, 망각 과정에서 최적화되거나 수정된 구성 요소를 기준으로 이를 분류합니다:

• 전체 파라미터 파인튜닝: 모든 모델 파라미터 ($\theta_v, \theta_t, \theta_d$) 를 업데이트합니다. 경사 상승법 (GA), 경사 하강법 (GD), 부정적 선호도 최적화 (NPO) 와 같은 LLM 기법의 적응과 시각 - 텍스트 정렬을 고려한 VLM 전용 확장 방법을 포함합니다.
• 비전 인코더 파인튜닝: 텍스트 및 퓨전 모듈은 고정된 채 비전 인코더 ($\theta_v$) 에만 업데이트를 제한합니다. 이는 원치 않는 시각적 연관성의 근원을 직접 대상으로 합니다.
• 선택적 파라미터 파인튜닝: 대상 지식에 필수적인 것으로 식별된 파라미터의 부분 집합만 업데이트하여 효율성과 효과성 사이의 균형을 목표로 합니다.
• 추론 시 개입: 파라미터를 업데이트하지 않고 추론 중 입력이나 숨겨진 활성화를 수정합니다 (예: 특징 마스킹, 활성화 조종). 참고: 이 범주는 제안된 공격을 위해 재학습이 필요하다는 이유로 견고성 실험에서 제외되었습니다.

2. 견고성 평가 프레임워크

지식이 실제로 소멸되었는지 아니면 단순히 억제되었는지 판단하기 위해, 이 논문은 잊혀진 멀티모달 지식을 재활성화하도록 설계된 세 가지 공격 패러다임을 제안합니다:

• 맥락 내 공격 (In-Context Attack): 추론 시 명시적이지 않지만 의미상 관련된 문맥적 단서 (예: 이름을 언급하지 않고 사람의 직업을 설명하는 것) 를 쿼리에 추가합니다. 이는 파라미터 업데이트 없이 잠재적 멀티모달 연관성이 재활성화될 수 있는지 테스트합니다.
• 분포 내 공격 (In-Distribution Attack): 망각된 모델을 원래 잊힘 분포에서 샘플링된 소량의 데이터로 파인튜닝합니다. 감독 레이블은 원래 사전 학습된 모델에 의해 생성됩니다. 이는 원본 데이터에 접근하여 지식을 복원하려는 적대자를 시뮬레이션합니다.
• 분포 외 공격 (Out-of-Distribution Attack): 망각된 모델을 의미상 다르지만 관련 있는 데이터셋 (예: 특정 얼굴 신원 대신 PACS 의 일반 이미지) 으로 재학습합니다. 이는 잔여 표현이 분포 전이를 통해 재활성화될 수 있는지 테스트합니다.

3. 실험 설정

• 모델: Qwen2.5-VL-3B-Instruct.
• 데이터셋: VGGFace2, 잊힘 세트 (3 명의 유명인 신원) 와 유지 세트 (7 개의 신원) 로 분할.
• 베이스라인: 세 가지 활성 카테고리 (전체 파라미터, 비전 인코더, 선택적 파인튜닝) 에서 다양한 방법.
• 지표: 망각 점수 ($1 - \text{Accuracy}_{\text{forget}}$), 유지 점수 ($\text{Accuracy}_{\text{retain}}$), 그리고 일반 유틸리티 (MMStar, OCRBench, MMMU, RealWorldQA 성능). 평가는 원본, 재구성, 그리고 판별 프롬프트 설정 하에 수행되었습니다.

주요 결과

초기 성능 대 견고성

• 트레이드오프: 전체 파라미터 방법은 원본 프롬프트에서 높은 망각 점수를 달성했으나, 유지 및 일반 유틸리티에서 심각한 저하를 겪었으며 종종 파국적 망각을 보였습니다.
• 판별 프롬프트: 생성적 쿼리 하에서 성공적으로 보였던 많은 방법들이 판별적 인식 (예: "이 사람이 X 입니까?") 을 억제하지 못해, 근본적인 시각적 연관성이 여전히 intact 함을 시사했습니다.
• 비전 인코더의 장점: 비전 인코더에 초점을 맞춘 방법들 (예: HFRU, HFRU-SFT) 은 더 균형 잡힌 성능을 보여주었으며, 프롬프트 유형 전반에 걸쳐 높은 망각 및 유지 점수를 유지했습니다.

공격에 대한 취약성

• 맥락 내 공격: 문맥적 단서가 대부분의 패러다임에서 잊혀진 지식을 성공적으로 재활성화했습니다. 예를 들어, RMU, SatImp, WGA 와 같은 방법들은 문맥적 설명이 제공되었을 때 망각 성능에서 눈에 띄는 저하를 보였으며, 이는 직접적인 검색을 억제하기보다는 연관성을 제거하지 않았음을 나타냅니다.
• 분포 내 공격: 원래 잊힘 데이터의 1% 만으로 재학습하는 것만으로도 많은 방법에서 잊혀진 지식이 빠르게 회복되었습니다 (예: SLUG 의 망각 효과는 80% 이상 감소). 이는 많은 망각 과정이 근본적인 표현 제거가 아닌 얕은 억제를 수행함을 시사합니다. Mmunlearner 는 가장 높은 견고성을 보였으며, 성능을 현저히 저하시키려면 50-75% 의 재학습 데이터가 필요했습니다.
• 분포 외 공격: InD 공격과 반대로, OOD 재학습은 잊혀진 지식을 복원하지 않았으며, 오히려 모든 방법에서 일관되게 유지 성능을 해쳤습니다. 이는 잔여 표현이 존재하지만 관련 없는 데이터 분포로는 쉽게 재활성화되지 않음을 나타냅니다.

주요 기여

1. 체계적 분류 체계: 이 논문은 최적화 전략을 기반으로 한 VLM 망각 방법의 첫 번째 포괄적인 분류 및 검토를 제공합니다.
2. 통합 평가: 여러 프롬프트 설정 (원본, 재구성, 판별) 하에서 이러한 방법들을 철저히 평가하여 표준 평가의 불일치를 드러냈습니다.
3. 견고성 분석: 이 연구는 세 가지 공격 패러다임 (맥락 내, 분포 내, 분포 외) 을 통해 VLM 망각의 견고성을 체계적으로 조사한 첫 번째 연구를 소개합니다.
4. 실증적 발견: 광범위한 실험을 통해 현재 접근 방식이 대상 지식을 완전히 제거하기보다는 숨기는 경우가 많음을 입증하여, 더 신뢰할 수 있는 멀티모달 망각 전략의 필요성을 강조했습니다.

중요성 및 주장

이 논문은 현재 VLM 망각의 상태가 원치 않는 정보를 영구적으로 제거하는 데 불충분하다고 주장합니다. 저자들은 표준 프롬프트 조건 하에서만 망각을 평가하는 것은 지식 제거의 정도를 과대평가한다고 논증합니다. 잊혀진 지식이 문맥적 프롬프팅이나 원본 데이터 분포에 대한 최소한의 재학습을 통해 쉽게 재활성화될 수 있음을 입증함으로써, 이 연구는 "억제"와 "소멸" 사이의 중요한 간극을 강조합니다.

이 연구는 일부 방법 (특히 비전 인코더를 대상으로 하는 방법) 이 유망한 모습을 보이지만, 멀티모달 연관성을 보장하는 견고한 전략이 부재하다고 결론지었습니다. 저자들은 민감하거나 원치 않는 정보가 모델의 잠재 공간에서 진정으로 제거되도록 이러한 재활성화 공격에 견딜 수 있는 망각 기술을 개발하기 위한 향후 연구의 필요성을 강조합니다.

참고: 이 논문은 일관성을 위해 구현 세부 사항을 단순화할 수 있는 통합 평가 프로토콜의 사용과, 맥락 내 공격을 위한 문맥적 프롬프트의 수동 구성을 포함하여 제한 사항을 명시적으로 밝히고 있으며, 향후 작업에서 더 자동화된 전략의 가능성을 시사합니다.