기술 요약: CoVUBench – 대형 시각 - 언어 모델 (LVLM) 의 다중 모달 저작권 망각 벤치마킹

문제 제기

웹 규모의 코퍼스로 훈련된 대형 시각 - 언어 모델 (LVLM) 은 본질적으로 캐릭터와 로고와 같은 저작권이 있는 시각적 콘텐츠를 텍스트 설명과 함께 암기하고 재생성할 위험을 내포합니다. 기계적 망각 (machine unlearning) 은 훈련 후 특정 데이터를 제거하는 경로를 제공하지만, 다중 모달 환경에서의 그 효과를 평가하는 것은 여전히 해결되지 않은 문제입니다. 기존 평가 프레임워크는 주로 텍스트 중심 (예: TOFU, MUSE) 이며, 시각적 및 언어적 공간에 공동으로 내재된 개념을 지우는 복잡성을 다루지 못합니다. 현재 방법론은 시각적 인식과 관련된 사실적 지식 간의 교차 모달 연결이 실제로 끊어졌는지 평가하는 데 견고성이 부족하며, 피상적인 거부 전략과 진정한 개념 지우기를 구별하지 못하는 경우가 많습니다. 더 나아가, 강력한 제거를 요구하는 저작권 보유자와 일반 유용성 보존이 필요한 모델 배포자의 상충되는 요구를 동시에 충족시키는 표준화된 벤치마크가 심각하게 부족합니다.

방법론

이러한 격차를 해결하기 위해 저자들은 LVLM 에서의 저작권 망각을 안전하고 현실적으로 평가하기 위해 설계된 CoVUBench(저작권 시각 - 언어 망각 벤치마크) 라는 프레임워크를 소개합니다.

1. 데이터셋 구축

법적 및 윤리적 위험을 수반하는 실제 세계 지식재산 (IP) 대신, CoVUBench 는 합법적으로 안전한 합성 저작권 콘텐츠를 생성하기 위해 절차적 생성 파이프라인을 활용합니다.

• 페르소나 청사진 (Persona Blueprints): 파이프라인은 성격, 능력 등 특정 의미 속성과 시각적 설명을 가진 고유한 허구 캐릭터와 로고를 정의하는 구조화된 JSON "페르소나 청사진"을 생성합니다.
• 합성 콘텐츠 생성: 이러한 청사진을 사용하여 시스템은 다양한 이미지 코퍼스를 생성합니다. 여기에는 특정 훈련 인스턴스 너머의 망각 일반화를 테스트하기 위한 구성적 변형(다른 배경, 장면, 시점) 과 도메인 표현(예: 3D 액션 피규어 또는 티셔츠 프린트로 등장하는 캐릭터) 이 포함됩니다.
• 시각적 질문 응답 (VQA): 데이터셋은 20 개의 고유한 개념과 관련된 2,420 개의 VQA 쌍을 포함합니다. 이러한 쌍은 다음과 같이 분류됩니다.
  • 단일 모달 질문: 사실적 회상을 테스트하는 텍스트 전용 쿼리 (예: "[캐릭터] 의 주요 능력은 무엇인가?").
  • 다중 모달 질문: 사실적 지식과 연결된 시각적 인식을 요구하는 이미지 기반 쿼리 (예: "이 이미지의 캐릭터의 능력은 무엇인가?").
• 검증: 엄격한 필터링 프로세스는 생성된 속성을 상표 데이터베이스 (WIPO) 와 교차 참조하고 기존 보호 작품과의 중복이 없도록 역이미지 검색을 사용합니다.

2. 평가 프로토콜

벤치마크는 두 단계 파이프라인을 사용합니다:

1. 파인튜닝 (암기): 합성 저작권 개념을 포함하는 훈련 세트 ($D_{train}$) 로 기본 LVLM 을 파인튜닝합니다.
2. 망각: 제거를 위해 하위 집합 ($D_{forget}$) 을 지정하고, 나머지 ($D_{retain}$) 는 보존합니다. 다양한 망각 알고리즘을 파인튜닝된 모델에 적용합니다.

3. 이해관계자 중심 지표

평가 성능은 두 가지 다른 관점을 다루는 여섯 가지 지표를 통해 정량화됩니다:

• 저작권 보유자의 관점 (망각 효율성):
  • 효율성: 망각 세트의 키워드에 대한 정확 일치 (EM) 점수의 감소량을 측정합니다 ($1 - EM(D_{forget})$).
  • 일반성: 새로운 시각/텍스트 변형을 가진 홀드아웃 테스트 세트 ($D_{test}$) 에서의 EM 점수 감소량을 측정합니다 ($1 - EM(D_{test})$).
  • 발산: 근접 중복을 감지하기 위해 정답과 예측 답변 간의 의미적 비유사성 (임베딩의 코사인 유사도) 을 측정합니다.
• 모델 배포자의 관점 (유용성 보존):
  • 유창성: 보존 세트 ($D_{retain}'$) 에 대한 ROUGE-L 재현율입니다.
  • 구체성: 블랙리스트에 등재되지 않은 콘텐츠에 대한 보존 세트의 정확 일치 점수입니다.
  • 능력: 핵심 다중 모달 추론이 intact 하게 유지되는지 확인하기 위한 외부 범용 벤치마크 (POPE, MMBench) 의 정확도입니다.

4. 베이스라인

본 연구는 다섯 가지 대표적인 망각 알고리즘을 평가합니다:

• 경사 상승 (Gradient Ascent, GA): 망각 세트에서 손실을 최대화합니다.
• 경사 차이 (Gradient Difference, GD): 망각 세트에서의 손실 최대화와 보존 세트에서의 손실 최소화를 균형 있게 조정합니다.
• KL 발산 정규화 (KL Divergence Regularization, KL): 보존 세트에서 망각된 모델과 원본 모델 간의 KL 발산을 최소화합니다.
• 직접 선호도 최적화 (Direct Preference Optimization, DPO): 모델이 원래 답변보다 거부 응답을 선호하도록 훈련합니다.
• 부정 선호도 최적화 (Negative Preference Optimization, NPO): 망각 세트를 부정 선호도 데이터로 간주하여 원래 답변의 가능성을 줄입니다.

주요 결과

LLaVA-Phi-3B 및 LLaVA-1.5-7B 모델에서 실험이 수행되었습니다. 결과는 망각 효율성과 유용성 보존 간의 극명한 트레이드오프를 보여줍니다:

• 방법론의 양극화:
  • 경사 기반 방법 (GA, KL): 높은 망각 효율성 (개념의 강력한 지우기) 을 달성했지만 모델 유용성에 치명적인 하락을 초래했습니다 (유창성과 구체성이 급락했으며, 특히 7B 모델에서 두드러졌습니다).
  • 선호도 기반 방법 (DPO, NPO) 및 GD: 모델 유용성 (높은 유창성과 구체성) 을 성공적으로 보존했지만 개념을 효과적으로 지우지 못해 효율성과 일반성에서 거의 0 점에 가까운 점수를 기록했습니다. 높은 발산 점수는 진정한 망각이 아닌 피상적인 거부 전략을 학습했음을 시사합니다.
• 모달 간격: 단일 모달 (텍스트 전용) 과 다중 모달 (시각 포함) 쿼리 간에 상당한 성능 격차가 관찰되었습니다. 텍스트 전용 쿼리에서는 효과적으로 보였던 방법론들이 이미지로 테스트되었을 때 시각 - 지식 연결을 끊지 못해, 현재 방법론들이 진정한 교차 모달 개념 지우기에 어려움을 겪고 있음을 나타냅니다.
• 망각 비율의 영향: 망각 비율 증가 (5% 에서 20% 로) 는 트레이드오프를 악화시켰습니다. 경사 기반 방법은 "치명적인 과도한 망각"을 보이며 도메인 내 능력을 파괴한 반면, 유용성 보존 방법은 비율과 관계없이 지우기에서 비효율적이었습니다.
• 도메인 민감성: NPO 는 로고보다 캐릭터에서 더 높은 효율성을 보였는데, 이는 캐릭터와 관련된 복잡한 텍스트적 "로어 (lore)" 때문으로 보이나, 이는 유창성에 더 높은 비용을 수반했습니다.

중요성과 주장

본 논문은 CoVUBench 가 LVLM 에서의 저작권 망각을 평가하는 최초의 전용 벤치마크라고 주장합니다. 그 주요 중요성은 다음과 같습니다:

1. 표준화: 다양한 시각적 표현과 교차 모달 연관성에 걸쳐 망각 일반화를 평가하기 위한 엄격하고 법적으로 안전한 프레임워크 제공.
2. 이해관계자 균형: 저작권 보유자의 제거 필요성과 배포자의 유용성 필요성 간의 긴장을 명시적으로 정량화하는 이중 관점 평가 프로토콜 도입.
3. 경험적 통찰: 현재 망각 알고리즘이 다중 모달 저작권 도메인에 근본적으로 부적합함을 입증. 기존 방법론은 지우기를 달성하기 위해 모델 유용성을 파괴하거나 유용성을 보존하기 위해 개념 지우기에 실패하며, 중요한 점은 텍스트적 연관성이 제거되더라도 근본적인 시각 - 지식 연결을 끊는 데 어려움을 겪는다는 점입니다.

저자들은 현재 텍스트 중심 접근법이 LVLM 의 복잡하고 교차 모달적인 저작권 문제에 효과적으로 이전되지 않으므로, 다중 모달 망각을 위해 명시적으로 설계된 새로운 전용 알고리즘에 대한 긴급한 필요성이 있다고 결론지었습니다. 데이터셋과 벤치마크는 해당 분야의 추가 연구를 촉진하기 위해 공개되어 있습니다.