🤖 machine learning

Metric Unreliability in Multimodal Machine Unlearning: A Systematic Analysis and Principled Unified Score

본 논문은 비전-언어 모델의 기계적 망각 평가에 사용되는 표준 지표들 간에 상당한 불일치가 있음을 처음으로 체계적으로 분석하여 제시하고, 오라클 상관관계에서 도출된 원칙에 기반한 통합 품질 점수 (UQS) 를 제안함으로써 안정적이고 신뢰할 수 있는 순위 매김을 가능하게 한다.

원저자: Abdullah Ahmad Khan, Hamid Laga, Ferdous Sohel

게시일 2026-05-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abdullah Ahmad Khan, Hamid Laga, Ferdous Sohel

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 수백만 권의 책을 읽고 무수한 그림을 본 거대하고 초지능적인 도서관 사서 (비전 - 언어 모델) 가 있다고 가정해 봅시다. 어느 날, 한 사람이 자신의 사생활 보호권을 근거로 자신이 쓴 특정 책을 '잊어달라'고 도서관에 요청합니다. 도서관 사서는 그 책을 선반에서 삭제합니다.

하지만 여기서 문제가 발생합니다: 우리는 어떻게 그 사서가 실제로 그 책을 잊었는지, 아니면 단순히 숨겼을 뿐인지 알 수 있을까요?

이 논문은 도서관 사서가 제 역할을 제대로 했는지 파악하려는 검사관들의 무리와 같습니다. 그들은 검사관들이 사서의 업무 성적을 매기기 위해 다섯 가지 서로 다른 규칙집을 사용하고 있으며, 놀랍게도 이 규칙집들은 동일한 업무에 대해 정반대의 성적을 부여한다는 사실을 발견했습니다.

혼란스러운 다섯 명의 검사관 (평가 지표들)

이 논문은 '망각 (unlearning)'을 측정하는 다섯 가지 표준적인 방법을 살펴봅니다:

직접 질문 검사관 (Forget Accuracy): "내가 그 책에 대해 직접 물어보면 답을 할까요?"라고 묻습니다. 사서가 침묵한다면, 이 검사관은 좋은 성적을 줍니다.
다른 책 검사관 (Retain Accuracy): "다른 999 권의 책들은 여전히 기억하고 있나요?"라고 묻습니다. 사서가 나머지 책들을 잘 기억한다면, 이 검사관은 좋은 성적을 줍니다.
개인정보 탐정 (Membership Inference Attack): 사서가 잊힌 책에 대해 '긴장'하거나 '확신'하는지 추측해 봅니다. 사서가 정상적으로 행동한다면, 이 탐정은 그 책이 사라졌다고 생각합니다.
뇌 스캔 검사관 (Activation Distance): 사서의 '뇌' (내부 수학 연산) 를 들여다보아, 그 책이 처음부터 보지 않았던 사서의 버전과 유사한지 확인합니다.
출력 일치 검사관 (JS Divergence): 사서의 답변이 '책을 본 적 없는' 버전과 통계적으로 유사한지 점검합니다.

큰 문제: 합의할 수 없음

연구자들은 이미지와 텍스트를 모두 처리할 수 있는 지능형 모델인 LLaVA를 대상으로 이를 테스트했습니다. 그들은 모델이 책을 잊게 만드는 네 가지 서로 다른 방법을 시도했습니다.

여기서 반전이 있습니다: 검사관들은 서로를 싫어했습니다.

**A 검사관 (직접 질문)**은 이렇게 말할 수 있습니다: "X 방법이 최고야! 그 책에 대해 말하지 않으니까."
**B 검사관 (뇌 스캔)**은 이렇게 말할 수 있습니다: "X 방법이 최악이야! 그 뇌는 여전히 그 책을 기억하는 것과 똑같이 생겼어."

이는 한 잡지가 "이 차는 가장 빠르다!"라고 하고, 다른 잡지는 "이 차엔 엔진이 없다!"라고 말하는 자동차 리뷰와 같습니다. 논문은 동일한 방법에 대해 순위가 종종 정반대였음을 발견했습니다. 한 방법은 세 명의 검사관에게서 1 위를 받았지만, 나머지 두 명에게는 4 위를 받기도 했습니다.

숨겨진 트릭: '지식 회수 가능성'

이 논문은 거대한 맹점을 발견했습니다. 다섯 명의 검사관 모두 사서가 답을 말하는지만 확인합니다. 사서가 답을 알고 있지만, 모른 척하고 있는지는 확인하지 않습니다.

연구자들은 사서에게 직접적인 질문 대신 까다롭고 우회적인 질문 (예: "이 사람이 누구냐?" 대신 "사진 속 사람의 중간 이름은 무엇인가?") 을 하는 테스트를 진행했습니다.

결과: 사서가 직접적인 질문에는 "모른다"고 답했을지라도, 까다로운 질문에는 종종 정답을 제공했습니다.
비유: 이는 "비밀 코드를 모른다"고 말하는 스파이가, "자정 때 열리는 문에 대한 코드는 무엇인가?"라고 묻자 실수로 코드를 말해버리는 것과 같습니다. '망각'은 단순한 표면적 침묵일 뿐, 기억의 진정한 삭제는 아니었습니다.

해결책: '통합 점수 (UQS)'

검사관들이 합의할 수 없고, 모두 (현재 자동화하기에는 너무 어려운) '까다로운 질문' 테스트를 놓치고 있기 때문에, 저자들은 **통합 품질 점수 (Unified Quality Score, UQS)**라는 마스터 스코어카드를 만들었습니다.

이는 모든 다섯 명의 검사관의 의견을 듣되, 그 의견이 실제로 얼마나 중요한지에 따라 가중치를 부여하는 심사위원장과 같습니다:

심사위원장은 **'다른 책' 검사관 (Retain Accuracy)**이 모델이 건강한지 판단하는 데 가장 신뢰할 만하다는 점을 발견했습니다. 따라서 심사위원장은 그 의견에 가장 큰 가중치 (약 65%) 를 부여합니다.
심사위원장은 '직접 질문' 검사관이 사실은 약간의 거짓말쟁이라는 점 (침묵하는 고장 난 로봇을 '좋다'고 생각하는 경우가 많음) 을 발견했습니다. 따라서 심사위원장은 그 의견에 매우 적은 가중치를 부여합니다.
심사위원장은 이러한 가중치 의견을 하나의 숫자로 결합합니다.

결과

이 새로운 마스터 스코어카드를 사용했을 때:

논쟁이 멈췄습니다: 순위가 일관되게 되었습니다.
진실이 드러났습니다: '직접 질문' 테스트에서는 훌륭해 보였던 일부 방법들이 실제로는 모델의 뇌를 망가뜨려 끔찍한 것이었습니다. 마스터 스코어가 이를 포착했습니다.
멀티모달은 더 어렵습니다: 모델이 이미지와 텍스트를 모두 처리해야 할 때 (예: 인간이 이미지를 보고 캡션을 읽는 경우), 검사관들은 텍스트만 처리할 때보다 훨씬 더 많이 이견을 보였습니다. 이는 두 가지 다른 요리를 동시에 요리하는 셰프를 평가하는 것과 같습니다. 레시피를 잊었는지 판단하는 것이 훨씬 더 어렵습니다.

결론

이 논문은 데이터를 삭제하는 새로운 방법을 고안한 것이 아니라, 삭제 방식을 측정하는 데서 발생한 혼란을 폭로합니다. 논문은 다음과 같이 말합니다: "모델이 무언가를 잊었는지 확인하기 위해 단일 테스트만 사용하지 마십시오. 테스트들은 서로 모순되며, 가장 중요한 부분 (기억이 진정으로 사라졌는지, 아니면 단순히 숨겨졌는지) 을 놓치고 있습니다."

저자들은 모델이 잊으라고 지시받은 것을 진정으로 '잊었는지' 실제로 신뢰할 수 있도록 이러한 테스트들을 결합하는 새롭고 더 지능적인 방법을 제시합니다.

기술 요약: 멀티모달 기계 망각의 지표 불신뢰성

문제 정의

기계 망각은 일반 데이터 보호 규정 (GDPR) 과 같은 규정 준수를 위해 점점 더 중요해지고 있으며, 이는 배포된 모델에서 특정 학습 데이터의 영향을 제거하도록 의무화합니다. 망각은 분류 및 텍스트 전용 대규모 언어 모델 (LLM) 에서 연구되어 왔으나, 멀티모달 대규모 언어 모델 (MLLM) 에서는 평가가 일관되지 않습니다.

식별된 핵심 문제는 기존 멀티모달 망각 평가 지표가 망각 방법의 체계적으로 모순되는 순위를 산출한다는 점입니다. 현재 관행은 Forget Accuracy(FA), Retain Accuracy(RA), Membership Inference Attack(MIA), Activation Distance(AD), Jensen–Shannon divergence(JS) 라는 다섯 가지 표준 지표에 의존하며, 이들의 일치성을 검증하지 않습니다. 본 논문은 이러한 지표들이 망각의 직교적인 측면 (출력 행동 대 표현 정렬) 을 측정하여, 한 지표에서는 #1 순위로 평가된 방법이 다른 지표에서는 #4 순위로 평가되는 상황을 초래함을 보여줍니다. furthermore, 모든 기존 지표는 **지식 회복 가능성 (Knowledge Recoverability, KR)**을 측정하지 못한다는 치명적인 맹점을 공유합니다. 즉, 잊혀진 정보가 재구성된 간접적 또는 적대적 쿼리를 통해 재구성될 수 있는지 여부를 측정하지 못합니다.

방법론

저자들은 LLaVA-1.5-7B 비전 - 언어 모델 (VLM) 을 사용하여 MLLMU-Bench, UnLOK-VQA, MMUBench라는 세 가지 VQA 벤치마크에 걸쳐 체계적인 분석을 수행했습니다.

실험 설정:
- 모델: 기본 모델 ( $M$ ) 은 망각 세트와 유지 세트의 합집합으로 미세 조정되었습니다. "오라클" 모델 ( $M^*$ ) 은 망각 후 모델이 갖춰야 할 상태를 기준 (ground truth) 으로 삼기 위해 유지 세트 만을 사용하여 재학습되었습니다.
- 망각 방법: 네 가지 다른 패러다임이 테스트되었습니다: 경사 상승 (GA), 무작위 레이블 (RL), 유지 미세 조정 (FT), 그리고 SalUn ( saliency 기반).
- 규모: 본 연구는 36 개의 모델 (4 가지 방법 × 3 개 데이터셋 × 3 개 무작위 시드) 을 평가했습니다.
- 지표: 표준 지표가 계산되었습니다:
  - FA/RA: 출력 억제 및 유틸리티 보존.
  - MIA: 신뢰도 점수를 통한 개인정보 유출.
  - AD/JS: 활성화 거리 및 출력 분포를 통한 망각된 모델 ( $\hat{M}$ ) 과 오라클 ( $M^*$ ) 간의 정렬.
분석 프레임워크:
- 순위 상관관계: 저자들은 지표가 유도한 순위 간의 일치를 측정하기 위해 Kendall's $\tau$ (비모수 통계량) 를 사용했습니다.
- 오라클 근접성: 각 지표와 LoRA 매개변수 공간에서의 거리 $d(\hat{M}, M^*)$ 간의 스피어만 상관관계 ( $\rho$ ) 를 계산하여 지표의 신뢰성을 평가했습니다.
- 지식 회복 가능성 (KR) 파일럿: 저자들은 재구성된, 다중 홉, 그리고 부정 쿼리를 통해 망각된 모델을 수동으로 탐지하여 "출력 억제"(FA=0) 와 실제 "지식 소거" 사이의 격차를 정량화했습니다.
제안된 해결책: 통합 품질 점수 (UQS):
- 모순을 해결하기 위해 저자들은 복합 지표인 UQS 를 도입했습니다.
- 가중치 도출: 가중치는 임의적이지 않고 경험적으로 도출됩니다. 각 지표의 가중치는 오라클 거리 $d(\hat{M}, M^*)$ 와의 스피어만 상관관계에 비례합니다.
- 수식: $UQS = \sum w_i \cdot \text{normalized\_metric}_i$ . 음의 상관관계를 가진 지표 (FA 등) 는 크게 하향 조정되거나 패널티를 받습니다.

주요 기여

측면 분해: 본 논문은 기존 지표를 종종 상충되는 목표에 매핑합니다. FA, RA, MIA 는 출력 행동(억제 및 유틸리티) 을 측정하는 반면, AD 와 JS 는 오라클과의 표현 정렬을 측정합니다. 순위의 차이는 노이즈가 아닌 구조적입니다.
누락된 측면 (KR) 식별: 저자들은 지식 회복 가능성을 간접 쿼리를 통해 잊혀진 정보를 재구성할 수 있는 능력으로 정의합니다. 파일럿 연구 결과, FA=0(직접 회상 억제) 일지라도 KR 유출이 높게 나타났습니다 (SalUn 의 경우 최대 100%). 이는 현재 지표들이 GDPR 준수를 위한 소거를 보장하지 못함을 나타냅니다.
모순의 정량화: 36 개 모델에 대한 Kendall's $\tau$ 분석은 $\{FA, RA, MIA\}$ 와 $\{AD, JS\}$ 라는 두 개의 반상관 군집을 드러냈습니다. 구체적으로, $\tau_{FA,AD} = -0.26$ 으로, 출력 억제를 최적화하는 방법들은 종종 오라클 표현에서 크게 벗어남을 나타냅니다.
멀티모달 증폭: 본 연구는 지표 불일치가 단모달 분류 ( $\bar{\tau} = 0.158$ ) 보다 멀티모달 VQA( $\bar{\tau} = 0.086$ ) 에서 더 심각함을 발견했습니다. 이중 이미지 - 텍스트 경로는 시각 인코더와 언어 디코더가 분리될 수 있으므로 추가적인 분산 차원을 도입합니다.
통합 품질 점수 (UQS): 측정 가능한 측면을 신뢰성 가중치를 사용하여 집계하는 원칙적이고 데이터 기반의 복합 점수입니다. 도출된 가중치는 **Retain Accuracy(RA)**가 오라클 근접성의 가장 신뢰할 수 있는 예측 변수임을 보여줍니다 ( $\rho = 0.484, p=0.003$ ), 반면 **Forget Accuracy(FA)**는 음의 상관관계를 보이며 ( $\rho = -0.418$ ), 낮은 FA 는 종종 효과적인 망각이 아닌 모델 붕괴로 인해 발생함을 시사합니다.

결과

순위 불안정성: 단일 망각 방법이 모든 지표에서 일관되게 1 위를 차지하지는 않습니다. 예를 들어, 경사 상승은 MIA 에서는 1 위이지만 AD 에서는 4 위이며, 무작위 레이블은 네 가지 지표에서 1 위이지만 MIA 에서는 3 위입니다.
재현성: BLIP-2 OPT-2.7B에서 모순이 재현되어, 이 문제가 아키텍처 특정적이지 않고 평가 환경에 내재된 것임을 확인했습니다.
지표 신뢰성:
- RA는 오라클 대비 망각 품질의 가장 강력한 단독 지표입니다.
- FA는 나쁜 지표입니다. 낮은 FA 는 종종 오라클과의 높은 거리 (모델 붕괴) 와 상관관계가 있습니다.
- MIA는 중간 정도의 신뢰성을 보이지만, 이 표본 크기에서는 통계적으로 유의하지 않습니다.
- AD 와 JS는 이 규모에서 단독 지표로서 신뢰할 수 없습니다.
UQS 안정성: UQS 순위는 무작위 가중치 교란 하에서도 견고하게 유지됩니다 (평균 $\tau = 0.647 \pm 0.262$ ), 이는 원칙적인 가중치 체계가 개별 지표에서 발견된 모순을 해결함을 보여줍니다.
KR 발견: 파일럿 연구에서 FA=0 인 샘플의 96% 가 간접 탐지를 통해 지식을 유출했으며, 이는 개인정보 보호 규정 준수를 위한 현재 지표의 불충분함을 강조합니다.

중요성과 주장

본 논문은 새로운 망각 알고리즘이 아닌 방법론적 기여를 주장합니다. 그 주요 중요성은 멀티모달 망각에 대한 현재 평가 기준의 불신뢰성을 폭로하는 데 있습니다.

모순은 구조적입니다: 지표 간의 불일치는 실험적 노이즈 때문이 아니라 출력 억제와 표현 정렬 측정 간의 근본적인 충돌에서 비롯됩니다.
GDPR 준수 격차: 현재 지표는 지식이 진정으로 소거되었는지 아니면 단순히 억제되었는지 평가하지 못하며, 이는 규제 준수에 있어 치명적인 실패입니다. 본 논문은 지식 회복 가능성을 측정하지 않고는 GDPR 준수 주장이 잠재적으로 오해의 소지가 있다고 주장합니다.
원칙적 평가: UQS 는 신뢰성 가중치를 사용하여 측정 가능한 측면을 집계하는 재현 가능하고 데이터 기반의 프레임워크를 제공합니다. 오라클 모델과의 상관관계에 기반하여 지표를 가중치함으로써, 망각의 이론적 목표 (망각 세트에 대해 결코 학습되지 않은 모델의 상태에 도달) 와 더 잘 부합하는 "단일 원칙적 점수"를 제공합니다.
자원 공개: 저자들은 이 분야의 재현 가능한 연구를 촉진하기 위해 벤치마크, 36 개 모델 체크포인트, 그리고 대화형 리더보드를 공개합니다.

저자들은 UQS 가중치가 모델 및 데이터셋에 의존하며 새로운 설정에서는 재도출되어야 한다는 점을 명시하여 범위에 대해 겸손하게 접근합니다. 또한 확장 가능하고 자동화된 지식 회복 가능성 측정은 향후 과제로 남아있는 열린 과제임을 인정합니다.