🤖 AI

RULER: Representation-Level Verification of Machine Unlearning

본 논문은 전통적인 출력 수준 평가에서 성공적으로 보이는 기계 망각 방법들에서 상당한 잔류 암기가 드러나는 표현 수준 검증 지표인 RULER 를 소개합니다.

원저자: Georgina Cosma, Axel Finke

게시일 2026-05-28

📖 4 분 읽기☕ 가벼운 읽기

원저자: Georgina Cosma, Axel Finke

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑한 학생이 방대한 교과서를 공부해 전문가가 되었다고 상상해 보세요. 어느 날 출판사가 그 학생에게 "5 장에 대해 배운 모든 것을 잊어라"고 말합니다. 학생은 순종하고 싶지만, 책을 태우고 처음부터 다시 시작할 수는 없습니다. 그렇게 하려면 시간과 에너지가 너무 많이 들기 때문입니다. 그래서 그들은 책의 나머지 부분에 대한 지식은 온전하게 유지하면서 5 장의 특정 페이지를 정신적으로 지워 '잊어버리기'를 시도합니다.

이 논문인 RULER는 그 학생이 실제로 잊는 일을 잘 해냈는지 확인하는 것에 관한 것입니다.

문제: "가짜 망각"

현재 교사 (또는 감사자) 들은 두 가지 간단한 질문을 통해 학생이 잊었는지 확인합니다.

퀴즈: 학생이 여전히 책의 나머지 부분에 대한 질문에 올바르게 답할 수 있는가? (네, 할 수 있습니다.)
맞추기 게임: 학생에게 5 장의 문장을 보여주고 "이걸 공부했니?"라고 물으면, 그들이 답할 수 있는가? (이상적으로는 동전 던지기처럼 무작위로 추측해야 합니다.)

저자들은 하나의 허점을 발견했습니다. 그들은 학생이 두 가지 테스트를 완벽하게 통과할지라도 5 장의 '유령'이 여전히 뇌에 남아 있을 수 있음을 발견했습니다. 이는 마술사가 모자에서 토끼를 성공적으로 사라지게 만들었지만 (출력), 여전히 주머니에 토끼의 털을 비밀리에 들고 있는 (내부 기억) 것과 같습니다. 학생의 답변은 깨끗해 보이지만, 그들의 사고 과정은 여전히 금지된 장을 기억하고 있습니다.

해결책: RULER (X-선 안경)

저자들은 RULER(표현 수준 검증) 라는 새로운 도구 세트를 개발했습니다. 단순히 학생의 답변을 듣는 대신, RULER 는 학생의 뇌 속을 들여다보아 사고가 어떻게 조직화되어 있는지 확인합니다.

그들은 이를 확인하기 위해 두 가지 주요 '렌즈'(지표) 를 사용합니다.

렌즈 1: '골드 스탠다드' 비교 (지표 M2)

처음부터 5 장을 단 한 번도 보지 않은 '골드 스탠다드' 학생이 있다고 상상해 보세요.

테스트: RULER 는 5 장을 잊으려 했던 학생의 '사고 패턴'을 골드 스탠다드 학생과 비교합니다.
발견: '망각'한 학생이 퀴즈를 통과하더라도, 그들의 뇌는 골드 스탠다드 학생과 달리 5 장을 다르게 취급합니다. 이는 특정 공원이 없는 완벽한 도시 지도와, 공원을 지우려 했지만 희미한 유령 같은 윤곽선이 남아 있는 지도를 비교하는 것과 같습니다. 윤곽선이 일치하지 않습니다.
결과: 실험에서 '잊기'에 사용된 거의 모든 방법은 이러한 유령 같은 윤곽선을 남겼습니다. 학생들은 퀴즈를 통과했지만, 뇌 스캔에서는 실패했습니다.

렌즈 2: '오라클 없는' 탐정 (지표 M4)

때로는 비교할 골드 스탠다드 학생이 없을 수도 있습니다. 그래서 RULER 는 학생의 기억만 사용하여 학생의 뇌를 확인하는 방법을 고안했습니다.

테스트: RULER 는 잊혀진 장에 대한 '사고'를 살펴보고 "이 사고들이 책의 나머지 부분에 속하는 것처럼 보이는가, 아니면 너무 튀어 보이는가?"라고 묻습니다.
비유: 파란색 셔츠를 입은 사람들 (유지된 데이터) 의 군중을 상상해 보세요. 학생에게 빨간색 셔츠를 입은 특정 사람 (잊을 데이터) 을 잊으라고 요청합니다.
- 그들이 성공적으로 잊었다면, 빨간 셔츠를 입은 사람은 파란 셔츠와 구별되지 않을 정도로 잘 섞여야 합니다.
- 그들이 실패했다면, 빨간 셔츠는 여전히 빛나거나, 더 나쁘게는 학생이 빨간 셔츠를 너무 멀리 밀어내어 우주 공간에 떠 있게 됩니다 (과도한 이동).
발견: RULER 는 많은 경우 '잊혀진' 데이터가 잘 섞이지 않았음을 발견했습니다. 그것은 기억으로 튀어 보이거나 너무 멀리 밀려나 학생의 마음에서 기이한 왜곡을 만들어냈습니다.

그들이 테스트한 것

연구자들은 네 가지 다른 '망각' 기술 (기억을 지우려는 서로 다른 방법들) 에 대해 이를 테스트했습니다.

경사 상승 (Gradient Ascent): 기억을 적극적으로 밀어내려 시도합니다.
NegGrad+: 밀어내기와 나머지를 강화하는 것을 혼합합니다.
파인튜닝 (Fine-Tuning): 단순히 책의 나머지를 재공부하여 오래된 기억이 자연스럽게 희미해지기를 바랍니다.
SCRUB: '교사'를 사용하여 망각을 안내하는 복잡한 방법입니다.

판결: 네 가지 방법 모두 표준 '퀴즈'와 '맞추기 게임' 테스트를 통과했습니다. 하지만 RULER 가 그들의 뇌 속을 들여다보았을 때, 네 가지 방법 모두 실패했습니다. 그들은 모두 잊혀진 데이터의 상당한 흔적을 남겼습니다.

특별한 사례: 얼굴 인식

이 논문은 얼굴 인식 시스템 (보안 카메라와 같은) 에 대해서도 이를 테스트했습니다.

상황: 시스템이 사람들을 인식하도록 훈련되었지만, 이후 특정 사람을 '잊으'라고 요청받았습니다 (GDPR 의 '잊힐 권리' 요청).
결과: 망각 후에도 시스템은 여전히 그 특정 사람의 얼굴 구조를 인식했습니다. 이는 친구의 얼굴을 '인식하지 않기'를 시도하는 것과 같았습니다. 시스템은 "이 사람이 누군지 모르겠다"고 말할 수 있었지만, 내부 '얼굴 지도'에는 여전히 그 사람의 완벽한 스케치가 남아 있었습니다. 테스트된 어떤 방법도 이 정체성 수준의 기억을 완전히 지울 수 없었습니다.

핵심 교훈

이 논문은 현재의 '기계 망각' 방법들이 우리가 생각했던 것만큼 철저하지 않다고 결론 내립니다. 그들은 모델이 제공하는 답변을 정리하는 데는 좋지만, 그 답변을 만들어내는 내부 기억을 정리하는 데는 나쁩니다.

RULER 는 진실을 말하는 역할을 하여, 모델이 잊었다고 말한다고 해서 실제로 잊은 것은 아님을 보여줍니다. 진정으로 프라이버시를 보호하려면 모델의 최종 출력뿐만 아니라 AI 의 내부 '사고'를 확인해야 합니다.

기술 요약: RULER – 기계적 망각의 표현 수준 검증

문제 제기

기계적 망각 (Machine Unlearning) 은 배포된 모델에서 특정 훈련 레코드 (망각 집합, forget set) 의 영향을 제거하면서도 재훈련 없이 계산 비용을 절감하고, 나머지 데이터 (보유 집합, retain set) 에 대한 모델 성능을 유지하는 것을 목표로 합니다. 현재 평가 프로토콜은 출력 수준 기준에 의존합니다:

멤버십 추론 공격 (MIA) 정확도: 0.50(우연 수준) 에 가까워야 합니다.
보유 집합 정확도: 유지되어야 합니다.
망각 집합 정확도: 재훈련 오라클(보유 집합만으로 처음부터 훈련된 모델) 과 일치해야 합니다.

저자들은 이러한 프로토콜의 결정적 한계를 지적합니다: 모델이 세 가지 출력 수준 기준을 모두 충족하더라도 **중간 표현 (intermediate representations)**에 망각된 레코드에 대한 정보를 인코딩할 수 있다는 점입니다. 기존 지표는 모델이 개별 레코드에 대한 정보를 내부적으로 어떻게 조직화하는지 검토하지 않아, 모델이 출력에서는 올바르게 작동하지만 망각해야 했던 데이터의 구조적 흔적을 유지하는 "거짓된 프라이버시 감각"을 남길 수 있습니다.

방법론: RULER

본 논문은 최종 전 계층 (penultimate-layer) 코사인 유사도를 기반으로 한 두 가지 검증 렌즈를 포함하는 프레임워크인 RULER(Representation-Level Verification of Machine Unlearning) 를 소개합니다. 이 프레임워크는 작업별 출력 헤드 직전의 임베딩 $h_\theta(x)$ 에서 작동합니다.

렌즈 1: 오라클 비교 지표 (재훈련 오라클 필요)

이 지표들은 처음부터 보유 집합으로 훈련된 재훈련 오라클 ( $\theta_r$ ) 과 망각된 모델 ( $\theta_u$ ) 을 비교합니다. 표현적 차이가 무작위 초기화가 아닌 망각 절차에 기인함을 보장하기 위해, 원본 모델 ( $\theta_o$ ) 과 오라클 ( $\theta_r$ ) 은 동일한 무작위 시드를 공유합니다.

M1 (오라클 비교 유사도): $\theta_u$ 와 $\theta_r$ 사이의 망각 집합 레코드 간 평균 코사인 유사도입니다. 높은 유사도가 바람직하지만, M1 은 유의성 검정을 위한 고정된 널 (null) 값을 갖지 않습니다.
M2 (부호화 보정 간격): 주요 렌즈 1 지표입니다. $\theta_u$ $θ_{u}$ 와 $\theta_r$ $θ_{r}$ 사이의 망각 집합 레코드의 평균 유사도와 중앙값 보유 집합 레코드의 유사도 차이를 계산합니다.
- 귀무가설: $M2 = 0$ .
- 해석: 음수 값은 **잔여 기억 (residual memorization)**을 나타냅니다 (망각 집합 레코드가 보유 집합 레코드보다 오라클과 덜 유사함). 양수 값은 과보정을 나타냅니다. 보유 기준선으로 중앙값을 사용하는 것은 오른쪽으로 치우친 분포로 인한 인플레이션을 방지하기 위함입니다.
M3 (표현 이동): 망각 전후 오라클과의 유사도 변화를 측정합니다. 양수 값은 망각 절차가 표현을 오라클에 더 가깝게 이동시켰음을 나타내고, 음수 값은 더 멀어졌음을 나타냅니다.

렌즈 2: 오라클 불필요 지표 (재훈련 오라클 불필요)

M4 (백분위 순위): 이 지표는 망각된 모델 $\theta_u$ $θ_{u}$ 의 내부 기하학에만 작동합니다. 각 망각 레코드에 대해 보유 집합에서 가장 가까운 이웃을 찾고 그들의 코사인 유사도를 측정합니다. 그런 다음 이 유사도를 보유 레코드 간의 가장 가까운 이웃 유사도 분포 (leave-one-out) 에 대해 순위 매깁니다.
- 귀무가설: $M4 = 0.50$ .
- 해석: 0.50 의 값은 망각 레코드가 기하학적으로 보유 레코드와 구별 불가능함을 의미합니다. $> 0.50$ 인 값은 잔여 기억을 나타냅니다 (망각 레코드가 보유 집합과 너무 유사함). $< 0.50$ 인 값은 **과이동 (over-displacement)**을 나타냅니다 (레코드가 보유 분포에서 너무 멀리 밀려남).

실험 설정

데이터셋: 10 개의 표分类 (tabular) 분류 데이터셋 (예: Adult Income, Breast Cancer, German Credit) 을 주요 설정으로 사용했습니다. 또한 대규모 표 분류 데이터, 이미지 분류 (CIFAR-10, SVHN, CIFAR-100), 임상 텍스트 (Bio_ClinicalBERT 를 사용한 MTSamples), 그리고 얼굴 신원 망각 (LFW) 에도 프레임워크를 적용했습니다.
모델: 표 데이터용 고정 2 은닉층 MLP(TabularMLP); 이미지용 CNN 및 ResNet-18; 텍스트용 BERT 기반 모델.
망각 방법: 네 가지 근사적 방법을 평가했습니다: 경사 상승 (Gradient Ascent), NegGrad+, 파인튜닝, 그리고 증류 기반인 SCRUB. 다섯 번째 방법인 Bad Teacher는 구조적 대 방법별 불일치를 테스트하기 위해 포함되었습니다.
프로토콜: 실험은 10 개의 데이터셋, 10 개의 훈련 시드, 세 가지 망각 비율 ( $1\%, 5\%, 10\%$ ) 을 사용했습니다. 통계 분석은 데이터셋을 무작위 절편으로 하는 선형 혼합 효과 모델 (LMM) 과 함께 윌콕슨 부호 순위 검정을 사용했습니다.

주요 결과

1. 출력 수준과 표현 수준 간의 불일치

네 가지 근사적 망각 방법 모두 표준 출력 수준 평가 (MIA 정확도가 0.50 의 $\pm 0.05$ 이내, 보유 정확도 유지) 를 통과했습니다. 그러나 M2 는 12 개 조건 중 10 개에서 통계적으로 유의한 잔여를 검출했습니다 ( $p < 0.05$ ).

방향성: M2 는 모든 방법과 망각 비율에서 일관되게 음수였으며, 이는 망각 집합 레코드가 보유 레코드보다 오라클의 표현에서 더 멀리 남아 있음을 나타냅니다.
효과 크기: 효과 크기 ( $r_{rb}$ ) 는 망각 비율이 증가함에 따라 커졌으며, $10\%$ 망각 비율에서 큰 크기 ($0.90 - 0.96$) 에 도달했습니다.
방법 독립성: 사후 검정 (Post-hoc tests) 은 M2, M4 또는 MIA 에서 네 가지 방법 간 유의한 차이가 없음을 보여주었습니다. 이 불일치는 특정 알고리즘이 아닌 망각 작업 자체의 속성입니다.

2. Bad Teacher 검증

망각 레코드에서 무작위 초기화된 교사와 일치하도록 학생을 훈련시키는 근본적으로 다른 메커니즘을 사용하는 Bad Teacher 방법도 출력 수준 검사를 통과했지만 유의한 음수 M2 값을 나타냈습니다. 이는 중간 표현을 지우지 못하는 것이 특정 경사 기반 또는 증류 기술의 인공물이 아니라 현재 근사적 망각 접근법의 구조적 한계임을 확인시켜 줍니다.

3. M4 의 진단적 유용성

표/일반 데이터: M4 는 감지 가능한 기억이 있는 데이터셋 (예: Breast Cancer, Heart Disease) 에 의해 주도되어 0.50 보다 약간 높은 평균 순위를 보였습니다.
얼굴 신원 (LFW): 성별 분류를 위해 훈련되었으나 우연히 신원을 인코딩한 모델에서, 망각 전 M4 값은 매우 높았습니다 ($0.73 - 0.94$), 이는 강력한 신원 수준 기억을 확인시켜 줍니다. 망각 후, 어떤 방법도 이 신호를 완전히 지우지 못했습니다; 경사 상승과 파인튜닝은 이를 대부분 그대로 두었고, SCRUB 은 낮은 망각 비율에서 과이동을 초래했습니다.
대규모/약한 기억: 원래 모델이 M4 $\approx 0.50$ (감지 가능한 기억 없음) 을 보인 대규모 표 분류 및 이미지 데이터셋에서, 망각 방법들은 때때로 인공물(과이동 또는 이동) 을 도입했는데, 이는 망각이 엄격히 필요하지 않을 때 표현의 질을 저하시킬 수 있음을 시사합니다.

중요성과 주장

본 논문은 기계적 망각을 검증하기 위해 출력 수준 평가만으로는 불충분하다고 주장합니다. 모델은 모든 표준 프라이버시 및 유틸리티 기준을 충족하면서도 내부 표현에 망각된 데이터의 측정 가능한 흔적을 유지할 수 있습니다.

검증 도구로서의 RULER: 저자들은 평가 프로토콜에 필수적으로 추가해야 할 지표로 M2 와 M4 를 제안합니다. M2 는 오라클에 대한 잔여 기억을 위한 집단 수준 검정을 제공하고, M4 는 망각 전 (망각 필요성 평가) 과 망각 후 (불완전한 지우기 또는 과이동 감지) 모두를 위한 오라클 불필요 진단 도구 역할을 합니다.
현재 방법의 한계: 다양한 방법과 아키텍처 전반에 걸쳐 일관된 음수 M2 는 현재 근사적 망각 목표가 출력 행동을 최적화하지만 중간 표현을 제약하지 못함을 시사합니다.
제한된 범위: 저자들은 명시적으로 이러한 지표가 GDPR 제 17 조의 법적 준수 테스트가 아닌 기술적 검증 도구라고 명시합니다. 이들은 표현적 잔여를 특징짓지만 규제적 적절성을 정의한다고 주장하지는 않습니다. 또한, 이 지표들은 회전 불변성이 아닌 코사인 유사도에 의존하므로 M2 의 경우 짝지어진 시드 설계를 필요로 합니다.

결론적으로, 본 논문은 많은 근사적 방법들에서 기계 학습의 "망각"이 현재 출력 수준의 환상에 불과하며, 진정한 지우기는 표현 수준에서의 검증을 필요로 함을 보여줍니다.