🔬 materials science

Bounding Retraining Equivalence and the Deletion Floor in Materials Machine Unlearning

이 논문은 재학습 등가성에 기반한 '삭제 하한(deletion floor)'을 정의하여 머신러닝 모델의 삭제 후 정확도에 나타나는 모호함을 다루고, 낮은 삭제 하한이 잔존 데이터 중복성과 연결됨을 입증하는 이론적 경계를 설정하며, 요청 수준의 언러닝 평가가 효과적인 언러닝과 단순한 데이터 억제를 구분하기 위해 참조 손실, 예측 변화, 그리고 잔존 효용을 반드시 공동으로 보고해야 함을 경험적으로 입증한다.

원저자: Can Polat, Mustafa Kurban, Erchin Serpedin, Hasan Kurban

게시일 2026-09-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Can Polat, Mustafa Kurban, Erchin Serpedin, Hasan Kurban

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

재료 과학의 세계에서 연구자들은 실험실에서 실제로 구현되기 전에 새로운 물질의 특성을 예측하기 위해 강력한 컴퓨터 모델을 사용합니다. 이 모델들은 알려진 화학 구조의 방대한 데이터베이스로부터 학습하며, 원자의 배열을 에너지 저장량이나 안정성과 같은 결과값에 매핑합니다. 물리 법칙은 일관적이기 때문에, 매우 다양한 화학식들이 거의 동일한 결정 구조를 만들어낼 수 있습니다. 이는 데이터에 자연스러운 중복성을 생성합니다. 만약 특정 결정의 기록 하나가 훈련 세트에서 제거되더라도, 모델은 남아 있는 매우 유사한 다른 기록들로부터 동일한 물리적 패턴을 학습했기 때문에 해당 기록의 특성을 여전히 정확하게 예측할 수 있습니다. 이는 '머신 언러닝(machine unlearning)'이라 불리는 분야에 독특한 과제를 안겨줍니다. 머신 언러닝은 개인정보 보호법을 준-수하기 위해 인공지능 시스템이 특정 데이터 포인트를 "망각"하도록 만드는 것을 목표로 합니다. 만약 시스템이 주변 데이터 덕분에 삭제된 항목을 완벽하게 예측할 수 있다면, 그것은 진정으로 망각한 것일까요, 아니면 단지 동일한 답에 도로 다른 경로를 사용하고 있는 것일까요?

한 연구팀은 이 모호함을 해결하기 위해 재료 과학에서 특정 데이터를 성공적으로 망각했다는 것을 정의하는 새로운 기준을 도입했습니다. 그들은 '삭제 바닥(deletion floor)'이라는 개념을 소개했는데, 이는 해당 항목 없이 처음부터 다시 훈련했을 때 모델이 가질 수 있는 가장 낮은 오차를 나타냅니다. 그들의 연구는 많은 경우에, 최선의 재훈련조차도 남은 데이터가 매우 유사하기 때문에 삭제된 항목을 높은 정확도로 예측한다는 사실을 밝혀냈습니다. 그들은 언러닝 시도의 성공 여부를 단순히 정확도만으로 판단해서는 안 되며, 대신 모델의 새로운 예측값을 재훈련이 자연스럽게 만들어낼 특정 기준선과 비교하여 측정해야 한다고 주장했습니다.

연구진은 이 아이디어를 Materials Project라고 알려진 공공 데이터베이스의 44,000개 이상의 결정 구조를 사용하여 테스트했습니다. 그들은 결정의 형성 에너지, 즉 결정을 구성 요소로부터 구축하는 데 필요한 에너지의 양을 예측하는 데 집중했습니다. 중복성이 망각에 어떻게 영향을 미치는지 이해하기 위해, 그들은 먼저 합성 데이터를 이용한 통제된 실험을 수행했습니다. 그들은 거의 동일한 항목들의 그룹을 만들고, 각 그룹에서 한 멤버를 제거한 뒤 모델을 재훈련했습니다. 유사한 관계자가 없는 항목을 제거했을 때 모델의 해당 항목에 대한 오차는 유사한 관계자가 남아 있는 항목을 제거했을 때보다 높게 유지되었습니다. 실제로, 단 하나의 유사한 기록만 남아 있어도 중앙값 오차는 거의 8배 가까이 감소했습니다. 이는 모델이 삭제된 결정의 물리적 행동을 진정으로 "잊는" 것이 아니라, 단순히 살아남은 친척들에게 그 빈자리를 채우도록 의존하고 있음을 보여주었습니다.

이것이 실제 상황에서도 유효한지 확인하기 위해, 연구팀은 수천 개의 실제 결정 구조에 이 방법들을 적용했습니다. 그들은 두 가지 서로 다른 모델 훈련 방식을 비교했습니다. 하나는 더 단순한 설정이었고, 다른 하나는 결정의 특성을 설명하기 위해 훨씬 더 많은 특징(feature)을 사용하는 더 복적인 설정이었습니다. 그들은 놀라운 트레이드오프를 발견했습니다. 복잡한 모델이 전반적으로 더 정확했지만, 동시에 단 하나의 기록 삭제에도 훨씬 더 민감했습니다. 기록이 삭제되었을 때, 복잡한 모델의 특정 항목에 대한 예측값은 단순한 모델의 예측값보다 훨씬 더 크게 변했습니다. 그러나 역설적이게도, 복잡한 모델은 재훈련 후에도 삭제된 항목에 대해 여전히 더 낮은 오차율을 기록했습니다. 이는 모델이 훈련 데이터의 변화에 매우 민감했음에도 불구하고, 주변 데이터가 매우 유익했기 때문에 삭제된 항목의 값을 거의 완벽하게 예측해 냈음을 의미합니다.

또한 이 연구는 모델을 처음부터 다시 훈련시키는 작업(이는 계산 비용이 매우 많이 듭니다)을 수행하지 않고도 언러닝 과정을 근사하는 다양한 방법들을 조사했습니다. 그들은 일부 방법들이 특정 삭제된 항목에 대한 오차를 성공적으로 높였지만, 종종 이와 무관한 다른 항목들에 대한 예측 성능을 저하시키는 결과를 초래한다는 것을 발견했습니다. 또 다른 방법들은 전체적인 모델 성능은 높게 유지했지만, 삭제된 항목에 대한 예측을 유의미하게 바꾸는 데 실패하여 해당 기록의 "기억"을 그대로 남겨두었습니다. 연구진은 단순히 모델이 삭제된 항목에 대해 덜 정확해졌는지를 확인하는 것만으로는 충분하지 않다고 결론지었습니다. 성공적인 언러닝 과정은 세 가지를 함께 살펴봄으로써 평가되어야 합니다: 삭제된 항목에 대한 예측이 얼마나 변했는지, 그 변화가 전체 재훈련이 만들어냈을 결과와 어떻게 비교되는지, 그리고 모델의 다른 물질에 대한 예측 능력이 보존되었는지 여부입니다.

이 "삭제 바닥"을 설정함으로써, 연구진은 과학계에 명확한 참조점을 제공했습니다. 그들은 재료 과학과 같이 물리 법칙이 데이터 포인트 간의 강력한 연결을 만드는 분야에서는, 모델이 기록을 잊은 것처럼 보이면서도 여전히 그것을 정확하게 예측할 수 있다는 점을 보여주었습니다. 논문은 미래의 평가 방식이 사후 삭제 정확도를 단순한 합격 또는 불합격 지표로 취급하는 것을 멈춰야 한다고 주장합니다. 대신, 재훈련에 의해 남겨진 구체적인 기준 오차, 모델 예측의 실제 변화량, 그리고 모델의 전반적인 건강 상태를 보고해야 합니다. 이러한 접근 방식은 시스템이 망각을 요청받았을 때, 우리가 막연한 프라이버시 개념이 아니라 데이터의 실체에 기반하여 무엇을 놓아주고 무엇을 유지했는지 정확히 알 수 있게 해줍니다.

기술 요약: 재학습 등가성(Retraining Equivalence)의 경계와 재료 머신 언러닝에서의 삭제 하한선(Deletion Floor)

1. 문제 정의

재료 머신 러닝에서 데이터셋은 화학적 조성과 결정 구조를 열역학적 타겟(예: 형성 에너지)에 매핑합니다. 근본적인 과제는 (이온 치환으로 인해 결정 격자를 보존하는 유사한 구조들로 인해) 인접한 잔류 구조들이 특정 레코드가 삭제된 후에도 정확한 특성 예측을 유지할 수 있다는 점에서 발생합니다. 결과적으로, 표준적인 삭제 후 예측 오차 지표는 모호해질 수 있습니다. 즉, 모델이 특정 레코드를 "잊었다"고 보이는 이유는 모델이 재학습을 통해 해당 타겟을 정확하게 예측할 수 있도록 하는 관련 레코드들이 데이터셋에 남아 있기 때문일 수 있습니다.

현재의 평가 프레임워크는 종종 업데이트된 모델을 삭제된 레코드가 없는 상태로 훈련된 참조 모델과 비교하는 데 의존합니다. 그러나 정확한 재학습 자체가 삭제된 타겟에 대해 무엇을 예측할지를 확립하지 못한다면, 지속적인 삭제 후 정확도는 언러닝 성능에 대한 결정적인 신호가 될 수 없습니다. 또한, 단순한 정확도 차이 측정은 분포 기반의 망각 점수와 충돌할 수 있으며, 멤버십 추론 공격(membership inference attacks)은 프라이버시 보장 수준을 과대평가할 수 있습니다. 핵심 문제는 특정 레코드의 훈련 기여도를 제거하는 것과 그 레코드가 나타내는 더 넓은 물리적 거동을 제거하는 것을 구분하는 것입니다.

2. 방법론

삭제 하한선과 재학습 등가성

저자들은 삭제 하한선(deletion floor, $\Phi$ )을 특정 삭제 요청 시 지정된 재학습 절차 하에서의 기대 타겟 손실로 정의합니다. 이는 정확한 재학습이 삭제된 타겟에 대해 본질적으로 무엇을 예측하는지에 대한 기준 참조 역할을 합니다.

재학습 등가성에 의해 제약되는 업데이트를 평가하기 위해, 본 논문은 업데이트 알고리즘( $P$ )의 출력 분포가 재학습된 분포( $Q$ )와 통계적으로 구별 불가능해야 한다는 대칭적 $(\epsilon, \delta)$ 재학습 등가성을 채택합니다.

날카로운 유계 손실 전이 (정리 1): 저자들은 삭제 하한선에 대한 업데이트의 기대 타겟 손실을 바운딩하는 날카로운 구간을 도출합니다. 이 구간은 등가성 파라미터 $(\epsilon, \delta)$ 와 손실 상한 $B$ 에 의존합니다. $(\epsilon, \delta) \to (0,0)$ 일 때, 경계는 삭제 하한선 $\Phi$ 로 수렴합니다.
타겟 억제 임계값: 본 논문은 언러닝 목적 함수가 특정 임계값 $\tau$ 까지 타겟 에러를 증가시키면서 등가성을 유지하기 위한 필요 조건(식 1)을 설정하여, 요구되는 "등가성 예산"을 정량화합니다.

잔류 예측 가능성의 메커니즘

본 논문은 왜 재학습이 삭제된 타겟을 예측 가능하게 만드는지 조사합니다:

조건부 이웃 바운드 (Conditional Neighbor Bound): 저자들은 만약 잔류하는 이웃이 정확하게 적합(fit)하고, 예측이 매끄럽게 변하며, 레이블이 일치한다면, 잔류하는 예시가 삭제된 타겟에 대한 예측 에러를 제약한다는 것을 증명합니다. 이는 삭제 하한선을 직접적으로 잔류 구조적 지지(structural support), 국소적 레이블 일치성, 그리고 예측 정규성과 연결합니다.
FloorScore: 이론적 바운드의 요청 수준 대리물(surrogate)로서, 가장 가까운 잔류 이웃의 적합도와 예측 변동성을 기반으로 하한선을 추정하는 경험적 진단 도구인 FloorScore를 구축합니다.

정확한 리지 분해 (Exact Ridge Decomposition)

리지 회귀를 사용하여, 저자들은 잔류 모델 적합도와 삭제로 인한 예측 변화를 분리하는 정확한 리지 항등식을 도출합니다.

재학습 잔차 (Retraining Residuals): 셔먼-모리슨(Sherman-Morrison) 항등식을 사용하여 재학습된 잔차와 삭제 하한선을 계산하는 정확한 폐쇄형 식(식 4)을 도출합니다. 이를 통해 재학습 에러가 조정된 전체 데이터 잔차와 삭제된 포인트의 레버리지(leverage)에 의해 지배됨을 밝힙니다.
예측 변화 (Prediction Change): 삭제 시 발생하는 총 예측 변화는 "패널티 재스케일링(penalty rescaling)" 구성 요소와 "행 제거(removing the row)" 구성 요소로 분해됩니다 (식 5). 이는 매우 정확한 모델 적합도가 레코드 제거 시에도 여전히 강력한 예측 민감도를 보일 수 있음을 보여줍니다.

실험 프로토콜

본 연구는 Materials Project(MP)의 44,344개 결정 구조와 통제된 중복성을 가진 합성 데이터셋을 활용합니다.

지표: 프로토콜은 재학형 하한선에 대한 제곱 타겟 손실, 정규화된 에러 비율, 그리고 원본, 재학습 및 업데이트된 모델 간의 예측 변화(부호가 있는 잔차)를 추적합니다.
비교: 연구는 근사 업데이트(예: NegGrad+, SCRUB 스타일, Newton 스타일, 경사 상승법)를 정확한 재학습 및 수정되지 않은 "업데이트 없음(no-update)" 대조군과 비교합니다.

3. 주요 기여

요청 수준의 참조 구간 도출: 본 논문은 단순한 스칼라 일치를 넘어 분포적 제약을 포함하여, 근사 재학습 등가성과 호환되는 타겟 손실을 정확하게 식별하는 날카로운 유계 손실 구간을 공식화합니다.
잔류 예측 가능성의 이론적 메커니즘: 잔류 지지와 연결된 조건부 이웃 바운드를 증명하고, 잔류 적합도와 삭제 유도 민감도를 분리하는 정확한 리지 분해를 도출합니다.
강건한 평가 프로토콜: 참조 손실(삭제 하한선), 예측 변화, 그리고 잔류 유틸리티를 독립적으로 보고하도록 요구하는 프로토콜을 제안합니다. 저자들은 이 지표들이 서로 다른 속성을 측정하며, 삭제 후 정확도는 재학습 자체가 남기는 결과에 비추어 해석되어야 함을 입증합니다.

4. 결과

중복성의 영향: 통제된 합성 스윕(sweeps)에서, 삭제된 레코드가 유일한 가족 구성원인 경우( $k=1$ )에서 잔류하는 친척이 존재하는 경우( $k=2$ )로 전환할 때, 중앙값 정규화 재학습 손실이 약 8배 감소합니다. 이는 잔류하는 친척이 정확한 재학습 후에도 정확한 예측을 유지할 수 있음을 확인시켜 줍니다.
피팅 레짐 의존성 (Fitting Regime Dependence): Materials Project 연구에서, 두 가지 뚜렷한 리지 레짐(2,048 특징 vs. 8,192 특징)은 삭제 하한선이 모델 용량 및 규제에 따라 체계적으로 변함을 보여주었습니다. 더 높은 용량의 레짐은 더 낮은 재학습 하한선(더 나은 정확도)을 달성했지만, 삭제 시 더 큰 예측 변화를 보였습니다.
정확도와 민감도의 분리: 200개의 요청 세트에 대한 공유 분석에서, 고용량 모델은 132개 요청에서 더 낮은 재학습 하한선을 달성한 반면, 172개 요청에서 더 큰 예측 변화를 보였습니다. 이는 높은 삭제 후 정확도가 낮은 삭제 민감도를 의미하지 않음을 확인해 줍니다.
근사 업데이트 vs. 유틸리티: 체계적인 비교 결과, 일부 업데이트(예: NegGrad+, Gradient Ascent)는 타겟 손실을 높이는 데(억제) 성공했지만, 종종 전체 모델 유틸리티를 저하시켰습니다(테스트 MSE 증가). 반대로, 잔류 미세 조정(retain fine-tuning)이나 Newton 스타일 업데이트는 유틸리티 측면에서 "업데이트 없음" 대조군 근처에 머물렀으며, 이는 타겟 억제만으로는 참조 일치 및 유틸리티를 고려하지 않은 성공적인 언러닝을 의미하지 않음을 강조합니다.

5. 의의 및 주장

본 논문은 삭제 하한선이 회귀 언러닝을 평가하기 위한 명시적인 기준선을 설정하며, 정확한 재학습에 의해 남겨진 잔여 타겟 에러를 측정한다고 주장합니다. 저자들은 다음과 같이 주장합니다:

모호성 해소: 지속적인 삭제 후 정확도는 삭제 하한선과 관련하여 해석되지 않으면 모호한 신호입니다. 만약 재학습 자체가 잔류하는 구조적 지지 덕분에 타겟을 정확하게 예측한다면, 그 정확도에 부합하는 업데이트는 "망각에 실패"한 것이 아니라, 재학습 참조 모델과 일치하는 것입니다.
평가 표준화: 언러닝 평가를 표준화하려면 재학습 예측, 레코드 제거에 따른 변화, 그리고 잔류 모델 유틸리티를 함께 보고해야 합니다. 본 논문은 형식적인 재학습 등가성을 증명하기 위해서는 스칼라 점 일치를 넘어 분포적 인증이 필요함을 강조합니다.
범위 제한: 저자들은 자신의 연구 결과가 특정 실험 및 이론적 범위(예: 특정 피팅 레짐, 리지 레버리지)를 반영하고 있음을 겸허히 밝힙니다. 이들은 본 연구를 "광범위한 행동 제거"나 "분포적 언러닝"과 같은 더 넓은 목표와 구별하며, 본 프로토콜이 요청 수준의 언러닝에 대한 투명한 계정을 제공하지만, 더 넓은 지식 제거는 확장된 프레임워크가 필요한 별개의 목적임을 명시합니다.

결론적으로, 본 연구는 요청 수준의 언러닝 평가가 의도적인 타겟 억제와 보존된 전체 모델 유틸리티를 분리하기 위해 "삭제 하한선"에 대비하여 삭제 후 정확도를 해석해야 한다고 결론짓습니다.