REMEDI: A Benchmark for Retention and Unlearning Evaluation in Multi-label Clinical Disease Inference

기술 요약: REMEDI – 다중 레이블 임상 질환 추론에서의 보유 및 망각 평가를 위한 벤치마크

문제 정의
본 논문은 학습된 언어 모델에서 민감한 환자 데이터를 제거하는 것과 관련된 임상 도메인의 "기계 망각(machine unlearning, MU)" 과제를 다룹다. GDPR과 같은 규정은 "잊힐 권리"를 확립하고 있지만, 데이터 제거 후 모델을 처음부터 다시 학습시키는 것은 계산 비용 측면에서 매우 비효전적이다. 기존의 MU 방법론과 벤치마크는 주로 비의료 분야에 국한되어 있거나, 실제 의료 시스템의 복잡성을 반영하지 못하는 합성 데이터셋에 의존하고 있다. 저자들은 현재의 벤치마크가 레이블 상관관계, 종단적 구조, 엄격한 안전 요구사항과 같은 의료 데이터의 고유한 제약 조건을 충분히 포착하지 못하고 있으며, 이로 인해 의료 분야에서 망각 방법론의 효과를 파악하기 어렵다고 주장한다.

방법론 및 벤치마크 구축
이러한 격차를 해소하기 위해, 저자들은 다중 레이블 및 다중 클래스 임상 질환 추론에 특화된 REMEDI(Retention and Unlearning Evaluation in Multi-label Clinical Disease Inference)를 도입한다.

• 데이터 소스: 본 벤치마크는 MIMIC-III 임상 데이터베이스를 활용하며, 퇴원 요약지와 관련 진단 결과를 중심으로 한다. 작업은 전자 건강 기록(EHR)을 ICD-9-CM 코드로 매핑하는 것이다. 작업 복잡성과 임상적 관련성의 균형을 맞추기 위해, 저자들은 가장 빈번한 10가지 질병 카테고리(예: 고혈압, 심부전, 당뇨병)를 선택하였으며, 환자가 여러 가지 동반 질환을 가질 수 있는 다중 레이블 분류 문제로 프레임을 설정하였다.
• 작업 설정: 망각 작업은 인스턴스 수준의 제거로 정의된다. 학습된 모델 $f_\theta$, 망각 집합 $D_f$ (제거할 민감한 기록), 그리고 보유 집합 $D_r$ (보존할 기록)이 주어졌을 때, 목표는 $D_r$에 대해서만 학습된 것처럼 동작하면서도 개인정보 보호 제약 조건을 충족하는 망각 모델 $f_{\theta'}$를 생성하는 것이다.
• 망각 심각도 수준: Robustness를 테스트하기 위해 세 가지 시나리오를 정의한다:
  1. 독립적 인스턴스 (낮은 심각도): 망각 집합과 보유 집합 사이에 중복이 없는 개별 환자 삭제 요청을 시뮬레이션한다. 망각 집합의 크기는 64에서 512개의 인스턴스 범위이다.
  2. 동시 발생 인스턴스 (중간 심각도): 망각 집합과 보유 집합이 유사한 임상적 특성(예: 유사한 인구통계학적 특성 또는 입원 패턴)을 공유하는 현실적인 시나리오를 시뮬레이션한다. 망각 인스턴스의 절반이 보유 집합과 중복된다.
  3. 대규모 인스턴스 (높은 심각도): 대규모 데이터 삭제 요청(예: 규제 준수)을 시뮬레이션하며, 망각 집합은 학습 데이터의 3%, 4%, 5%로 구성된다.
• 평가 지표: 본 벤치마크는 두 가지 핵심 차원을 평가한다:
  1. 유용성(Utility): 테스트, 보유, 망각 집합에 대한 Macro-F1 점수로 측정된다. 이상적인 망각 모델은 보유 및 테스트 집합에 대해 재학습된 모델과 성능이 일치해야 하며, 망각 집합에 대해서는 성능이 저하되어야 한다.
  2. 개인정보 보호(Privacy): **멤버십 추론 공격(Membership Inference Attacks, MIA)**을 통해 평가된다. 모델 손실(loss)을 기반으로 망각 집합 샘플과 홀드아웃(holdout) 집합 샘플을 구분하는 이진 분류기를 학습시킨다. MIA 점수가 0에 가까울수록 강력한 프라이버시 보장을 의미하며, 0.5는 무작위 추측(완벽한 망각)을 나타낸다.

실험 설정
저자들은 두 가지 생물 의학 언어 모델인 BioLinkBERT와 BioBERT를 대상으로 네 가지 대표적인 망각 방법론을 평가한다. 베이스라인은 다음과 같다:

1. Gradient Ascent (GA): 망각 데이터에 대한 손실을 최대화한다 (보유 데이터 인지 기능을 포함한 변형인 GA+R 포함).
2. Adversarial Unlearning (AU): 망각 샘플의 영향력을 줄이기 위해 적대적 섭동(adversarial perturbations)을 사용한다 (가중치 정규화 변형인 AU+WR 포함).
3. Bad Teacher (BT): 망각 데이터에는 약한 교사(weak teacher)를, 보유 데이터에는 강한 교사(strong teacher)를 사용하는 지식 증류(knowledge distillation)를 사용한다.
4. SCRUB: 망각 샘플과 보유 샘플의 표현(representation) 간의 불일치를 최대화하도록 모델을 미세 조정한다.

주요 결과

• 유용성-개인정보 보호 트레이드오프: 실험 결과 유용성 보존과 망각 효능 사이의 상당한 트레이드오프가 드러났다.
• 방법론별 성능:
  • Gradient Ascent (GA): 심각한 성능 저하를 일으켜 모델의 예측 능력을 사실상 무력화했다. 보유 인지 변형인 GA+R이 이를 완화했으나 여전히 한계를 보였다.
  • Adversarial Unlearning (AU): 중간 정도의 효과를 보였으나, 특히 대규모 시나리오에서 안정성 문제가 발생했다.
  • Bad Teacher (BT): 중간 정도의 유용성 보존을 달了했으나, 잔류하는 교사의 영향으로 인해 대규모 망각 시나리오에서 상당한 성능 저하를 겪었다.
  • SCRUB: 유용성과 프라이버시 사이에서 최적의 균형을 달성했다. 다양한 망각 집합 크기에 대해 재학습된 모델에 근접한 성능을 유지하면서도 강력한 프라이버시 지표를 유지했다.
• 모델 민감도: BioLinkBERT가 유용성 보존과 프라이버시 유지 측면 모두에서 BioBERT보다 일관되게 우수한 성능을 보였는데, 이는 엔티티 연결 사전 학습을 통해 더 풍부한 임상적 의미를 포착하기 때문인 것으로 분석된다. BioBERT는 망각 개입에 더 높은 민감도를 보였다.
• 확장성: 소규모 데이터 제거에 최적화된 대부분의 망각 방법론은 대규모 망각 요청 시 유용성을 유지하는 데 어려움을 겪었다. SCRUB만이 BioBERT에 대해 모든 망각 집합 크기에서 재학습된 모델과 유사한 성능을 일관되게 유지할 수 있는 유일한 방법이었다.

의의 및 기여
본 논문은 세 가지 주요 기여를 주장한다:

1. 현실적인 의료 테스트베드: REMEDI는 실제 환자 데이터(MIMIC-III)를 사용하여 망각 방법론을 평가할 수 있게 함으로써, 합성 벤치마크보다 더 현실적인 평가를 제공한다.
2. 다양한 제거 시나리오: 망각-보유 간의 중복이 존재하는 도전적인 상황을 포함하여, 다양한 실제 데이터 삭제 요구를 포착하는 세 가지 망각 심각도 수준을 도입하였다.
3. 복잡한 다중 레이블 작업: 상관관계가 있는 질병 레이블을 가진 다중 레이블 분류에 집중함으로써, REMEDI는 기존의 단일 레이블 벤치마크보다 더 까다로운 테스트베드를 제시한다. 이러한 복잡성은 보유 집합 내의 유효한 레이블 상관관계를 방해하지 않으면서 학습된 표현을 분리해내는 것의 어려움을 강조한다.

저자들은 REMEDI가 비의료 벤치마크에서 잘 작동하는 망각 방법론들의 실패 모드를 드러낸다고 결론지으며, 레이블 상관관계 및 대규모 삭제 요청과 같은 임상 데이터의 고유한 복잡성을 처리할 수 있는 방법론의 필요성을 강조한다.