AMNESIA: A Large Scale Medical Unlearning Benchmark Suite with Disease-Informed Analysis

기술 요약: AMNESIA

문제 정의
의학적 지식은 동적이므로, 전체 재학습 없이도 훈련된 거대 언어 모델(LLM)로부터 정보를 업데이트하거나 선택적으로 제거할 수 있는 능력이 필요합니다. 머신 언러닝(machine unlearning)으로 알려진 이 능력은 개인정보 보호 규정(예: GDPR의 "잊힐 권리")을 준-수하고 잘못된 의료 기록을 수정하는 데 필수적입니다. 그러나 기존의 언러닝 벤치마크는 합성 데이터나 소규모 일반 도메인 작업에 의존하고 있어, 임상적 언러닝 연구는 미비한 상태입니다. 현재의 방법론들은 특정 환자의 데이터를 잊는 것과 공유된 임상 지식을 보존하는 것 사이의 구분이 복잡한 의료 질의응답(QA) 분야를 위한 표준화된 평가 체계가 부족합니다.

방법론
저자들은 의료 언러닝을 위한 최초의 대규모 오픈 소스 벤치마크인 AMNESIA를 소개합니다. 이 방법론은 데이터셋 구축, 벤치마크 설계 및 평가 지표를 포함합니다:

• 데이터셋 구축: 데이터셋은 PMC-Patients-v2에서 추출한 8,820개의 비식별 환자 기록으로부터 파생된 70,560개의 질의응답(QA) 쌍으로 구성됩니다. 이 기록들은 11가지 질병 카테고리(예: 암, 심혈관, 감염성/면역계)를 포괄합니다.
  • QA 생성: 각 환자에 대해 8개의 QA가 생성됩니다: 4개는 사실적 질문(직접적 회상을 테스트), 나머지 4개는 추론 질문(여러 소견에 걸친 임상적 추론을 테스트)입니다.
  • 검증: 세 가지 LLM(MedGemma, Qwen, GPT-5-Mini) 패널과 생물학 전공 학생 검수자를 활용한 인간 참여형(human-in-the-loop) 평가를 통해 질병 레이블과 QA 품질을 검증하였으며, 높은 일치율을 달 גם성하였습니다.
• 데이터 분할: 이 벤치마크는 두 가지 망각 시나리오를 지원합니다:
  1. 무작위 환자 수준(Random Patient-Level): 망각 대상이 될 환자들의 무작위 하위 집합(5% ~ %25)을 선택합니다.
  2. 질병 수준(Disease-Level): 특정 질병 카테고리를 공유하는 환자들을 망각 대상으로 선택하여, 다른 질환은 유지하면서 특정 질환을 언러닝하는 모델의 능력을 테스트합니다.
  • 일반화를 평가하기 위해 환자당 보지 못한(unseen) QA로 구성된 **홀드아웃 세트(Holdout Set)**를 생성합니다.
• 베이스 모델 및 언러닝 방법: 벤치마크는 환자 기록으로 사전 학습되고 QA 쌍으로 미세 조정된 LLaMA 3-8B를 베이스 모델로 사용합니다. OpenUnlearning 프레임워크의 네 가지 대표적인 언러닝 방법을 평가합니다:
  • RMU: 망각 세트 입력의 내부 표현을 무작위 타겟으로 유도합니다.
  • GradDiff: 그래디언트 상승(gradient ascent)을 통해 망각 세트에 대한 손실은 최대화하고 유지 세트에 대한 손실은 최소화합니다.
  • KL-Min: 유지 세트의 출력을 보존하기 위해 KL-다이버전스 정규화를 사용하여 망각 세트에 대한 그래디언트 상승을 수행합니다.
  • **SimNP: 참조 모델 없이 망각 샘플을 부정적 선호도(negative preferences)로 취급합니다.
  • 참고: 효율성과 이전 연구와의 일관성을 위해, 언러닝은 모델의 7번 레이어에 선택적으로 적용됩니다.
• 평가 지표:
  • 표준 지표: 유지 세트에 대한 모델 효용성(Model Utility, MU)과 망각 세트에 대한 답변 망각 효능(Answer Forget Efficacy, AFE)은 ROUGE, Exact Match (EM), 코사인 유사도 (CS), 함의 점수 (ES)의 조화 평균을 통해 계산됩니다. 토큰 엔트로피(Token Entropy, TE)와 퇴화 점수(Degradation Score, DS)는 출력 붕괴를 측정합니다.
  • 새로운 지표: 질병 키워드 누출(Disease Keyword Leakage, LS). 이 지표는 특정 용어가 지속됨으로써 발생하는 개인정보 침해 문제를 다루기 위해, scispaCy를 통해 추출되어 시드 리스트와 매칭된 질병 특유의 의료 용어가 모델 출력에 다시 나타나는 정도를 정량화합니다.

주요 기여

1. 최초의 대규모 임상 벤치마크: AMNESIA는 11가지 질병 카테고리에 걸친 8,820명의 환자로부터 추출한 70,560개의 QA를 제공하며, 사실적 회상과 임상적 추론을 구분합니다.
2. 다층적 평가: 무작위 환자 분할을 넘어, 언러닝이 공유된 의료 지식에 어떤 영향을 미치는지 분석하기 위해 질병 수준의 망각 시나리오를 도입했습니다.
3. 포괄적 분석: 네 가지 다양한 언러닝 방법을 평가하여 임상 맥락에서의 한계를 밝혀냈습니다.
4. 도메인 특화 누출 지표: 높은 AFE에도 불구하고 의료 용어가 지속되는 문제를 탐지하기 위해 질병 중심의 키워드 평가를 도입했습니다.
5. 오픈 릴리스: 데이터셋, 코드 및 훈련된 모델을 제한 없이 공개합니다.

결과 및 분석

• 무작위 환자 수준 언러닝: 기존 방법들은 상당한 어려움을 겪습니다.
  • RMU와 SimNPO는 높은 모델 효용성(MU)을 유지하지만, 효과적으로 망각하지 못해(낮은 AFE) 환자 정보를 지우지 못함을 시사합니다.
  • KL-Min과 GradDiff는 높은 AFE를 달성하지만, 그 대가로 모델 효용성이 저하되며, 선택적 삭제보다는 모델 붕괴(반복적이고 비논리적인 출력)를 초래하는 경우가 많습니다.
  • 홀드아웃 평가: 모델들은 근본적인 환자 기록을 망각하기보다 특정 훈련 QA만을 망각하는 경향이 있으며, 이는 동일 환자에 대한 보지 못한 질문에 답하지 못하는 것으로 나타납니다.
• 질병 수준 언러닝:
  • 동일한 질병을 가진 환자를 언러닝하는 것은 트레이드오프를 드러냅니다: 망각 세트의 크기가 커질수록 AFE는 개선되지만, 동일 질병을 가진 유지 환자들에 대한 MU가 크게 저하됩니다. 이는 특정 조건의 환자 집단을 제거하는 것이 해당 조건에 대한 모델의 공유 임상 지식을 침식함을 의미합니다.
  • KL-Min과 GradDiff는 질병 타겟 언러닝(타 질병 환자에 대한 효용성 유지)을 보여주지만, 여전히 동일 질병 내 유지 환자들에 대한 효용성 손실을 겪습니다.
• 키워드 누출:
  • RMU와 SimNPO 같은 방법은 AFE가 중간 수준으로 나타나더라도 질병 특유의 용어 누출(10~25% 누출률)이 심각하게 나타납니다.
  • KL-Min과 GradDiff는 거의 제로에 가까운 누출을 보이지만, 이는 성공적이고 안전한 언러닝 때문이 아니라 비논리적인 출력(높은 퇴화 점수) 때문입니다.
  • 질병 수준 분할에서, 망각 세트가 커질수록 누출은 감소하며, 이는 공유된 의료 지식의 침식과 상관관계를 보입니다.

의의 및 주장
본 논문은 AMNESIA가 의료 데이터에 적용될 때 현재의 언러닝 방법들이 가진 결정적인 한계를 노출한다고 주장합니다. 저자들은 다음과 같이 단언합니다:

1. 현재의 방법은 불충분함: 기존 방법들은 효과적으로 망각에 실패하거나, 모델 붕괴를 통해 망각을 달성하는데, 둘 다 임상 적용에는 허용될 수 없습니다.
2. 환자와 지식의 분리: 개별 환자를 언러닝하는 작업은 종종 동일한 질환을 가진 다른 환자들의 지식까지 침식하며, 이는 환자 특정 데이터와 공유된 임상 지식을 분리하는 것이 얼마나 어려운지를 보여줍니다.
3. 개인정보 보호 위험: 높은 AFE가 개인정보 보호를 보장하지는 않습니다. 모델은 여전히 특정 의료 용어를 누출하거나 패러프레이징된 질의를 통해 정보를 복구할 수 있습니다.
4. 특화된 기술의 필요성: 이러한 결과는 공유된 의료 지식의 효용성을 해치지 않으면서 환자 정보를 지울 수 있는 의료 특화 언러닝 기술의 필요성을 강조합니다.

저자들은 AMNERIA가 이 분야를 발전시키기 위한 필수적인 벤치마크 역할을 한다고 결론짓는 동시에, 답변 수준의 지표 의존성, 단일 베이스 모델 사용, 그리고 동반 질환을 단일 질병 카테고리로 단순화한 점 등의 한계를 겸허히 인정합니다. 또한, 평가된 모델 중 어느 것도 임상 용도로 검증되지 않았음을 명시합니다.