기술 요약: 의료용 언어 모델(LM)에 대한 임상적 근거 기반 프라이버시 평가

문제 정의

종단적 임상 노트를 학습한 의료 언어 모델(LM)은 일반 도메인 코퍼스에는 없는 치료 관행과 환자별 데이터를 캡처한다. 그러나 이러한 인코딩은 상당한 프라이버시 위험을 초래한다. 선행 연구들은 LM이 학습 데이터를 기억하고 재현할 수 있음을 보여주었으며, 이는 중복되거나 유사한 시퀀스를 생성하여 기억하기 쉽게 만드는 "copy-forward" 문서화 관행으로 인해 임상 환경에서 더욱 악화되는 문제이다.

기존의 프라이버시 평가는 공격자가 임의의 학습 접두사(prefix)를 보유하거나 일반적인 개인 속성을 추출하려고 시도하는 일반 도메인 위협 모델에 의존한다. 이러한 접근 방식은 **맥락적 규범(contextual norms)**이라는 임상 프라이버시의 특성을 반영하지 못한다. 임상 환경에서의 위험은 단순히 모델이 텍스트를 재현하는지 여부가 아니라, 해당 노출이 특정 개인과 연결되어 차별이나 해를 끼칠 수 있는 민감한 정보(예: 진단명)를 드러내는지에 달려 있다. 또한, 표준 지표인 exact-match(정확 일치) 기억 능력은 환자 특정적 유출과 전자 건강 기록(EHR)에서 흔히 나타나는 무해한 템플릿 문서 아티팩트를 혼동할 수 있다.

방법론

저자들은 현실적인 적대적 조건 하에서 의료용 LM을 조사하기 위해 설계된 임상적 근거 기반 프라이버시 평가 프레임워크를 소개한다. 이 방법론은 세 가지 핵심 구성 요소로 이루어진다.

1. 단계별 적대적 접근 권한 (사전 정보, Priors)

본 프레임워크는 대상 환자에 대한 전체 노트 접두사에 접근할 수 있다고 가정하는 대신, 타겟 환자에 대해 가질 수 있는 타당한 수준의 지식을 가진 공격자를 시뮬레이션한다. 사전 정보($\pi$)는 증가하는 접근 권한 축을 따라 다음과 같이 분류된다:

• 공공(Public): 공공 기록을 통해 추론 가능한 인구통계학적 정보(연령, 성별, 직업 등).
• 공공 + 성명(Public + Name): 인구통계학적 정보 및 환자의 이름.
• 공공 + 성명 + 약물(Public + Name + Meds): 약사나 간병인이 접근할 수 있는 부분적인 약물 목록 포함.
• 내원 정보(Encounter Info): 청구 담당자나 가구 구성원이 볼 수 있는 루틴 메타데이터(이름, 생년월일, 방문 날짜, 의료진, 진료소 위치).
• 내원 정보 + 주호소/HPI(Encounter Info + Chief Complaint / HPI): 최악의 경우인 부분적 유출을 모델링한 임상 노트 자체의 특권적 파편.

2. 이중 차원 프라이버시 측정

프레임워크는 두 가지 상호 보완적인 차원에서 유출을 평가한다:

• 축자적 기억(Verbatim Memorization): 생성된 텍스트와 학습 노트 간의 토큰 수준 $n$-gram 매칭($\tau=30$)을 통해 측정된다. 결정적으로, 저자들은 기억된 영역을 콘텐츠 유형(임상적으로 드러나는 내용 vs. 템플릿 내용)과 환자 특정성(대상 환자에게 고유한 것 vs. 여러 환자에게 중복되는 것)에 따라 분해한다. 이는 유해한 유출과 공유된 문서 아티팩트(예: "흉통 없음")의 무해한 재현을 구분한다.
• 민감한 진단의 의미론적 유출(Semantic Leakage of Sensitive Diagnoses): 모델이 직접적인 언급, 관련 증상 또는 약물을 통해 고위험 진단명(낙태, HIV, 우울증, 불안, 조울증, PTSD)을 공개하는지 평가한다. 이는 정확한 텍스트 중복이 없더라도 적용된다.

3. 매칭 코호트 설계 (Matched Cohort Design)

유출이 인구통계학적 추론이 아닌 학습 데이터 포함에 의한 것임을 입증하기 위해, 저자들은 매칭된 학습/비학습 코호트 설계를 사용한다. 연령, 성별, 노트 양에 대한 성향 점수 매칭(propensity-score matching)을 사용하여, 학습 코퍼스에 존재하는 환자와 존재하지 않는 환자에 대한 모델 성능을 비교한다. 이를 통해 "학습에 기인한 유출"을 인구 수준의 상관관계로부터 격리한다.

실험 설정

이 프레임워크는 미국 내 192개 농촌 가정의학과에서 수집된 26,948명의 환자로부터 얻은 10억 개의 토큰으로 지속적 사전 학습(continual pre-training)을 수행한 현대적 디코더 전용 LM(Qwen3.5-9B)에 적용되었다. 데이터셋은 2019년부터 2025년까지의 기간을 다루며, 환자당 중앙값 추적 관찰 기간은 3.8년이다.

주요 결과

1. 유출은 적대적 접근 권한에 따라 증가함

적대자의 환자 메타데이터 접근 권한이 커짐에 따라 프라이버시 유출이 크게 증가한다:

• 축자적 기억: 내원 정보(Encounter Info) 사전 정보(이름, 생년월일, 방문 날짜, 의료진, 위치) 하에서, 모델은 한 환자의 타임라인에 걸쳐 평균 2.81개의 서로 다른 노트로부터 축자적 내용을 재현한다. 기억률은 Public 사전 정보에서의 4.8%에서 Encounter Info + 주호소 + HPI 조건에서의 **85.6%**로 급증한다.
• 의미론적 공개: 루틴 메타데이터(Encounter Info)만으로도 고위험 진단명을 높은 정확도로 회복할 수 있다. 모델은 **낙태(abortion)**에 대해 AUROC 0.91, HIV에 대해 0.81을 달려 달성하며, 양성 예측도(PPV)는 각각 0.98과 1.0에 도달한다.
• 학습 귀속성: Encounter Info 수준에서 학습 코호트와 비학습 코호트 사이에 유의미한 격차가 발생한다(+0.191 AUROC 델타). 이는 유출이 인구통계학적 추론이 아닌 환자의 학습 데이터 존재에 기인함을 확인시켜 준다.

2. Exact-Match 지표는 위해성을 과장함

연구는 표준 exact-match 지표가 프라이버시 위험 추정치를 부풀릴 수 있음을 발견했다:

• Encounter Info 사전 정보 하에서, 기억된 토큰의 **36%**는 임상적으로 드러나는 내용이 아닌 템플릿(예: 표준적인 계통적 문진의 부정적 소견)이다.
• 기억된 영역의 **45%**는 여러 환자에게서 반복적으로 나타나며, 이는 "기억된" 텍스트의 상당 부분이 공유된 불필요한 문구(boilerplate)임을 나타낸다.
• 그러나 단일 환자의 타임라인 내에서는, 임상적으로 드러나는 환자 특정적 영역의 **37.5%**가 여러 노트에서 반복된다. 이는 "copy-forward" 문서화가 민감한 콘텐츠의 기억을 증폭시킨다는 것을 시사한다.

의의 및 주장

본 논문은 의료용 LM에 대한 맥락적 프라이버시 평가를 위한 실용적인 프레임워크를 제공한다고 주장한다. 주요 기여는 다음과 같다:

1. 현실적인 위협 모델링: 루틴한 내원 메타데이터(종종 비임상 직원이나 가족에게 노출되는 정보)만을 가진 공격자라도 상당한 축자적 기억과 민감한 진단명 회복을 유도할 수 있음을 입증함으로써, 비식별화나 전체 노트에 대한 접근 제한이 위험을 완화한다는 가설에 도전한다.
2. 미묘한 유출 측정: 모든 기억을 동일하게 취급하는 것이 위험의 본질을 가린다는 점을 강조한다. 프레임워크는 환자 특정적이고 임상적으로 드러나는 유출과 무해한 공유 문서 아티팩트의 재현을 구분한다.
3. 종단적 위험: 종단적 데이터 학습이 하나의 데이터 포인트(예: 방문 날짜)가 환자의 전체 과거 기록(HIV, 낙태와 같은 민감한 진단 포함)을 잠금 해제할 수 있는 위험을 생성한다는 증거를 제공한다.

저자들은 임상용 LM에 대한 프라이버시 감사가 일반적인 기억 테스트를 넘어, 현실적인 접근 수준 하에서 유출을 평가하고 드러난 정보의 임상적 중요성과 환자 특정성을 규명해야 한다고 결론짓는다. 또한, 평가를 위해 식별 가능한 데이터를 사용했다는 점과 base 모델에 집중했다는 점을 한계로 언급하며, 향-후 연구에서 이러한 요인들을 다루어야 한다고 제언한다.