기술 요약: 임상 파운데이션 모델에서의 환자 개인정보 보호

문제 정의

대규모 환자 데이터를 학습한 임상 파운데이션 모델(Foundation Models, FMs)은 의사 결정 지원, 스크리닝, 공중 보건 분야에 도입되어 그 활용도가 높아지고 있다. 이러한 모델들은 환자의 치료 결과를 개선할 수 있는 상당한 잠재력을 제공하지만, 그 확장은 기존의 규제 프레임워크(HIPAA 및 GDPR 등)가 해결하기 어려운 새로운 개인정보 보호 위험을 초래한다. 전통적인 프레임워크는 정적 데이터(수집, 접근, 공개)의 직접적인 취급에 초점을 맞추며, 비식별화가 위험을 효과적으로 완화할 것이라고 가정한다. 그러나 FMs는 모델이 학습한 파라미터와 생성된 출력을 통해 정보가 노출되는 **모델 매개 누출(model-mediated leakage)**을 유발하며, 이는 기존의 데이터 관리 방식과는 다른 차원의 문제를 제기한다.

이러한 누출 경로는 배포 전략(로컬 vs. 공개)과 데이터 양상(텍스트, 영상, 생물학적 측정치)에 따라 매우 가변적이다. 현재의 규정들은 모델이 학습된 아티팩트를 암기하거나, 식별 가능한 기록을 재구성하거나, 비식별 데이터로 학습되었음에도 특정 코호트에 속해 있음을 드러내는 등의 "간접적 위협"에 대한 지침이 부족하다. 이러한 위험의 빈도와 심각성은 아직 충분히 정량화되지 않았으며, 이는 기술적 현실과 법적 준거 사이의 간극을 만든다.

방법론

저자들은 임상 파운데이션 모델의 개인정보 보호 위험을 평가하기 위해 이차원적, 맥락 인식형 프레임워크를 제안한다. 이 프레임워크는 데이터를 단순히 "개인정보가 포함된 것"과 "포함되지 않은 것"으로 나누는 이분법적 분류를 넘어, 다음 두 가지 직교하는 축을 따라 누출 특성을 규정한다:

1. 축 I: 요구되는 사전 정보 (Prior Information Required): 누출을 유발하기 위해 공격자가 보유해야 하는 정보의 양과 유형.
   • 사전 정보 없음/공개 정보: 특정 환자의 맥락 없이 무조건적인 생성이나 암기된 콘텐츠를 탐색하는 프롬프트를 통해 누출이 발생함.
   • 연결 가능한 개인 정보: 모델이 추가적인 민감한 세부 사항을 추론할 수 있도록 하는 부분적인 입력값(예: 약물 목록, 특정 진단명 또는 인구통계학적 정보)이 필요함.
2. 축 II: 누출된 정보의 유형 및 범위 (Type and Extent of Leaked Information): 모델에 의해 드러나는 정보의 민감도.
   • 연결 가능한 개인 정보: 외부 소스와 결합했을 때 식별 가능해지는 재구성된 비식별 데이터.
   • 식별 가능한 개인 정보: 보호 대상 건강 정보(PHI)의 직접적인 노출 또는 비공개 학습 데이터의 축자적 재현.

방법론은 다양한 배포 경로(의료 시스템 내 로컬 배포 vs. API, 웹 인터페이스, 오픈 웨이트를 통한 공개 배포)에 따른 현실적인 누출 시나리오를 이 위험 공간에 매핑하는 과정을 포함한다. 이후 이러한 시나리오들을 미국의 HIPAA 및 유럽의 GDPR, EU AI Act와 같은 현재의 법적 체계와 대조하여 규제 격차와 의무 사항을 분석한다.

주요 기여

1. 실용적인 위험 평가 프레임워크

본 논문은 이해관계자들이 사전 정보 획득 가능성과 잠재적 누출의 민감도를 기준으로 개인정보 보호 위험을 평가할 수 있는 구조화된 이축 프레임워크를 도입한다. 이 프레임워크는 위험이 범주적이 아닌 연속적임을 보여준다. 즉, 통제된 로컬 환경에서는 저위험인 모델 동작이 보조 데이터가 풍부한 공개 배포 환경에서는 고위험이 될 수 있음을 입증한다.

2. 누출 시나리오의 특성화

저자들은 개인정보 침해가 실제로 어떻게 발생하는지 보여주는 6가지 구체적인 누출 시나리오(S1–S6)를 상세히 설명한다:

• S1 (재구성, Reconstruction): 생성 모델이 독특한 해부학적 특징을 유지한 채 뇌 MRI와 같은 학습 이미지를 거의 완벽하게 복제하여 생성하는 경우.
• S2 (암기, Memorization): 특정 맥락적 단서(예: 병원 위치, 날짜, 증상)가 주어졌을 때 실제 환자의 병력과 밀접하게 일치하는 임상 노트를 생성하는 경우.
• S3 (누출된 자동 완성, Leaked Autocompletion): 초안 작성 중 한 환자의 식별자를 다른 환자의 기록에 삽입하는 경우 (예: 자동 완성이 다른 환자의 전화번호를 제안함).
• S4 (맥락적 자동 완성, Contextual Autocompletion): 희귀 임상 사례에 대해 고유한 과거 학습 사례를 반영하는 매우 구체적인 서사를 생성하는 경우.
• S5 (멤버십 누출, Membership Leakage): 모델의 임베딩 유사성이나 캘리브레이션 동작을 바탕으로 특정 개인의 데이터가 학습 세트에 포함되었는지 여부를 추론하는 경우.
• S6 (이차적 활용, Secondary Use): 특정 연구 목적으로 동의받은 데이터를 새로운 동의 없이 일반 목적의 AI 학습에 재사용하여 발생하는 "목적 표류(purpose drift)".

3. 법적 및 규제적 분석

본 논문은 이러한 기술적 위험을 미국과 유럽의 법적 환경 내에 위치시킨다:

• HIPAA의 한계: 저자들은 HIPAA가 "대상 기관(covered entities)"과 "PHI"에만 적용된다는 점을 지적한다. 만약 데이터에서 18가지 식별자가 제거되었고 해당 기관이 재식별 위험에 대한 "실제 인지(actual knowledge)"가 없다면, 모델이 나중에 정보를 누출하더라도 HIPAA 위반이 아닐 수 있다. 프레임워크는 모델 매개 누출이 이러한 "실제 인지"에 해당할 수 있다고 제안하지만, 이는 법적으로 불확실한 영역이다.
• GDPR 및 EU AI Act: GDPR 하에서 "식별 가능성"은 컨트롤러가 이용 가능한 수단을 기준으로 평가된다. 본 논문은 모델 출력을 통해 재식별이 합리적으로 가능하다면, 비식별된 데이터라도 "개인 데이터"가 될 수 있다고 주장한다. EU AI Act는 많은 임상 FMs를 "고위험"으로 분류하여 위험 관리를 요구하지만, 현재로서는 암기나 재구성에 대한 구체적인 임계치를 제시하지 못하고 있다.

4. 완화 전략

논문은 모델 생애주기 전반에 걸친 상호 보완적인 기술적, 법적 완화 방안을 제시한다:

• 데이터 수집: 희귀 샘플을 희석하고 암기를 줄이기 위해 크고 이질적인 다기관 코호트의 필요성을 강조한다. 또한 출처 추론을 방지하기 위한 일관된 비식별화 관행의 중요성을 강조한다.
• 모델 개발: 개인정보 보호 특화 평가(멤버십 추론, 추출 테스트, 레드팀 활동)와 차분 프라이버시(Differential Privacy, DP)와 같은 기술적 통제를 통해 누출에 대한 공식적인 경계를 제공할 것을 권고한다.
• 배포: 단계적 접근 제어, 속도 제한(rate limiting), 그리고 아키텍처 분리를 제안한다. 또한 의도치 않은 데이터 누출에 관한 미국의 현행 불법 행위법(tort law)의 한계와 HIPAA 하에서의 사적 소송권 부재를 언급한다.
• 배포 후 관리: 지속적인 감사, 카나리 삽입(canary insertion), 그리고 암기된 콘텐츠를 제거하기 위한 "기계 학습 삭제(machine unlearning)"를 제안하지만, 이러한 구제 조치에 대한 법적 명령은 현재 구체화되지 않은 상태이다.

결과 및 발견 사항

• 맥락이 핵심이다: 동일한 모델 동작이라도 배포 환경에 따라 판이하게 다른 위험을 초래한다. 공개 배포(오픈 웨이트, API)는 통제된 로컬 배포에 비해 위협 표면을 크게 확장시킨다.
• 규제 격차: 기존 프레임워크는 동적인 모델 매개 누출을 처리하기에 부적합하다. 이는 추론과 재구성의 확률적 특성보다는 정적인 데이터 취급 정의에 의존하기 때문이다.
• 위험의 연속체: 개인정보 보호 위험은 이분법적이지 않다. 낮은 장벽의 사전 정보와 높은 민감도의 누출이 결가될 때 가장 심각한 위협이 발생하는 스펙트럼 상에 존재한다.
• 법적 불확실성: 모델 출력이 직접적인 데이터 덤프가 아닌 확률적 재구성인 경우, 이를 현행법상 "공개(disclosure)"로 볼 수 있는지에 대해 상당한 모호성이 존재한다.

의의

본 논문의 주요 의의는 기술적 현실을 신흥 규제 기대치와 일치시키는 실용적이고 맥락 인식적인 렌즈를 제공하는 데 있다. 추상적인 형식적 기준을 넘어 현실적인 사용 시나리오를 제시함으로써, 이 프레임워크는 다음을 돕는다:

1. 가치 보존: 임상적 이익을 위한 의료용 FMs의 지속적인 개발과 배포를 가능하게 한다.
2. 개인정보 보호: 현재의 규제가 간과하고 있는 누출 경로를 엄격하게 식별하고 완화한다.
3. 정책 가이드: 추론, 민감도, 확률적 공개라는 파운데이션 모델의 특성을 더 잘 반영하도록 법적 표준의 진화를 이끈다.

저자들은 법적 환경이 변동 중이지만, 특히 헬스케어 AI 시스템이 전통적인 임상 환경을 넘어 광범위한 공공 및 상업적 영역으로 확장됨에 따라 혁신과 환자 안전 사이의 균형을 맞추기 위해 구조화된 위험 평가가 필수적이라고 결론짓는다.