Privacy Leakage in Federated Learning in Radiology Reports: A Comparative Evaluation of Tokenizer-Driven Privacy Risks

기술 요약: 방사선 보고서의 연합 학습 내 프라이버시 유출

문제 정의
연합 학습(Federated Learning, FL)은 HIPAA 및 GDPR과 같은 규정을 준는 데 필수적인 요구 사항인 원시 데이터 공유 없이 다기관 모델 학습을 가능하게 합니다. 그러나 최근 연구에 따르면, 공유된 모델 업데이트(그레디언트)가 그레디언트 역전 공격(gradient inversion attacks)을 통해 민감한 입력 데이터를 재구성하는 데 악용될 수 있음을 시사합니다. 이러한 취약성은 일반적인 언어 데이터셋과 의료 영상 분야에서는 탐구되어 왔으나, 방사선 보고서(비정형 임상 텍스트)에서의 프라이버시 유출 정도와 **토크나이저 설계(tokenizer design)**가 이러한 위험을 매개하는 구체적인 역할은 여전히 불분명합니다. 방사선 보고서는 밀집된 임상 정보(진단, 절차, 해부학적 구조 등)를 포함하고 있어, 만약 이것이 재구성될 경우 환자 재식별로 이어질 수 있습니다.

연구 방법론
본 연구는 시뮬레이션된 FL 환경에서 그레디언트 기반 텍스트 재구성에 대한 통제된 최악의 사례 평가를 수행합니다.

• 설정: 6개의 시뮬레이션된 FL 클라이언트를 사용하여 두 가지 공개 방사선 코퍼스(Dischargesum 데이터셋: 98,206개의 요약문, 368,751개의 진단 보고서; 그리고 1,500개의 MIMIC-CXR 자유 텍text 보고서 샘플)를 대상으로 컴팩트한 GPT-2 스타일 트랜스포머(3계층 인코더, 약 1,340만 개의 파라미터)를 학습시켰습니다.
• 변수: 기본 모델 아키텍처는 고정한 상태에서, 세 가지 전략에 따라 토크나이저를 변화시키며 실험했습니다:
  1. GPT-2 (범용 목적, 50,257개 토큰)
  2. RadBERT (도메인 특화 방사선 토크나이저, 30,522개 토큰)
  3. LLaMA-2 (범용 목적, 32,000개 토큰)
• 위협 모델: 능동적 악의적 서버(active malicious server) 시나리오입니다. 서버는 중앙 집계기를 제어하며, 클라이언트별 그레디언트를 관찰하고, 모델 배포 전에 모델 아키텍처에 경량 "임프린트(imprint)" 모듈(선형 프로브)을 삽입합니다. 이 모듈을 통해 서버는 최적화 과정 없이도 그레디언트로부터 토큰 임베딩을 분석적으로 복구할 수 있습니다.
• 공격 메커니즘: 서버는 폐쇄형(closed-form) 분석적 역전 방법을 사용합니다. 위치 임베딩(positional embeddings) 이전에 프로브를 삽로함으로써, 서버는 배치 내 개별 토큰의 기여도를 구조적으로 분리하는 그레디언트를 포착합니다. 서버는 각 토큰의 은닉 벡터(hidden vector)를 복구하고, 코사인 유사도를 사용하여 해당 토크나이저의 임베딩 테이블 내 가장 가까운 토큰으로 디코딩하며, 동점 발생 시 모델의 언어 헤드 로짓(language head logits)을 사용하여 해결합니다.
• 평가: 재구성 충실도는 다섯 번의 독립적인 실행에 걸쳐 다음 지표로 측정되었습니다:
  • 정확한 문장 정확도(Exact Sentence Accuracy): 실제 정답 문장과 완전히 일치하는 문장의 비율.
  • S-BLEU, G-BLEU, ROUGE-L: 부분적 텍스트 복구 및 n-gram 중첩도를 측정하는 지표.
  • 임상 용어 재현율(Clinical Term Recall): 참조 세트(1,440개의 고유 용어)에 대해 Google MedGemma NER 모델을 사용하여 특정 의료 엔티티(진단, 절차 등)의 복구 여부를 측정.
• 파라미터: 집계의 입도(granularity)가 유출에 미치는 영향을 평가하기 위해 배치 크기(64, 128, 256)를 변화시키며 실험했습니다.

주요 결과

• 상당한 수준의 유출: 방사선 보고서의 상당 부분이 재구성되었습니다. 모든 토크나이저와 데이터셋에서 정밀한 문장 재구성 정확도는 31%에서 44% 사이였습니다.
  • 배치 크기 64(Discharge 데이터셋) 기준, 정확도는 GPT-2 42.1%, RadBERT 42.3%, LLaMA-2 39.4%였습니다.
  • 배치 크기가 커짐에 따라 정확도가 감소했으나(예: 배치 크기 256에서 약 34~37%로 하락), 여전히 무시할 수 없는 수준이었습니다.
• 토크나이저의 영향: RadBERT는 GPT-2 및 LLaмA-2보다 일관되게 높은 재구성 충실도를 보였습니다.
  • RadBERT는 GPT-2(180개 용어, 12.5% 재현율) 및 LLaMA-2(136개 용어, 9.4% 재현율)에 비해 더 높은 S-BLEU 점수를 기록하고 더 많은 임상 용어(260개 용어, 18.1% 재현율)를 복구했습니다.
  • 질적 분석 결과, RadBERT는 의료 관련 엔티티(예: "catheter", "nodularity")를 더 충실하게 보존한 반면, 범용 토크나이저는 이러한 용어들을 서브워드(subword)로 파편화하여 더 높은 탈락률을 보였습니다.
• 배치 크기 효과: 배치 크기를 늘리면 (그레디언트 평균화 및 분석적 복구 과정에서의 빈 충돌(bin collisions)로 인해) 유출이 감소했지만, 완전히 제거되지는 않았습니다. 가장 큰 배치 크기에서도 거의 3분의 1의 문장이 완전히 복구되었습니다.
• 임상 엔티티 복구: 공격은 단순한 상용구(boilerplate text)뿐만 아니라 특정 임상 개념(진단, 절차, 약물 등)을 성공적으로 복구했습니다. 모든 모델에 걸쳐 총 380개의 고유 임상 용어가 복구되었으며, 이는 참조 세트에 대한 누적 복구율 26.4%를 나타냅니다.

핵심 기여

1. 최초의 체계적인 토크나이저 평가: 본 연구는 모델 아키텍처를 동일하게 유지하면서 토크나이저 설계를 그레디언트 역전 공격의 주요 변수로 분리하여 조사한 첫 번째 연구입니다.
2. 프라이버시-유용성 트레이드오프 발견: 본 연구는 역설적인 발견을 제시합니다. 즉, 도메인 특화 토크나이저(RadBERT)는 임상적 성능과 의미적 충실도에는 유익하지만, 연합 학습 환경에서 의도치 않게 프라이버시 위험을 높인다는 점입니다. 임상 개념을 단일 토큰으로 인코딩함으로써, 이들은 "공격 표면 직경(attack-surface diameter)"을 줄여 범용 모델의 파편화된 서브워드 토큰들에 비해 민감한 엔티티를 더 쉽게 재구성할 수 있게 만듭니다.
3. 최악의 경우 위험 수치화: 본 논문은 방사선 보고서의 유출에 대한 상한선을 설정하여, 원시 데이터를 공유하지 않고도 문장의 최대 44%와 임상 용어의 18%가 재구성될 수 있음을 입증함으로써, FL만으로는 임상 NLP의 프라이버시를 보장한다는 가설에 도전합니다.

의의 및 주장
본 논문은 토크나이저 설계가 단순한 성능 최적화 도구가 아니라, 프라이버시에 민감한 핵심적인 설계 결정이라고 주장합니다. 연구 결과는 임상 모델의 유용성을 높이기 위한 (정교한 의료 의미를 포착하는) 동일한 어휘 분할 전략이 오히려 그레디언트 역전 공격에 대한 취약성을 높일 수 있음을 보여줍니다.

저자들은 본 결과가 최악의 시나리오(악의적 서버, 차분 프라이버시나 보안 집계와 같은 방어 기제가 없는 상황)를 나타낸다는 점을 강조합니다. 따라서 보고된 재구성 비율은 잔류 유출(residual leakage)의 상한선 역할을 합니다. 결론적으로, 방사선 NLP를 위해 연합 학습을 도입할 때 추가적인 안전장치(예: 보안 집계, 차분 프라이버시 또는 클라이언트 측 아키텍처 검증) 없이 사용하는 것은 현재의 HIPAA 및 GDPR 표준 하에서 환자 비밀 유지에 심각한 위험을 초래할 수 있습니다. 본 연구는 임상 파운데이션 모델을 위한 강건하고 도메인 인지적인 프라이버시 보호 기술 개발을 촉구하며, 향후 프라이버시 감사 시 토크나이징 전략을 명시적으로 고려해야 함을 시사합니다.