Privacy Leakage in Federated Learning in Radiology Reports: A Comparative Evaluation of Tokenizer-Driven Privacy Risks

病院同士が患者のプライベートなファイルを一切渡すことなく、超スマートなAI医師を共同開発できる世界を想像してみてください。それはまるで夢のような話に聞こえるのではないでしょうか？これが「連合学習（Federated Learning）」が約束する未来です。これは、グループプロジェクトに取り組む学生たちの姿に似ています。全員が自分の乱雑で個人的なノートを中央の先生に郵送する（紛失や盗難のリスクがあります）代わりに、各学生は自宅にノートを保管しておきます。彼らは学んだ内容の要約、つまり「カンニングペーパー」のような、最も重要なルールだけを先生に送ります。先生はこれらのカンニングペーパーを組み合わせてマスターガイドを作成し、それを全員に送り返すことで、全員がより賢くなった新しいバージョンから学ぶことができるのです。

しかし、ここにひねりがあります。もしその「カンニングペーパー」に、誤ってノートの中の問いに対する答えが含まれていたらどうなるでしょうか？人工知能の世界では、これらのカンニングペーパーは「勾配（gradients）」と呼ばれます。これらは、AIがいかにして改善されるべきかを示す数学的な更新情報です。長い間、科学者たちは、これらの更新情報は意味不明な文字列に見えるため安全であると考えてきました。しかし、最近の研究では、十分な「数学のマジック」を用いれば、巧妙な観察者がそれらの更新をリバースエンジニアリングして、元の秘密のテキストを再構築できてしまうことが示されました。それは、本棚に積もった埃を見て、その中にあるページの単語を正確に推測できるようなものです。この論文は、この「数学のマジック」が放射線科のレポートから機密性の高い医療情報を盗み出せるかどうかを調査し、「特化した語彙を使用することは、秘密をより安全にするのか、それともより危険にするのか？」という驚くべき問いを投げかけています。

---

偉大なる医療テキスト強奪事件

この研究において、研究者たちは、連合学習システムからプライベートな放射線科レポートがどれほど容易に盗まれ得るかを確かめるために、デジタルの強奪作戦を仕掛けました。彼らは実在の患者や実在の病院は使用せず、6つの「架空」の病院（クライアント）と1つの「悪意ある」中央サーバーが存在するシナリオをシミュレートしました。目的は、サーバーがシステムを欺いて患者の病歴を吐き出させることができるかどうかを見極めることでした。

研究者たちは、AIを訓練するために、36万8千件以上の診断レポートと10万件近い退院サマリーを含む、膨大な現実世界の医療テキストを使用しました。彼らは、テキストをチャンク（塊）に分割する方法として、3種類の異なる「トークナイザー（tokenizer）」をテストしました。これらのトークナイザーを、異なる種類のハサミだと想像してください。

1. GPT-2: テキストを小さく一般的な断片に切り分ける、汎用的なハサミ。
2. LLaMA-2: 切り分け方は少し異なりますが、別の汎用的なハサミ。
3. RadBERT: 医師の言葉遣いに特化して訓練された、専門的なハサミ。これは「肺炎（pneumonia）」や「骨折（fracture）」といった単語が、単一の重要な単位であることを理解しており、それらを一つの塊として保持しようとします。

この物語における「悪意あるサーバー」は、秘密の武器を持っていました。それは、AIモデルの中に隠された、小さく目に見えない「スパイ・モジュール」です。このスパイは単に数学を監視するだけでなく、モデルを外部に送る前にわずかに調整を行い、サーバーが勾配を捕捉して「勾配反転攻撃（gradient inversion attack）」を実行できるようにしました。これは、サーバーが数学を逆算して、カンニングペーパーから元の文章を再構築しようとする高度な手法のことです。

衝撃的な結果

結果は、まさに目覚まし時計のような警告となりました。研究者たちは、「悪意あるサーバー」がテキストを盗み戻す能力が驚くほど高いことを発見しました。

• 成功率: データのグループ化（バッチサイズ）に応じて、サーバーは文章全体を完璧に再構築することに成功しました。その確率は**31%から44%**の間でした。つまり、このシステムを通じて100件の医療レポートを送った場合、攻撃者は元のファイルを見ることなく、31件から44件の全文を読み取れる可能性があるということです。
• 「特化型」の罠: ここが最も興味深い点です。チームは、医師向けに作られた専門的な医療用トークナイザー（RadBERT）の方が安全であると予想していました。しかし、実際には、それが最も脆弱であることが判明したのです。
  • RadBERTを使用した場合、最小のバッチサイズにおいて、サーバーは**42.3%**の文章を完璧に復元しました。
  • 一般的なGPT-2では、**42%**でした。
  • LLaMA-2では、**39.4%**でした。

なぜ医療用トークナイザーの方が悪かったのでしょうか？研究者たちはこれを簡単な比喩で説明しています。一般的なトークナイザーを使用する場合、「pneumothorax（気胸）」のような複雑な医学用語は、「pneu」「mo」「thor」「ax」といった小さくて奇妙な断片にバラバラにされます。この単語を盗み出すためには、攻撃者はこれら4つの小さな断片を完璧に再構築し、正しい順序に並べなければなりません。もし一つでも欠ければ、その単語はゴミになります。

しかし、医療用トークナイザー（RadBERT）の場合、「pneumothorax」は一つの強固なブロックとして扱われます。もし攻撃者がその一つのブロックを盗み出すことができれば、即座に単語全体を手に入れることができます。AIが医学を理解する上で優れている点（用語を一つの塊として保持すること）が、同時に、泥棒がそれらの用語を一度に盗み取ることを容易にしているのです。事実、GPT-2が12.5%、LLaMA-2が9.4%であったのに対し、RadBERTは**18.1%**の固有の臨床用語（特定の診断名や処置など）を復元しました。

サイズを大きくすれば解決するか？

研究者たちはまた、データの「グループ」を大きくすること（バッチサイズを64から256に増やすこと）で、秘密をより隠蔽できるかどうかについてもテストしました。確かに効果はありましたが、安全と言えるほどではありませんでした。

• バッチサイズを大きくすると、完全な再構築率は低下しました。例えば、RadBERTの場合、**42.3%から37.2%**へと低下しました。
• これは改善ではありますが、たとえ大きなグループであっても、攻撃者は依然として3分の1近くの文章を完璧に盗み取れることを意味しています。

結論

この論文は、連合学習が永遠に壊れたと主張しているわけではありませんが、非常に大きな警鐘を鳴らしています。単に「スマートな」医療用語彙を使用したり、データをグループ化したりするだけでは、決定的な攻撃者から患者のプライバシーを守るには不十分であることを示唆しています。

この研究は、厄介なトレードオフを浮き彫りにしています。AI医師を賢くするためのツール（専門的なトークナイザー）が、同時に悪意のある行為者が患者の秘密を盗むことを容易にする可能性があるのです。著者らは、患者を真に保護するためには、病院はAIのデザインだけに頼ることはできないと結論付けています。HIPAAやGDPRのような厳格な法律を遵守するためには、データの難読化（差分プライバシー）や、秘密のコードの使用（セキュア集約）といった、さらなるセキュリティ層を追加する必要があるでしょう。それまでは、病院間で送られる「カンニングペーパー」は、少し簡単に読み取れてしまう可能性があるのです。