Synthetic tabular healthcare data in health informatics: fixed-size substitution and incremental-value controls for predictive utility Application Paper

技術要約：医療情報学における合成表形式ヘルスケアデータ

問題提起
医療情報学のチームは、予測モデリングやソフトウェアテストのために現実的なデータを必要としているが、患者の記録は機密性が高く、共有が困難である。合成データ生成器は、元の記録を公開することなく有用な統計構造を保持することを目指しているが、その評価は、予測有用性に対して過度に楽観的な評価を生み出す可能性のある2つの要因によって影響を受ける可能性がある：

1. 学習サイズの混同（Training Size Confounding）： 合成データの追加後に報告される改善は、合成記録の寄与だけでなく、学習セットのサイズの変更を反映している可能性がある。制御が行われない限り、これらの効果を分離することはできない。
2. パーティション・リーク（Partition Leakage）： 学習セットとテストセットに分割された重複する予測因子プロファイル（全く同一の複製）は、パフォーマンス指標を人為的に膨張させることができる。
   既存の文献には、学習セットの拡大による効果から合成データの寄与を分離する、段階的かつ固定サイズでの置換ベンチマークが欠けている。

手法
著者らは、3つの公開バイナリ・アウトカム・ヘルスケアデータセット（CDC Diabetes Health Indicators：253,680行、Diabetes 130-US Hospitals：101,766行、Early Stage Diabetes Risk Prediction：520行）を利用した、リーク制御フレームワークを設計した。本研究では、以下の厳格な実験設計を用いた：

• 生成器： Gaussian Copula、Conditional Tabular Generative Adversarial Network (CTGAN)、および Tabular Variational Autoencoder (TVAE)。
• 予測モデル： ロジスティック回帰、ランダムフォレスト、および Histogram Gradient Boosting。
• 実験シナリオ：
  1. 固定サイズ置換（Fixed-Size Substitution）： 学習サイズ（$N$）を一定に保った。実データの行を、0%（Real-Only）、25%、50%、75%、および100%の割合で合成データ行に置き換えた。
  2. 増分値制御（Incremental-Value Control）： $N$ 行のベースラインを、2つの $2N$ サイズの群と比較した：
     • $RR-N$：$N$ 個の実データ行。
     • $RB-2N$：$N$ 個の実データ行に、それらと同じ記録からブートストラップ・サンプリングされた $N$ 個の行を加えたもの（新しい独立した患者ではない）。
     • $RSADD-2N$：$N$ 個の実データ行に、$N$ 個の合成データ行を加えたもの。
• データ完全性の措置： Early Stage データセットは、正確な予測因子シグネチャによって分割され、重複するプロファイルは一つの学習、検証、またはテスト・パーティション内に保持された。Diabetes 130-US では、同一患者の記録をまとめて保持した。
• 評価指標： 主要な指標は、受信者動作特性曲線の下の面積（AUC）とした。副次的な指標には、AUPRC、F1、バランス精度（balanced accuracy）、および Brier score が含まれる。統計的有意性は、10回の反復試行における Holm 補正を伴う対応のある Wilcoxon 検定を用いて評価された。これらの反復試行では、一つの固定されたデータ分割を再利用しており、代替分割間での変動は評価されていない。

主な結果
評価された条件下において、合成データは一般的な予測有用性の利益を提供しなかった：

• 固定サイズ置換： 固定された学習サイズにおいて実データを合成データに置き換えた結果、Holm 補正後、108 のモデル固有の対比のうち 89 件で AUC が有意に低下した。有意な改善が見られたのはわずか 4 件であり、15 件では有意な差が見られなかった。実データのみの学習に対する平均 AUC 差（$\Delta$AUC）は、すべての置換レベルにおいて負であり、合成データの割合が増えるにつれて悪化した（例：100% 置換時で $-0.1469$）。
• 増分値制御： 実データのフルセットに合成データを追加した場合（$RSADD-2N$）は、27 件の対比のうち 21 件で実データのみのベースライン（$RR-N$）よりも有意に性能が低く、27 件のうち 16 件でブートストラップ・実データ制御（$RB-2N$）よりも性能が低かった。
• 孤立した利得： いくつかの好ましい効果（例：Early Stage データセットにおける Gaussian Copula）は見られたが、それらは体系的なものではなく、限定的かつ文脈依存的なものであった。
• 忠実度とプライバシー： Gaussian Copula は、CTGAN および TVAE と比較して、最小の平均 Hellinger 距離（0.056）を示した。プライバシーリスクのプロキシは、ニア・デュプリケート（準複製）の発生率や学習記録への近接性を示したが、これらは決定的な匿名性の保証ではなく、スクリーニング用のプロキシとして記された。
• リーク補正の影響： 投稿前の監査により、「Early Stage」データセットが、元々プロファイルの行単位の分割によるリークに苦しんでいたことが判明した。予測因子シグネチャによって分割をグループ化することでこの問題を修正したところ、実データのみの AUC 推定値が低下した（例：Random Forest が 0.9933 から 0.9782 に低下）。これにより、以前の高パフォーマンスがリークによって膨張していたことが確認された。

意義と主張
本論文は、合成データの構成による価値を、サンプルサイズの拡大およびパーティション・リークによる効果から分離するための実用的なフレームワークを提供することを主張している。その主な貢献は以下の通りである：

1. 方法論的厳密性： データセットを合成行で増強することによる予測利得の報告は、観察されたすべての効果をデータ構成のみに帰属させるのではなく、適切な学習サイズ制御に対して解釈されるべきであることを示している。
2. 負のエビデンス： 本研究は、テストされた条件下において、合成データの置換または追加が、ヘルスケアの表形式データに対する予測有用性（AUC）の体系的な向上をもたらさないことを実証している。
3. 再現性： 著者らは、独立した検証をサポートするために、コード、構成、および検証済みの出力を含む包括的な再現性パッケージ（Online Resource 5）を提供している。

著者らは、これらの知見がプライバシーの保証、公平性、臨床的等価性、または展開の適合性を確立するものではないことを明示的に述べている。彼らは、低損失の合成混合物が教育やソフトウェアテストをサポートする場合がある一方で、臨床使用には実データによる検証、キャリブレーション、およびサブグループのレビューが必要であると結論付けている。本研究は、重複する予測プロファイルを持つデータセットにおいて、パフォーマンス推定の膨張を防ぐためには、重複に安全な分割（duplicate-safe splitting）が不可欠であることを強調している。