ICD2Bert: ICD Bert Encodings for Clinical Outcome Prediction on Routine Health Insurance Data
本論文は、ドメイン固有の修正を加えることなくICDコードを用いて事前学習を行った標準的なBERTモデルであるICD2BERTを紹介し、広範なベンチマークを通じて、そのようなアーキテクチャの複雑さはしばしば単純なベースラインを凌駕することに失敗することを示し、臨床結果の予測においては、モデルの精緻さよりもデータの質、規模、および事前学習がより重要であることを強調している。