Discrimination Transfers but Thresholds Do Not: External Validation of Convolutional and Transformer Pneumonia Classifiers on Adult and Paediatric Chest Radiographs

医師が肺炎を疑う際、最初のステップとなるのは多くの場合、肺の隠れた風景を明らかにする単純な画像である胸部X線写真です。数十年にわたり、これらの画像の解釈は人間の目に頼ってきましたが、そのスキルは専門家の間でも差があります。近年、膨大な医療画像のライブラリで学習したコンピュータプログラムが、この作業を自動化し、決して疲れることのない「第二の目」として機能することを約束しています。これらの人工知能システムは、感染症に関連するパターンを特定することを学び、迅速で一貫した診断を提供することを目指しています。しかし、この技術的な奔流の背景には、ある重要な疑問がつきまとっています。もしコンピュータが、ある病院のX線写真から肺炎を認識することを学んだとして、全く別の病院のX線写真や、大人ではなく子供のX線写真を見たとき、果たしてその疾患を真に理解できるのだろうか、という疑問です。これらのプログラムが、病んでいる肺と健康な肺を区別する能力は、物語の一部に過ぎません。真のテストは、彼らが診断を下すために用いる特定のルールと、答えに対して示す確信度が、周囲の世界が変化したときに維持されるかどうかにあります。

研究チームは、多種多様なコンピュータモデルを構築し、テストすることで、この問いに答えるべく着手しました。彼らはまず、18,000枚を超える成人の胸部X線写真の膨大なコレクションからスタートし、モデルが一部の画像で学習し、見たことがない他の画像でテストできるように、データを慎重に分割しました。彼らは、デジタルな脳である15種類の異なるニューラルネットワークを、さまざまな手法を用いて学習させ、どれが最も優れた性能を発揮するかを確認しました。これらのネットワークの中には、ゼロから構築されたものもあれば、日常の写真の物体を認識するように既に学習済みのシステムを適応させたものもありました。研究者たちは、人間がシーンをスキャンするように、全体像とその部分を同時に見る方法を模倣して画像を処理する、「トランスフォーマー」と呼ばれる新しいタイプのネットワークに特に注目しました。学習後、彼らは単独で最も優れた性能を示したモデルを選出したほか、一つの意見よりもグループによる決定の方が信頼性が高いことを期待して、5つのトップモデルによる投票制のチームも作成しました。

真のテストは、学習を終え、もはや学習も変化もできない状態となったこれらの「凍結された」モデルに対し、二つの全く異なるグループの人々のX線写真を見せたときに行われました。第一のグループは、肺が小さく疾患パターンも異なる集団である、数千枚の子供の画像で構成されました。第二のグループは、元の学習データよりも肺炎の発生率がはぐらかに低い、異なる国の成人によるX線のコレクションであり、一般的な病院の集団を代表しています。結果は、テクノロジーの振る舞いにおける興味深い分裂を明らかにしました。モデルは、患者が子供であっても大人であっても、健康な肺と病んでいる肺の単純な違いを見分けることに関しては、極めて高い能力を発揮しました。子供のグループにおいて、モデルは0.925のAUCを達成し、成人のグループでは0.888のAUCを達成しました。この「クラス間の識別」と呼ばれる能力は、異なる集団間でもうまく転移しました。

しかし、研究者がモデルが実際にどのように意思決定を行っているかに目を向けたとき、物語は劇的に変わりました。コンピュータモデルは単に「病気」か「健康」かを言うのではなく、患者が病気であると考える可能性を示す数値、すなわち確率を算出します。この数値を診断に変換するために、人間は、ある値を超えたら肺炎と呼ぶという「閾値（しきい値）」、つまりカットオフポイントを設定しなければなりません。研究者たちは、元の成人データに対して完璧に機能した閾値が、新しいグループに適用した際には惨泅たる結果になることを発見しました。元のグループで肺炎症例の84%を捉えたのと同じルールが、子供のグループではわずか59%、新しい成人のグループではわずか39%しか捉えられなかったのです。モデルは依然として疾患を捉えてはいましたが、それを「病気」と呼び出すには慎重すぎました。研究者が新しいデータの小さなサンプルを取り出し、カットオフポイントを再設定したところ、モデルは即座に再び正確になり、子供では0.83、成人では0.79のAUCを達成しました。これは、モデルの内部論理は健全であったものの、その意思決定ルールが、最初に学習した特定の環境に固執していたことを示しています。

さらなる複雑さが、研究者がモデルが回答に対して示す「確信度」を調査した際に浮上しました。元の学習データにおいて、モデルは現実世界の疾患頻度に一致するような確率スコアを与えるように調整（キャリブレーション）されていました。しかし、新しいグループに直面したとき、この調整は崩壊しました。肺炎が非常に一般的な子供のグループにおいて、モデルはリスクを大幅に過小評価し、実際には存在している以上に低い罹患確率を予測しました。一方で、疾患が稀な新しい成人のグループにおいては、モデルの確率推定は驚くほど正確でした。このことは、モデルが肺炎の視覚的特徴を学習することはできても、特定の環境における疾患の一般性に関する理解は脆弱であり、患者集団の変化によって容易に乱されることを示唆しています。

また、研究者はモデルがX線写真の撮られ方に敏感であることも明らかにしました。元のデータでは、患者の正面からX線が照射される「前向（アンテロポステリア）ビュー」の画像は、背後から撮影される「後向（ポステロアンテリオール）ビュー」の画像よりも肺炎を示す可能性が高い傾向にありました。モデルはこの手がかりを利用することを学習しており、モデルが混乱したからではなく、前向きの画像の方が読み取りにくいために、パフォーマンスが低下しました。研究者が学習中にこの手がかりを無視するようにモデルに強制しようとしたところ、モデルの性能はむしろ低下しました。これは、その難しさがモデルが利用している手法によるものではなく、画像タイプ自体に固有の実在する問題であることを示唆しています。さらに、研究者は、成人にとってのベストモデルが必ずしも子供にとってのベストではないことも発見しました。どのコンピュータの脳が優れているかという順位は、患者の年齢によって変化したため、成人の病院のために選ばれたモデルが、小児科病棟において適切な選択肢になるとは限らないのです。

結局のところ、この研究は、人工知能が高度なスキルを持って肺炎を見分ける能力を習得し、それが異なる集団間でも通用する一方で、そのスキルを病院で使用するために必要な実用的なツールは、それほど容易には通用しないことを証明しています。疾患を識別する能力は強固ですが、診断を下すための具体的なルールや、システムが確信を表明する方法は、ローカルな文脈に深く結びついています。これらのシステムが実社会で役立つためには、単にダウンロードしてそのまま使うだけでは不十分です。新しい病院における患者の構成や疾患の蔓延度に合わせて、意思決定ルールを調整する「ローカルなチューニング（微調整）」のプロセスが必要なのです。本研究は、これらのテクノロジーが信頼されるためには、将来のレポートが単にモデルが「健康か病気か」をどれだけ判別できるかを述べるだけでなく、実務で使用される特定の意思決定ポイントにおいてモデルがどれほど機能するか、そして世界が変わったときにその確信度がどのように維持されるかを示す必要がある、と結論付けています。