Cethraian-X: A Leakage-Clean, Multi-Seed Benchmark of Chest X-Ray Classification Under Weak Labels

コンピューターに医師としての能力を教えるために、何百万枚もの人間の胸部の写真を見せるところを想像してみてください。これが医療人工知能の世界です。そこでは、機械がレントゲン写真を見るだけで、肺炎や骨折といった疾患を見つけ出す方法を学習します。しかし、ここにはトリッキーな部分があります。コンピューターは非常に観察眼が鋭い学生のようですが、時として「カンニング」をしてしまうのです。もし、ある特定の病院のレントゲン室で撮られた患者の腕の写真を提示した場合、コンピューターは実際に病気を探す代わりに、「あ、この病院はいつも肺炎だ！」と学習してしまうかもしれません。これは「データリーク（データの漏洩）」と呼ばれ、まるで学生がテストの前に答えの鍵を覗き見ているようなものです。公平な成績をつけるためには、科学者たちは、コンピューターがテストの問題を事前に見たことがなく、また、ピクセルの中に繰り返し現れる目に見えないほど微細なパターンを単に暗記しているだけではないことを確認しなければなりません。この論文は、まさにその問題に切り込み、「データを本当に、徹底的に綺麗にした場合、コンピューターのスコアは実際に変化するのか、それとも単に運が良かっただけなのか？」と問いかけています。

ここで、チェティング（不正行為）なしで胸部X線写真を読み取る能力をテストするために設計された、新しい「クリーンルーム」実験であるCethraian-Xが登場します。研究者たちは、112,120枚という膨大な有名な胸部X線写真のコレクションを取り上げ、厳格な監査を行いました。それはまるで、探偵が犯罪現場を掃除するようなものです。彼らは重複した写真を削除し、同じ患者が「練習」グループと「最終試験」グループの両方に現れていないかを確認し、さらには画像のデジタルコードをスキャンして、二つの画像が密かに「双子」のように同一のものではないかまでチェックしました。彼らは、これらの巧妙なショートカットがブロックされた後で、コンピューターのパフォーマンスが低下するかどうかを見たかったのです。

テストされたコンピューターは、DenseNet-121と呼ばれる標準的でよく知られたAIモデルであり、これは非常に賢いが基礎的な学生のようなものです。研究者たちは、この学生に3回の「ランダムシード」（学生の脳の異なる開始地点と考えてください）を用いて試験を受けさせ、結果に一貫性があるかどうかを確認しました。彼らは、同じ写真、同じルール、同じ採点方法を用い、他のすべてを全く同じに保ちました。

結果は以下の通りです。重複や重なりのある画像をすべて取り除いてデータを洗浄した後でも、コンピューターの全体的なスコアはほとんど動きませんでした。コンピューターは0.80976 ± 0.00027のmacro ROC-AUCを達成しました。これを比較すると、元の、わずかに「汚れた」バージョンのテストのスコアは0.81030でした。その差はわずか**-0.00054**でした。このことは、この特定のコンピューターと特定のデータセットにおいては、「カンニング」がスコアをそれほど大きく押し上げることはなかったことを示唆しています。コンピューターは安定しており、データが乱雑であっても完璧に綺麗であっても、同じ結果を出しました。

しかし、この論文には非常に重要な「ただし書き」があります。コンピューターは疾患の順位付け（例えば「この患者はあの患者よりも結節を持っている可能性が高い」と言うこと）には優れていましたが、現実的な確率を与えることについては極めて不得意でした。コンピューターが「病気の可能性は70%である」と言ったとき、それは実際には70%ではありませんでした。研究者たちは、「温度スケーリング（temperature scaling）」と呼ばれる手法を用いてこれを修正しようと試みました。これは、コンピューターの自信（確信度）のサーモスタットを調整するようなものですが、この修正を行った後でも、数値は依然として正確ではありませんでした。「ブライア・スキル（Brier skill）」スコア（予測が平均的な推測と比較してどれほど優れているかを測定するもの）は、深くマイナス（-1.32902）でした。これは、コンピューターの自信の数値が、現実の医療判断を下すためのものとしては、役に立たないどころか使い物にならないレベルであることを意味しています。

研究は特定の疾患についても調査しました。胸水（Effusion）のような一般的なものについては、コンピューターはまずまずの成績でした。しかし、ヘルニア（Hernia）のような稀なものに対しては、コンピューターは0.91302という驚異的なスコアを出したように見えましたが、研究者たちは、テストグループにおける陽性症例がわずか86例であったため、これは誤解を招くものであり、スコアが不安定で信頼できないものであると警告しています。同様に、**肺炎（Pneumonia）**については、コンピューターの疾患発見能力（平均適合率）は非常に低く、テストセットにおける陽性症例が非常に稀であることを考えると、0.05258付近を漂っており、ランダムな推測とほとんど変わりませんでした。

著者たちは、この論文が何では「ない」のかを非常に明確に述べています。彼らは、これが医学的なブレイクスルーではないと明言しています。彼らは、このコンピューターが医師に取って代われることを証明したわけでも、実際の病院で患者に対して機能することを示したわけでもありません。実際、彼らは、ラベル（疾患名）が専門医によるすべての画像のダブルチェックによるものではなく、放射線科医が作成したレポートに基づいていることなど、10個の具体的な限界を挙げています。また、他のデータセットでコンピューターをテストしていないことも認めており、したがって、他の場所でも機能するかどうかは不明です。

結局のところ、Cethraian-Xは、AI分野に対する「現実への突きつけ（リアリティ・チェック）」です。データを完璧に綺麗にし、実験を完全に再現可能にできたとしても、基礎となるコンピューターモデルは、現実の医学において信頼できる数値を出すことに依然として苦戦していることを示しています。コンピューターは画像を分類することはできますが、「この患者は90%の確率で病気である」と医師に告げることはまだできないのです。現時点では、この研究は将来のアイデアをテストするための堅実でクリーンなベンチマークとして立っていますが、明確な一線を画しています。私たちは、まだこれらの機械に臨床的な決定を下させる準備はできていないのです。