Forensic Reproducibility Audit of a Radiology Vision-Language Model Benchmark: From Intended Protocol to Released Artifact

科学者が、X線写真を読み取り、医師に何が起きているかを伝えるデジタル探偵を構築する世界を想像してみてください。これらの探偵は、「ビジョン・ランゲージ・モデル（Vision-Language Model）」と呼ばれる特別な種類のコンピュータ・プログラムです。これらは、胸部の写真を見て、人間の医師が書くようなレポートを作成できる超スマートなロボットのようなものです。このロボットが本当に優秀かどうかを確認するために、研究者たちは「ベンチマーク」を作成します。ベンチマークとは、標準化されたテストのようなものです。ロボットに30枚のX線写真を見せ、特定の質問を行い、その答えを「ゴールドスタンダード（黄金基準）」と比較して、どれだけ正解したかを確認します。誰もが、もし論文にテストの内容が書き込まれていれば、コンピュータは実際に論文に書かれている通りのことを行ったのだと想定しています。しかし、もしコンピュータが近道（ショートカット）をとっていたとしたらどうでしょう？ もしテストの質問が入れ替わっていたり、X線写真が上下逆さまになっていたりして、数年後まで誰にも気づかれなかったとしたら？ これこそが、私たちが「行ったこと」と、コンピュータが「実際にやったこと」との間にある恐ろしいギャップです。

この論文は、そのようなデジタル・テストの一つに関する、フォレンジック（法医学的）な探偵物語です。著者であるマテウス・コズウォスキ（Mateusz Kozłowski）は、自らをデジタル犯罪現場の捜査官の役割に据えることにしました。彼はテストをやり直したのではなく、以前の研究によって残された「犯罪現場」（コンピュータ・ファイルとコード）を調査したのです。彼は、最終報告書に書かれたストーリーが、ハードドライブ上の現実と一致しているかどうかを確認しようとしました。その結果、ストーリーと現実は大きく異なっていることを発見しました。研究では、ロボットへの質問の仕方を2通りに変えると主張されていましたが、コードを調査したところ、インポートと呼び出しの経路を辿ることで、プロンプトの紐付けに関する推論が導き出されました。具体的には、プロンプトAとプロンプトBを切り替えるはずのプログラムが、実際には両方のグループに対してプロンプトCとして送られていたことが判明しました。つまり、コンピュータが回答を求められた60回のうち、実際には同じ質問に60回答えていたのです。研究はAとBの間の違いを見出したと主張していましたが、AもBも実際には起こらなかったため、その違いは幽霊のような存在でした。

X線の取り違え
次に、白黒写真を見ているところを想像してください。もし写真が「ネガ」の状態（黒が白、白が黒になっている状態）で印刷されていたら、暗い点が実は明るい点であると勘違いしてしまうかもしれません。医療画像の世界には、2種類の白黒設定があります。一つは「骨」が暗く見える設定、もう一つは「空気」が暗く見える設定です。研究では標準的なX線を使用すると主張していました。しかし、著者は4枚の画像が「空気」の設定になっており、コンピュータ・コードがAIに見せる前にそれらを「骨」の設定に反転させるのを忘れていたことを発見しました。

それは、顧客に「バンズが下でパティが上」のハンバーガーを提供しておきながら、「標準的なバーガーを提供した」と主張するようなものです。AIは、実際のX線ではなく、歪められた画像を見て判断を下していました。つまり、AIは実際のX線ではなく、歪んだ現実に基づいて意思決定を行っていたのです。

患者数と欠落したファイル
研究では30人の異なる患者を使用したとされています。しかし、著者がファイルを数えたところ、2人の患者が重複して現れており、実際には28人のユニークな患者しかいなかったことが判明しました。これは、出席確認の際に2人の生徒が2回ずつ名前を書いてしまい、28人しかいないのに30人いるように見えてしまうようなものです。同じ人物がテストに2回含まれていると、結果が偏ってしまうため、これは重要な問題です。

さらに、研究では300個の回答（30枚のX線 × 10種類のAIモデル）を予定していました。しかし、著者がファイルをチェックしたところ、3つのファイルが欠落しているか空の状態でした。2つのファイルは完全にゼロバイト（空）であり、もう1つは消えていました。元の報告書は、これらが成功した回答であるかのように振る舞っていましたが、実際には失敗でした。これは、教師がテストを採点する際、生徒が白紙で提出したにもかかわらず、点数を与えているようなものです。

「魔法の」数学
これらのエラーにより、元の論文の数学は間違っていました。著者たちは、モデル間に差があるかどうかを確認するために「コクラン統計量（Cochran statistic）」というスコアを計算しました。元の論文では、そのスコアは154.73であるとしていました。しかし、著者が正しい（完全な）データ（乱れた不完全なバージョンではなく、369個の情報ブロック）を使用して数学を修正したところ、スコアは182.29へと跳ね上がりました。

また、元の論文は、45組の比較のうち26組が「有意な」差を示したと主張しました。数学を修正し、欠落したデータを補完した後、著者は45組のうち27組が未調整の比較（unadjusted comparisons）において有意であり、ホルム法による調整後（Holm-adjusted comparisons）には20組が有意であることを発見しました。なお、28/45という結果は、各比較において独自の分母を使用する、別のペアワイズ・アベイラブルケース分析（pairwise available-case analysis）において再現されました。これらの数字は一見似ているかもしれませんが、その根拠となるデータが欠陥品となるため、その「意味」は全く異なります。「モデルAはモデルBよりも優れている」という元の主張は、実際には行われなかったテストに基づいていたのです。

「古いままの」リリース
ここが最ももどかしい部分です。研究者たちが間違いに気づいて論文の数字を修正した際、彼らは世界に共有するデジタル・ファイルを更新することを忘れてしまいました。彼らは「改訂版」の論文をアップロードしましたが、添付されていたzipファイルには、依然として古い、間違った数字と古いモデル名が入っていました。それは、シェフが料理本のレシピを修正したものの、ウェブサイト上の材料リストを修正し忘れたようなものです。ファイルをダウンロードした人は皆、古い、壊れたバージョンを受け取ることになったのです。

解決策：新しいルールブック
著者は単に間違いを指摘するだけでなく、二度と同じことが起きないようにするための新しいルールブックを構築しています。これは「ベンチマーク契約（Benchmark Contract）」と呼んでいます。これは、コンピュータがスコアを公開することを許可される前に、自分が正しいことを行ったことを証明することを強制する契約のようなものです。

この契約には8つのルールがあります：

1. コホート契約（Cohort Contract）：正しい数のユニークな患者がいることを証明せよ。
2. ピクセル契約（Pixel Contract）：X線画像が反転したり壊れたりしていないことを証明せよ。
3. プロンプト契約（Prompt Contract）：AIが、指示された通りの特定の質問を実際に受け取ったことを証明せよ（別の質問ではないことを）。
4. モデル契約（Model Contract）：使用したAIの正確なバージョンであることを証明せよ。
5. 出力契約（Output Contract）：回答ファイルが空ではないことを証明せよ。
6. アノテーション契約（Annotation Contract）：ラベル（「病気」や「健康」など）が正しく割り当てられていることを証明せよ。
7. 分析契約（Analysis Contract）：数学的な処理が正しいデータグループに対して行われたことを証明せよ。
8. リリース契約（Release Contract）：共有されるファイルが、書かれた論文と一致していることを証明せよ。

著者は、これらのルールをチェックするための36の自動テスト（いわばロボット検査官）を構築しました。もしテストが失敗すれば、システムは停止し、「ダメです、まだこれを公開することはできません」と告げる仕組みになっています。

結論
大きな教訓は、元の研究による「自動化されたレポートとラベルの不一致（automated report-label discordance）」の主張は**撤回（取り消し）**されたということです。著者は非常に明確に述べています。元の結果は無効である、と。ランキングや「より優れた」モデルを信じることはできません。なぜなら、テスト自体が壊れていたからです。救える唯一のものは、「どのようにしてそれが壊れたか」という物語だけです。

著者は、将来的には「機械でチェック可能な契約」を使用する必要があると提案しています。私たちは、コンピュータが指示通りに動いたと信じるだけでなく、コンピュータ自身にそれを証明させる必要があるのです。この論文は、新しい、より優れたAIモデルを提示するものではありません。代わりに、AIを評価するために使用するテストが、本当に公正で現実的なものであることを保証するための、より良い方法を提示しているのです。デジタル時代においては、コードをチェックしなければ、一度も行われなかったテストの成績をつけていることになるかもしれない、ということをこの論文は思い出させてくれます。