Detecting Potential False-Normal Predictions in AI Analysis of Celiac-Related Duodenal Endoscopy Images

現代のクリニックにおいて、医師はしばしばカメラを用いて人体内部を覗き込み、小腸の粘膜の静止画像を撮影して疾患の兆候を探ります。セリアック病のような疾患の一つは、腸内の小さな指のような突起を平坦化させ、縮小させますが、こうした変化はこれらの写真の中で時として捉えることができます。医師は通常、組織サンプルを採取してラボでの検査を行うことで診断を確定できますが、画像に含まれる視覚的な手がかりは、その決定を導くための貴重なものとなります。近年、コンピュータプログラムがこれと同じ画像を観察し、それが健康な腸であるか、あるいはセリアック病の影響を受けた腸であるかを判断するように訓練されています。これらのプログラムが「第二の目」として機能し、人間が見落とす可能性のある微細な兆候を捉えたり、より詳細な確認が必要な画像をフラグ立てしたりすることが期待されています。しかし、コンピュータは完璧ではありません。時には、ラベルでは疾患ありとなっている画像を、自信を持って「正常」であると宣言してしまうことがあります。この技術を使用する者にとっての重要な問いは、コンピュータがどれほど正確に正解を出したかではなく、どのようにして、見逃される前に特定の誤った画像を特定するかという点にあります。

ある研究者が、188枚の十二指腸（小腸の最初の部分）のデジタル写真のコレクションを用いて、この問題に対する実用的な解決策をテストすることに乗り出しました。これらの画像は公開アーカイブから提供されたものであり、専門家によって、正常な腸を示しているか、あるいはセリアック病を示しているかのいずれかにすでにラベル付けされていました。テストを実行する前に、研究者はデータを注意深く整理し、他の画像の正確なデジタルコピーである5枚の画像を除去し、状態が不明確であるために「疑わしい」とマークされた24枚の画像を脇に置きました。これにより、最終的に作業対象となるのは159枚の異なる画像となりました。目標は、コンピュータプログラムが自分自身のミスを察知できるように教え込めるかどうかを確認することでした。具体的には、画像の品質や安定性に関する単純なチェックを追加することで、単にコンピュータ自身の回答における自信度を見る場合と比較して、人間がどの「偽の正常（false normal）」画像を優先的に検査すべきかを判断できるかどうかを知りたいと考えました。

これを行うために、研究者は標準的なコンピュータビジョンモデルであるResNet-18と呼ばれるソフトウェアを使用して、2種類の画像を区別するように学習させました。学習は、モデルが後にテストで使用する特定の画像を一度も見ることがないように行われ、単に答えを暗記してしまうことを防ぎました。モデルの準備が整うと、テストセットのすべての画像を分類するよう求められました。モデルはほとんどの画像を正しく識別しましたが、ある特定の種類のエラーを犯しました。それは、専門家のラベルでは「セリアック」となっていた13枚の画像を「正常」と判定したことです。この13枚の画像が実験の対象となりました。研究者は、もし人間が全画像のわずかな一部しかレビューできないとしたら、どちらの方法がこれら13個の隠れたエラーをより多く捉えられるかを検証するために、2つの異なるリストを作成しました。

第一の方法は、最も単純なアプローチでした。研究者は、コンピュータが画像を「正常」と呼ぶ際の自信の度合いを単に確認しました。もしコンピュータの確信度が低い場合、その画像はレビュー対象としてフラグが立てられました。第二の方法は、追加の信号を加えることでよりスマートになろうとする試みでした。画像が少し明るくなったり暗くなったりした場合、あるいはファイルがわずかに低い品質で保存された場合に、コンピュータの回答がどのように変化するかを確認しました。また、画像のぼけ、極端な明るさ、あるいは写真中央の反射といった技術的な欠陥も測定しました。これら3つの要素、すなわち「弱い確信度」、「不安定な回答」、そして「低い画像品質」を一つのスコアにまとめ、レビューのためのランキングを作成しました。研究者は、人間が総数の一定割合（例えば20%など）の画像しかレビューできないシナリオをシミュレートし、どちらの方法が13個の見逃されたケースをより多く発見できるかを検証しました。

結果は明白であり、驚くほど単純明快でした。研究者が「自信のみ」による方法でフラグが立てられた上位15枚の画像をレビューしたところ、13個の見逃されたケースのうち3つを発見しました。一方で、より複雑な「複合スコア」による方法でフラグが立てられた上位15枚の画像をレビューした際も、13個のうち正確に3つを発見しました。画像品質や安定性のための追加チェックを行っても、コンピュータの自信度を見るだけでミスを見つけるよりも多くのエラーを捉えることはできませんでした。実際、レビュー率が低く、ごく少数の画像しかチェックできない状況においては、単純な自信度による方法の方が、複雑な方法よりも多くのエラーを発見しました。研究者はまた、画像の端や境界を取り除くために画像をクロップ（切り抜き）してから分析するというバリエーションも試みました。これは、コンピュータがテキストやデバイスのオーバーレイといった視覚的なショートカットに依存しているかどうかを確認するためでしたが、この変更によっても複雑なスコアリングシステムの性能が向上することはありませんでした。

本研究は、この特定の画像セットにおいては、技術的な品質チェックや安定性テストを追加しても、コンピュータのミスを捉える能力は向上しないと結論付けています。追加の複雑さは、その価値に見合う成果をもたらしませんでした。これは、画像品質や安定性が一般的に重要ではないという意味でも、またコンピュータが完璧ではないという意味でもありません。単に、この特定のテストにおいては、コンピュータ自身の自信の度合いが、画像の技術的な欠陥を測定しようとするより複雑なシステムと同等に、リスクのある画像を指摘する上で有効であったということを意味しています。研究者は、データセットが159枚と小さかったこと、およびラベルが画像カテゴリーに基づいたものであり、患者の生検結果に基づいたものではないことを指摘しており、これらの知見はこの特定のアーカイブに限定されるとしています。この研究は、直接的な証拠なしに、より複雑な安全スコアが単純な自信度チェックよりも優れていると仮定すべきではないことを示す、慎重かつ透明性の高いテストとしての役割を果たしています。結局のところ、このケースにおいてコンピュータの誤りを見つける最も効果的な方法は、画像の技術的な欠陥を測定することではなく、コンピュータ自身の不確実性を信頼することでした。