Evaluation Metrics for Image Classification, Segmentation and Localization Mathematical Foundations, Comparative Analysis and Research Recommendations
この批判的レビューは、150の参考文献を統合することで、画像分類、セグメンテーション、およびローカライゼーションのための72の評価指標を体系的に分類・比較し、再現可能かつ臨床的に妥当な研究のための適切な補完的指標の選択を導くための数学的基礎、実例、および研究上の推奨事項を提示するものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
医療用画像の世界において、コンピュータは人体を撮影した画像を見ることに驚くほど習熟してきました。腫瘍を見つけたり、臓器の輪郭をなぞったり、骨の特定の目印を特定したりすることができます。しかし、これらの機械を評価する方法には、隠れた罠が存在します。例えば、教師が特定のどの問題を間違えたかを見ることなく、最終的なスコアだけで生徒を採点するテストを想像してみてください。もしその生徒が、難しい問題についてはいくつか正解したものの、簡単な問題を何十個も間違えていたとしたら、単純なスコアは、その生徒が実際にはその科目に落第しているという事実を隠してしまうかもしれません。同様に、コンピュータモデルは標準的なテストで高い数値を出して非常に優秀に見えるかもしれませんが、実際には、医師が最も緊急に捉える必要がある希少疾患を見つけることに失敗していたり、腫瘍の縁を外科医が地図として使えないほど不正確に描いていたりすることがあります。核心的な問題は、私たちが成功を測るために用いるツールが、コンピュータが本来果たすべき現実世界の仕事と一致していないことです。
二人の研究者、ベナム・キアニ・カレジャヒ（Behnam Kiani Kalejahi）とモハマド・ジャバド・ラジャビ（Mohammad Javad Rajabi）は、この不一致を修正するための包括的なガイドを作成しました。彼らは病気を発見するための新しいコンピュータプログラムを構築したのではありません。彼らは、すでに存在するプログラムをどのように測定すべきかという、新しい考え方を構築したのです。彼らは数百もの既存の研究と数学的手法をレビューし、異なる測定値が実際に何を伝えているのかを示す明確な地図を作成しました。彼らの研究はクリティカル・レビュー（批判的検討）であり、つまり、ゲーム自体をプレイするのではなく、ゲームのルールを分析したものです。彼らは、科学者が異なる事象に対して同じ言葉を使っていたり、モデルを良く見せるために失敗を隠すような測定値を選んでいたりすることで、この分野が混乱に満ちていることを明らかにしました。論文は、「最善のスコア」など存在しないと主張しています。代わりに、信頼できる評価には、コンピュータの挙動に関する特定の問いに答える、慎重に選ばれた一連の異なる測定値が必要であるとしています。
研究者たちは、コンピュータが行うタスクの種類ごとに、彼らの知見を整理しました。病気の有無を単に判断するというタスクについては、疾患が稀である場合、高い全体的な精度（アセスメント）は誤解を招く可能性があると説明しています。モデルがすべての患者に対して「疾患なし」と答えるだけで、99パーセントの確率で正解できるとしても、それは一人も病人を一人も見つけられないことになります。これを避けるために、彼らは、単一の平均的な数値を与えるのではなく、モデルがどれだけ病人を発見できたか、そしてどれくらいの頻度で健康な人に誤報を出したかを報告しなければならないと主張しています。また、モデルの「確信度（コンフィデンス・スコア）」は、実際の「精度」とは異なることも指摘しています。コンピュータは間違った答えに対して非常に自信満々である可能性があり、標準的なテストではこれを見逃すことがよくあります。著者らは、コンピュータの確信度が現実に即しているか、つまり、それが90パーセント確実だと言ったときに、実際に90パーセントの確率で正しいかどうかを確認する必要があると示唆しています。
タスクが単純な「はい」か「いいえ」の回答から、輪郭を描くことに移行すると、ルールは再び変わります。セグメンテーションとして知られるこの領域では、コンピュータは特定の臓器や病変の周りに形を描かなければなりません。研究者たちは、二つのモデルが正しい形状とどれだけ重なっているかというスコアにおいて全く同じ値を示したとしても、一方のモデルは正しい場所に完璧な円を描いている一方で、もう一方は正しい場所に触れてはいるもののギザギザの線を描いている、という状況があることを示しています。彼らは、大きな臓器の中での小さなエラーと、重要な構造物における大規模なエラーを、単一の数値では区別できないことを示しています。彼らは、科学者がこれらの描画の「端（エッジ）」を無視しがちであることを指摘しましたが、医学においては、端こそが最も重要な部分であることが多いのです。もしコンピュータが腫瘍の境界のわずかな一部を見逃せば、患者が治療を過少に受けることにつながりかねません。論文は、形状がどれだけ重なっているかだけでなく、描かれた線と真の線の間の距離を測定することを研究者に求めています。
個々の細胞や腫瘍のような特定の物体を見つけ、数えるタスクにおいては、コンピュータの発見結果を「真実」とどのように照合するかによって、結果がいかに容易に操作され得るかを研究者たちは強調しています。もしコンピュータが同じ腫瘍を二度見つけた場合、それは間違いとしてカウントされるべきですが、多くの標準的なテストではこれを検知できません。また、研究者が結果をどのように平均化するかによって、どのコンピュータが優れているかのランキングが完全に変わってしまうことも示しています。詳細な例の一つとして、彼らは、患者ごとのスコアを平均化した場合には優れた結果を示すコンピュータと、全ピクセル数を平均化した場合には別のコンピュータが優れているように見えるシナリオを作成しました。両方のコンピュータは同じものでしたが、数学的な手法が変わっただけで物語が変わったのです。これは、数値の組み合わせ方の選択が、数値そのものと同じくらい重要であることを証明しています。
論文は、不確実性と人間という要素についても扱っています。実際の病院では、コンピュータは真空状態で動作するのではなく、医師と共に働きます。研究者たちは、確信が持てないときに回答を拒否できるモデルは、自信満々に推測して間違えるモデルよりも有用になり得ることを示しています。彼らは、コンピュータが「わかりません」と言い、そのケースを人間の医師に転送できる手法について述べています。これによりシステム全体の安全性が向上しますが、標準的なテストでは、これらの転送事例は無視され、コンピュータが解決しようとした事例のみが対象となります。著者らは、完全な評価には、転送事例や、人間が作業を確認した後でも発生するエラーを含めるべきであると主張しています。また、生成された画像がどれほどリアルに見えるかを測る「忠実度（フィデリティ）」スコアを、コンピュータが実際に疾患を見つけたかどうかを確認する代用として使うことにも警告しています。画像は美しく完璧に見える一方で、極めて重要な医学的詳細を完全に見落としている可能性があるからです。
分析全体を通じて、著者らは、自らの主張を証明するために、具体的に作成された10個の事例を提供しています。これらは実際の患者データではなく、制御された実験として機能するように注意深く構築されたシナリオです。ある例では、モデルが腫瘍を発見するスコアは高いものの、一般的な症例に重みが置かれているために、希少で危険な症例を一つも見つけられない様子を示しています。別の例では、ピクセルの物理的なサイズをわずかに変化させるだけで、実際の性能は変わっていないにもかかわらず、コンピュータがより優れたパフォーマンスを出しているように見せかける方法を実証しています。これらの例は、科学論文に報告される数値が、計算に使用される特定のルールに完全に依存しており、脆弱であることを示す警告として機能しています。
研究者たちは、この分野が単一のリーダーボード・スコアを追い求めるのをやめる必要があると結論づけています。代わりに、彼らは研究を設計するすべての人のためのチェックリストを提案しています。このチェックリストは、科学者が結果を見る前に、何を測定しているのか、誰を対象に測定しているのか、そして成功または失敗をカウントするルールは何であるかを、正確に定義することを強制するものです。彼らは、測定単位が主張の単位と一致しなければならないと主張しています。もし医師が「患者」を重視するのであれば、スコアは単なる個々の画像スライスではなく、患者に関するものでなければなりません。もし外科医が腫瘍の「端」を知る必要があるなら、スコアは体積だけでなく、端を測定するものでなければなりません。この論文は、医療AIの問題を解決したと主張しているのではなく、間違ったものを測定することを止めるための不可欠なツールを提供しているのです。測定を実際の目標と一致させることで、研究者はようやく、どのモデルが本当に役立ち、どのモデルが単にテストに合格するのが得意なだけなのかを見極めることができるようになります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。