Image Thresholding: Understanding Bias of Evaluation Metrics towards Specific Evaluation Functions

ケーキを完璧なスライスに切り分けることを想像してみてください。コンピュータビジョンの世界では、この「ケーキ」は画像であり、「切り分ける」ことは空と地面、あるいは腫瘍と健康な組織のように、画像の異なる部分を分離することを意味します。このプロセスは画像閾値処理と呼ばれます。

これを行うために、コンピュータはどこで切るかを指示する「ルールブック」、つまり目的関数を必要とします。最も有名なルールブックの 2 つは以下の通りです：

1. オツ法（Otsu's Method）： このルールブックは、「明部と暗部の差が最大になる場所でケーキを切りなさい」と言います。これは、フロスティングとスポンジの間のコントラストを最大化しようとするようなものです。
2. カプー法（Kapur's Method）： このルールブックは、「情報量が最もバランスの取れた場所でケーキを切りなさい」と言います。これは、各スライスに含まれる「驚き」や多様性の度合いに基づいた、より複雑なルールです。

コンピュータが切り分けを行った後、それがうまくいったかどうかを確認する必要があります。そのために、切り分けを評価する「審査員」のような評価指標を使用します。この分野で最も人気のある審査員は以下の 2 人です：

• SSIM（構造的類似性指数）： 切り分けられた画像の形状や構造が元の画像とどの程度似ているかを見る審査員です。
• PSNR（ピーク信号対雑音比）： 切り分けの過程でどの程度の「ノイズ」や誤差が導入されたかを測定する審査員です。

大きな問題：審査員にバイアスがある

この論文の著者、エスラム・ヘガジーとモハメド・ガブルは、ある不審な点に気づきました。これらの手法を比較するほぼすべての研究において、オツ法が SSIM と PSNR で評価されると勝っているように見えるのです。研究者たちは、これがオツ法が単に優れたルールブックであることを意味すると仮定していました。

しかし、著者たちは異なる問いを投げかけました：「もし審査員（SSIM と PSNR）が密かにオツ法のルールブックにバイアスを持っているとしたらどうでしょうか？」

料理コンペティションを想像してください。

• オツは、高コントラスト（非常に塩辛い、非常に甘い）の料理を得意とするシェフです。
• カプーは、バランスの取れた複雑な料理を作るシェフです。
• SSIM と PSNRは審査員です。

著者たちは、SSIM と PSNR が実際には「味覚に偏った」審査員であると疑いました。彼らは高コントラストの料理を好むようにプログラムされているのです。したがって、カプーが完璧にバランスの取れた料理を作ったとしても、審査員はそれが自分たちの好みに合わないという理由だけで、低い点数を与えるかもしれません。

彼らがどのように検証したか

これを証明するために、彼らは最適な切り分けを見つけるために高度な AI を使ったわけではありません。代わりに、非常に徹底的なことを行いました。500 枚の異なる自然画像（BSDS500 というデータセットから）に対して、ありとあらゆる可能な切り分けを試みたのです。

すべての切り分けについて、彼らは以下の値を計算しました：

1. オツのルールに従って、その切り分けがどの程度優れていたか。
2. カプーのルールに従って、その切り分けがどの程度優れていたか。
3. 審査員（SSIM と PSNR）がその切り分けに与えた点数。

その後、彼らはルールブックと審査員の間の関係（相関）を調べました。

結果：バイアスは実在する

発見は明確で印象的でした：

1. オツと審査員は親友： オツのルールブックが切り分けを「良い」と判断したとき、審査員（SSIM と PSNR）はほぼ常に同意しました。実際、**100%**の画像において、オツの点数は PSNR の点数と完全に連動して変動しました。**91%**の画像では、SSIM とも連動して変動しました。

   • 比喩： オツと審査員は同じ言語を話しているようなものです。オツが手を上げると、審査員もすぐに手を上げます。

2. カプーと審査員は見知らぬ人： カプーのルールブックと審査員の間のつながりははるかに弱かったです。時には同意することもあれば、そうでないこともあります。その関係はごちゃごちゃしており、予測不可能でした。

   • 比喩： カプーは異なる方言を話そうとしています。審査員は時折彼を理解しますが、多くの場合、単に肩をすくめて平均的な点数を与えます。たとえその切り分けが実際には優れていたとしてもです。

この意味するところ

この論文は、オツベースの手法が研究論文でしばしば「勝利」する理由は、必ずしも彼らがケーキを切るのが上手いからではないと結論付けています。それは、評価システム（SSIM と PSNR）がオツを優遇するように仕組まれているからです。

もし研究者がカプーに最適な切り分けを見つけるのを助けるための新しい超スマートな AI アルゴリズムを発明しても、それを評価するためにまだ SSIM と PSNR を使用しているなら、その新しいアルゴリズムは失敗したように見えるかもしれません。なぜでしょうか？審査員が AI がどれほど優れていようとも、カプーのスタイルに対してバイアスを持っているからです。

結論

著者たちは科学コミュニティに警告しています：審査員を盲目的に信頼してはいけません。

画像を切り分ける異なる方法を公平に比較したいのであれば、SSIM と PSNR だけでは十分ではありません。これらのツールが本質的に他の方法よりも特定の手法（オツ）を好んでいることを認識する必要があります。誰が最高の「シェフ」なのかを真に把握するためには、好みの味を持たない新しい審査員が必要になるかもしれません。