CCS: A Continuous Spatial-Semantic Concordance Score for Robust Evaluation of Object Detection Models

あなたは、巨大で散らかった部屋の中で隠された物体を探し出すコンテストの審査員だと想像してください。コンピュータビジョンの世界では、これらの「コンテスタント（出場者）」はAIモデルであり、「物体」は猫や車、そして今回のケースでは、中医学におけるさまざまな種類の舌症状です。長年、審査員たちは非常に厳格な「全か無か」のルールブックを使用してきました。もしAIが描いたボックスが、実際の物体と少なくとも50%重なっていれば、完璧な「正解」のスタンプを与えます。しかし、もし重なりが49%であれば、AIには「不正解」のスタンプが与えられ、そのスコアは物体を完全に見逃した場合と全く同じになります。それはまるで、ステップを数ミリミスしただけで、ルーチンを丸ごと忘れてしまった人と全く同じ点数を付けられるダンスコンテストのようです。この「ハード閾値（hard-threshold）」ルールは、私たちのAI探偵がどれほど優秀であるかを測定する標準的な方法ですが、欠点があります。それは、ある間違いが他の間違いよりも「正解に近い」という事実を無視していることです。

ここで、単にボックスを見るだけでなく、推測の「意図」に耳を傾ける新しいタイプの審査員を想像してみてください。この新しい審査員は、もしAIが「赤舌」と予測したものが、実際には「赤斑舌」であった場合、それは完全な失敗ではなく、AIが概念を概ね理解していることを示す「惜しいミス」であることを理解しています。この論文は、CCS（Continuous Spatial-Semantic Concordance Score：連続的空間・意味一致スコア）と呼ばれる新しいスコアリングシステムを紹介しています。これは、より賢い審査員のように機能します。単純な「合格・不合格」のスイッチではなく、CCSは部分点を与えます。CCSは、数学を用いて、AIのボックスが実際の物体にどれだけ近いか（たとえ接触していなくても）を測定し、さらにそのラベルが医学用語の家系図の中でどれほど近いかを測定します。著者らは、舌症状を見つけようとする6つの異なるAIモデルに対してこのテストを行い、古い厳格なルールではルール設定のわずかな変化によってランキングが激しく変動する一方で、この新しいCCSスコアは安定しており、公平であり、「惜しいミス」は失敗ではなく進歩の証であることを認識していることが分かりました。

「全か無か」のスコアリングが抱える問題

長い間、物体検出AIを採点する標準的な方法は、非常に鋭いカットオフ（境界線）を持つ「ホット・オア・コールド（熱いか冷たいか）」ゲームのようなものでした。あなたの推測が十分に「ホット」であれば（つまり、ボックスが実物体と50%以上重なっていれば）、あなたは1点を得ます。もし「コールド」であれば（49.9%の重なり）、あなたは0点となります。これがIoU（Intersection over Union）閾値です。問題は、これが「崖」を作り出してしまうことです。99%完璧なボックスと51%完璧なボックスは全く同じスコアを得る一方で、49%完璧なボックスは何も得られません。これは、一箇所の小さなタイポ（打ち間違い）があっただけでA判定を与え、同じタイポに加えてカンマが一つ足りないだけでF判定を下す、エッセイの採点のようなものです。

さらに、この古いシステムは、すべての誤ったラベルを等しく悪いものとして扱います。もしAIが「赤舌」を見てそれを「青舌」と呼んだなら、それは大きなエラーです。しかし、もしAIが「赤斑舌」を「赤舌」と呼んだとしても、古いシステムは、赤舌を青舌と間違えた場合と同じくらい厳しく扱います。現実の医学の世界では、似たような二つの赤い舌を混同することは、赤と青を混同することよりもはるかに小さく、許容できる間違いです。古いスコアリングシステムはこのニュアンスを完全に無視しています。

CCSの登場： 「部分点」を与える審査員

この論文の著者であるQuoc Thai Mai氏は、これらの問題を解決するために、CCSと呼ばれる新しいスコアを提案しています。彼らはこれを、どちらの材料よりも美味しいスムージーのように、2つの主要な要素で構築しました。

1. 空間的要素 (Csp)： 「ソフトな」ボックス
AIのボックスを、硬いエッジを持つ硬直した長方形として扱うのではなく、CCSはボックスを「柔らかく、ぼやけた雲」（数学的には2次元ガウス分布）として想像します。これはヒートマップのようなものだと考えてください。ボックスの中心は最も「熱く（確信度が高く）」、端に向かうにつれて「冷たく」なります。AIのぼやけた雲が実際の物体のぼらけた雲と重なるとき、たとえそれらが完全に一致していなくても、スコアはゼロにはなりません。代わりに、中心間の距離やサイズの差異に基づいて、滑らかに減少していきます。これは、中心から少しずれたボックスであっても、完全に見逃した場合ほど厳しく罰せられることなく、高いスコアを得られることを意味します。これは、審査員が「ブルズアイ（中心）からは外れたが、惜しかったのでBを与えよう」と言うのか、「ブルズアイを外したのでFを与えよう」と言うのかの違いです。

2. 意味的要素 (Csem)： ミスの「家系図」
これが巧妙な第2の要素です。著者らは、8種類の異なる舌症状を一つの家系図（タクソノミー）として整理しました。例えば、「赤舌」と「赤斑舌」は「色」の枝にある兄弟のような関係ですが、「肥厚舌（腫れた舌）」は「形」の枝にあります。もしAIが「赤舌」と予測し、正解が「赤斑舌」であった場合、古いシステムは「間違い」と判定します。しかし、CCSシステムは家系図を確認し、それらが兄弟であることを見て、「なるほど、近い推測だ。部分点を与えよう」と判断します。CCSは、Wu-Palmer類似度という数学的ツールを使用して、家系図においてどれほど離れているかに基づいて、推測が真実にどれほど近いかを正確に計算します。もしAIが「形」の問題に対して「赤舌」と答えたなら、それは完全なミス（ゼロ点）です。しかし、「赤舌」に対して「赤斑舌」と答えたなら、高い部分点が得られます。

彼らが発見したこと： 安定性と公平性

チームは、舌症状のデータセットを用いて、6つの異なるバージョンの人気AIモデル（YOLOv8, v10, v11）に対してこの新しいCCSスコアをテストしました。結果は以下の通りです。

• 古いルールは不安定だった： 古い「ハード閾値」ルールを使用した場合、閾値を0.3、0.5、0.7のいずれに設定するかによって、AIモデルのランキングは激しく変動しました。実際、15組のモデルのペアのうち5組において、どのルールを使用するかによって「勝者」が入れ替わりました。それは、ゴールラインが数インチ動いただけで勝者が変わってしまうレースのようなものでした。
• CCSは極めて堅牢だった： CCSスコアは驚くほど安定していました。設定をどのように微調整しても、モデルのランキングが逆転することはありませんでした。モデルのスコアは一貫して0.62から0.65の間で推移しましたが、一方で古いF1スコアは、ルールが厳しくなるにつれて最大で16.9%も大幅に低下しました。
• 「惜しいミス」による救済： 研究によれば、古いシステムが「エラー」と呼んでいたもののかなりの部分が、実は単なる「惜しいミス」であったことが判明しました。具体的には、最も難しいクラスで行われたミスの**39.5%**が、意味的に近いものでした（例：赤と赤斑を混同するなど）。古いシステムはこれらを完全な失敗としてカウントしていましたが、CCSはこれらに部分点を与えることで、AIが実際には古いスコアが示唆するよりも優れた仕事をしていることを明らかにしました。
• 「最良の」モデルの変化： 古い厳格なルール（mAP）の下では、あるモデル（YOLOv10n）が勝者に見えました。しかし、新しいCCSルールの下では、別のモデル（YOLOv8m）がトップに立ちました。これは、古いルールが「ピクセル単位で正確な中心を叩くこと」に長けたモデルを優遇していたのに対し、CCSは「一般的な概念や症状の形状をより良く理解している」モデルを評価したことを示唆しています。

限界： CCSがまだできていないこと

著者らは、CCSがすべてを解決する魔法の杖ではないことも慎重に指摘しています。

• 「クラスレベル」のスコアである： 現在のCCSは、AIがそのクラス（例：「赤舌」）に対して少なくとも一つの良好なボックスを見つけた場合に、そのクラスが存在するとカウントします。AIが舌の上に20個の赤い斑点があっても、そのうちの1つしか見つけられなかったとしても、現在のCCSはそれを罰しません。論文では、一部の症状（例：「赤斑舌」）では、一つの画像内に数十の斑点が存在する場合があることを指摘しており、現在のCCS手法では見逃された分が無視されると述べています。
• 家系図は一時的なものである： 彼らが作成した舌症状の「家系図」は、数学的な処理を行うために著者らが作成したものであり、医学専門家によるパネルによって作られたものではありません。これは「暫定的な」樹形図です。もし実際の医師が「いや、それらの二つは関連していない」と言えば、スコアを再計算する必要があります。
• 単一のデータセットのみ： 彼らはこれを舌の画像を用いた一つのデータセットでのみテストしました。結果は有望ですが、より多くのテストなしでは、この手法が車や腫瘍、あるいは他の物体を検出する場合に完璧に機能するかどうかはまだ分かっていません。

結論

この論文は、AI探偵を採点するための新しい方法が必要であることを示唆しています。従来の「合格・不合格」のシステムはあまりに厳格で不安定であり、AIがわずかに外れたことに対して罰を与え、いくつかの間違いが他の間違いよりも「賢い」という事実を無視しています。CCSスコアは、空間的にも意味的にも近い場合に部分点を与えることで、AIの評価を行うための、よりスムーズで公平な方法を提供します。これはまだ、あらゆる医療応用に向けて完成した製品ではありませんが、特に症状の境界線が曖細になりがちな中医学のような分野において、AIの評価をより人間らしく、臨床的に関連性のあるものにするための大きな可能性を示しています。