How Do Diffusion Classifiers Decide? A Bias-Centric Evaluation

2種類の「AI探偵」が、ある謎を解こうとしている場面を想像してみてください。その謎とは、**「この写真には何が写っているのか？」**です。

一人の探偵は、ビジョン・ランゲージ・モデル（OpenCLIPなど）です。これは、何百万冊もの本を読み、何百万枚もの写真を見てきた、経験豊富な司書のようなものです。写真と説明文のリストを照らし合わせ、言葉と画像が通常どのように結びついているかを学習した知識に基づいて、素早くマッチングを行います。

もう一人の探偵は、**拡散分類器（Diffusion Classifier）**です。こちらは少し性質が異なります。単にマッチングさせるのではなく、説明に基づいて頭の中で写真を「再構築」しようと試みます。彼はこう問いかけます。「もし『赤い車』という説明を使ってこの絵を描こうとしたら、どれくらいの努力（あるいは『ノイズ』）を費やして正しく仕上げる必要があるだろうか？」 最も少ない努力で再構築できる説明こそが、正解となります。

**「拡散分類器はどうやって判断しているのか？ バイアス中心の評価（How Do Diffusion Classifiers Decide? A Bias-Centric Evaluation）」**と題されたこの論文は、これら2人のAI探偵に対するストレス・テストのようなものです。著者たちは、AIがどこで混乱し、騙され、あるいは誤った推測をしてしまうのかを明らかにするために、ASOB-Benchと呼ばれる新しいテスト環境を構築しました。彼らは、AIが陥りやすい3つの特定のバイアスに焦点を当てました。

1. 「混同」テスト（属性結合 / Attribute Binding）

シナリオ： 赤いイチゴと黄色いバナナが写っている写真。
問い： 「どちらが赤い果物ですか？」

• 司書（OpenCLIP）： 時として混乱します。イチゴは通常赤く、バナナは通常黄色いことを知っているため、もし黄色いバナナを見つけた場合、バナナの存在に引きずられて、イチゴが黄色いと勘違いしてしまうことがあります。それは、黄色いシャツを着た人と赤い帽子を被った人がいるとき、「誰が赤を着ているか？」と聞かれて、色の「黄色」に意識が向きすぎてしまい、間違った人を指してしまうようなものです。
• 再構築者（Diffusion Classifier）： 実は、こちらの方が得意です。写真を再構築しようとする際、もしイチゴを黄色く塗ってしまったら、絵全体が不自然になり、修正するために多大な「努力」が必要になることに気づきます。そのため、邪魔な要素に惑わされず、正しい答えを維持できます。
• 落とし穴： 論文では、再構築者の成功は、彼が「イチゴは赤、バナナは黄色」というルールを完璧に学習しており、それゆえに邪魔な要素を無視できているからだと指摘されています。しかし、もし紫色のバナナ（不自然な色）を見せると、再構築者は再び混乱します。なぜなら、彼の持つ「ルール」が壊れてしまうからです。

2. 「大小」テスト（サイズ・順序バイアス / Size-Order Bias）

シナリオ： 小さなネズミと巨大なゾウが写っている写真。
問い： 「写真の中にネズミはいますか？」

• 司書： 写真全体を見ます。ネズミを見つけ、「はい」と答えます。
• 再構築者： ここで再構築者はつまずきます。再構築者は、最も「描きやすい」説明を見つけることで勝利するということを覚えておいてください。
  • もし説明が「小さなネズミと巨大なゾウ」であれば、再構築者は巨大なゾウを完璧に描かなければなりません。
  • もし説明が「小さなネズミと小さなゾウ」（間違った説明）に変更された場合、再構築者は小さなゾウを修正するだけで済みます。
  • 仕掛け： ゾウがあまりに大きいため、ゾウのサイズを修正するための「努力」がスコアを支配してしまいます。再構築者は、巨大なゾウを描くことに必死で、小さなネズミのことを忘れてしまうのです。これは、背景にある巨大な山を完璧に描こうとするあまり、手前の小さな花を描くのを忘れてしまう画家のようです。論文によると、再構築者は司書よりもはるかに精度が低いことが分かりました。

3. 「背景 vs 前景」テスト（背景依存性 / Background Dependency）

シナリオ： ビーチに座っている犬。
問い： 「これは犬ですか？」

• 司書： 犬を見ます。たとえビーチが森や街に変わったとしても、それでも犬を見つけ出します。
• 再構築者： これが再構築者の最大の弱点です。彼は背景に強く依存しています。
  • ビーチに犬がいる場合、再構築者は「ああ、犬はビーチにいるものだ。描きやすい」と考えます。
  • 同じ犬が雪山のシーンにいると、再構築者は混乱します。「待てよ、これは自分の学習内容と一致しない。背景が違う、だから絵全体が間違っている」と考えるのです。
  • 論文では、背景を完全に取り除いた場合（白い背景に犬だけがいる状態）、再構築者の精度は大幅に低下する一方で、司書は高い精度を維持することが示されました。再構築者は、答えそのもの（物体）だけでなく、教科書のページ全体（背景の景色も含めて）を丸暗記してしまった学生のようなものです。

大きな展望

著者らは、AIがどこを見ているかを確認するために「ヒートマップ」（サーマルカメラのようなもの）を使用しました。その結果、以下のことが分かりました。

• 属性（色や形）について： 再構築者は、他の物体に惑わされない能力については非常に優れていますが、一方で「ステレオタイプ」（例：イチゴは赤い）に頼りすぎる傾向があります。
• サイズと順序について： 再構築者は大きな物体に簡単に圧倒されます。部屋の中で最も大きいものに集中してしまい、他のものを見失ってしまいます。
• 背景について： 再構築者は背景に執着しています。物体をその設定から切り離して考えることができません。

結論：
この論文は、どちらのAIが総合的に「優れている」と言っているわけではありません。むしろ、彼らには異なる個性があるのだと述べています。

• 司書は、大きな邪魔な要素を無視することには長けていますが、時としてどの物体がどの色を持っているのかを混同してしまいます。
• 再構築者は、色のルールを守ることには長けていますが、大きな物体や背景の景色に簡単に圧倒されてしまいます。

著者らは、これらの「再構築型AI」が画像を分類するだけでなく、画像を生成するためにも使われていることから、これらのミスが画像を生成する際にも起こり得ると警告しています。もし「小さなゾウ」を描くよう指示しても、彼はゾウを「最も大きなもの」として描くことに慣れているため、巨大なゾウを描いてしまうかもしれません。

要するに、単に最終的なスコア（精度）を見るだけでは不十分です。AIがどのように失敗するかを知るためには、そのAIが「どのように考えているか」を理解する必要があります。