RA-ClipScore: Making Generative Model Evaluation More Interpretable

コンピューターが、人間の目さえも欺くほどリアルな画像を夢想できる世界を想像してみてください。これは、機械がゼロから芸術、顔、風景を作り出すことを学ぶ科学の一分野、生成AIの領域です。長い間、これらのデジタルな夢が本当に優れているかどうかを判断する唯一の方法は、「これらは本物のように見えるか？」という単純な質問を投げかけることでした。しかし、それは映画全体をたった一つのぼやけたフレームだけで判断するようなものです。私たちは、なぜその画像が良いのか、あるいは悪いのかを理解するためのより良い方法を必要としていました。そこで登場したのが「評価指標（エバリュエーション・メトリクス）」という概念です。これは、AIアートのスコアカードとして機能するツールです。CLIPと呼ばれる有名なツールは、何百万冊もの本を読み、何百万枚もの写真を見てきた超スマートな司書のようなもので、画像が説明文と一致しているかどうかを教えてくれます。しかし、この司書にも盲点があります。それは「これは犬だ」と言うのは得意ですが、「その犬がどこに立っているか」や「犬に奇妙な余分な足が生えていないか」を説明することには苦労します。もし私たちがこうした小さな間違いを見逃してしまうと、意図せずAIに偏った、あるいは壊れた画像を作らせてしまう可能性があります。これは、医療診断や自動運転車のような重要なタスクにAIを使用したい場合に大きな問題となります。

この論文は、AIアートをチェックするための、より鋭い新しい眼鏡であるRA-CLIPScoreを紹介しています。スウェーデンの研究者チームである著者たちは、古いツールが鈍すぎると気づきました。それらは部屋の中央だけを照らし、隅の方を暗いままにしてしまう懐中電灯のようなものでした。新しい手法であるRA-CLIPScoreは、画像のすべての隅に光を当て、単に「何が」写っているかだけでなく、「どこに」あり、「どのように」組み合わさっているかをチェックするように設計されています。

問題点：「ワンサイズ・フィット・オール（一律的）」なスコアカード

あなたが学生のエッセイを採点しているところを想像してみてください。古いやり方（FIDや標準的なCLIPScoreなどのツールを使用する方法）は、エッセイに対して「85/100」のような単一の数字を与えるものでした。その数字はエッセイが「まあまあ」であることを教えてくれますが、学生が「cat（猫）」を「bat（コウモリ）」と綴ってしまったのか、あるいは結論を一番最初に書いてしまったのかまでは教えてくれません。AI画像の領域において、これは、モデルが人物の頭を写真の右下隅に配置し続けていることや、あり得ない方法で「赤ちゃん」と「髭」を誤って混ぜ合わせてしまっていることを見逃す可能性があることを意味します。

研究者たちは、これらのスコアカードの「脳」として機能する普及しているCLIPツールには、特定の癖があることを発見しました。それは、CLIPが「一つの最適な答え」を選ぶように訓練されているという点です。「これは白いフクロウの写真ですか？」と尋ねると、それは「はい」か「いいえ」のどちらかを選ばなければならず、その過程で微妙な詳細を忘れてしまいます。それは、証拠には関心を持たず、最終的な判決だけに執着する裁判官のようなものです。これにより、AIが特定の奇妙な方法で失敗しているときを見つけることが難しくなります。

解決策：虫眼鏡を持った探偵

著者たちは、RA-CLIPScore（Region-and-Attribute-Aware CLIPScore）と呼ばれる新しい手法を提案しました。これは、AI評価者を「虫眼鏡を持った探偵」に変えることだと考えてください。画像全体を一度に見て単一の成績を与えるのではなく、RA-CLIPScoreは画像を小さなパズルの一片（「パッチ」と呼ばれます）に分解し、それぞれのピースに対して非常に具体的な質問を投げかけます。

その仕組みは、以下のステップで行われます：

1. 「イエスとノー」のトリック（デュアル・プロンプト）： 古いツールは「白いフクロウはいますか？」と問い、画像が乱雑な場合には混乱した答えを得ていました。新しい手法は、同時に二つの質問を投げかけます。「これは白いフクロウの写真ですか？」そして「これは白いフクロウが『いない』写真ですか？」両方の答えを比較することで、システムは画像内の他の要素に惑わされることなく、フクロウがどれくらい存在するかを正確に判断できます。これは、友人に「これはピザですか？」と「これはピザでは『ない』ですか？」と同時に尋ねて、より明確な答えを得るようなものです。
2. ズームイン（ローカル・パッチ・トークン）： 画像全体を凝視する代わりに、RA-CLIPScoreは画像の小さな正方形を個別にチェックします。「白いフクロウ」が実際にフクロウの上にいるのか、それとも誤って空中に浮いているのかを確認します。これにより、「ギターは中央で保持されるべきなのに、モデルが常に左上隅に置いてしまう」といった空間的なエラーを捉えることができます。
3. スコアカード（ダイバージェンス）： システムがすべてのピースをチェックした後、AIの画像と実際の人間による写真を比較します。システムは「ダイバージェンス（分岐）」スコアを計算しますが、これは「これら二つのグループはどれくらい異なっているか？」ということを意味する専門的な言い回しです。もしAIがフクロウを100%の確率で空中に配置しているのに、現実のフクロウは通常木の上にいる場合、スコアが上昇し、何かがおかしいという警告を発します。

彼らが発見したこと：AIには「バイアス」がある

研究者たちは、この新しいツールを、顔やその他の物体を生成するいくつかの有名なAIモデルでテストしました。彼らは、古いツールでは完全に見落とされていた驚くべき事実を発見しました。

• 「センターステージ（中央配置）」バイアス： 一部のAIモデルには、現実の写真よりもオブジェクトを画像のど真ん中に配置する習慣があることを発見しました。例えば、「ダイヤル式電話」の画像を生成する場合、AIはそれらを常に中央に配置していましたが、現実の写真では様々な場所に表示されていました。
• 「斜めの」ギター： BigGANというモデルは、電気ギターをほぼ常に45度の角度で描く傾向があることが判明しました。現実のギターはあらゆる角度で保持されますが、AIには硬直した習慣がありました。
• 「ブリトー」のシフト： 別のモデルであるLDMは、ブリトーを画像の上部に配置し、現実の世界で通常現れる場所からずらす傾向がありました。

これらは単なる小さな不具合ではありません。これらは系統的なバイアスです。もしこれらのAI画像を自動運転車や医療スキャナーの訓練に使用した場合、機械は「車は常に中央にある」あるいは「癌細胞は常に真ん中にある」と学習してしまう可能性があり、それは現実世界では危険を伴います。

人間のテスト：人間の目と一致するか？

新しいツールが単なる数学的な遊びではないことを確認するために、著者たちは人間にゲームをしてもらいました。彼らは人々にAI生成画像のペアを見せ、「どちらのセットがより多様で自然に見えますか？」と尋ネました。

結果は驚くべきものでした。RA-CLIPScoreの一部である新しいRegional Single-Attribute Divergence (R-SaD) 指標は、人間の意見と完璧に一致しました。相関関係は1.0であり、人間が「これは多様に見える」と言えば指標も「イエス」と言い、人間が「これは変に見える」と言えば指標も同意しました。対照的に、FIDや「カバレッジ」といった従来の普及している指標は、人間の意見と一致するのは30%から70%程度でした。結局のところ、古いツールは、人間の目に「違和感」を与えるまさにその要素に対して、しばしば盲目であったのです。

なぜこれが重要なのか

論文は、AIアートの最終成績として単一の数字を受け入れるのをやめる必要があると結論づけています。画像が遠目には「良く」見えたとしても、それが公平で、正確で、安全であるとは限りません。RA-CLIPScoreは、AIの内部を覗き込み、どこで苦戦しているのかを正確に把握する方法を与えてくれます。それは、AIモデルが「常にオブジェクトを同じ場所に置く」といった奇妙な習慣を持つ可能性があることを示しており、それらを修正するためのツールを提供してくれます。

要するに、著者たちはデジタル世界のためのより優れた顕微鏡を作り上げたのです。細部や物の具体的な位置を見ることで、以前よりもずっと深くAIを理解できることを彼らは証明しました。これは単に美しい絵を作るのを助けるだけでなく、より信頼性が高く、愚かで偏った間違いを犯しにくいAIを構築するための助けとなるのです。