あなたは、数百万枚もの絵を見て、記述されたあらゆるものを描くことができる超スマートなロボット・アーティストと話していると想像してください。このロボットは、「猫の帽子」のような文章を入力すると絵を描いてくれる「テキスト・トゥ・イメージ（text-to-image）」モデルの世界に住んでいます。しかし、「雲のようにふわふわした猫」といった、より詩的な表現を求めたらどうなるでしょうか？これは非常にトリッキーな問題です。あなたはロボットに、絵の中に雲が現れることを求めているのではなく、雲の「ふわふわ感」という性質を借りて、それを猫に与えてほしいと頼んでいるのです。これは「直喩（シミリ）」と呼ばれるものです。これは、何かを他のものと比較することで説明する方法です。例えば、「彼は風のように走る」と言う場合、風が彼の横を走っていることを期待しているのではなく、単に彼が速いことを伝えています。

大きな疑問は、このロボット・アーティストは本当にそのジョークを理解しているのか？ということでした。それとも、混乱して「おっと、猫と雲が欲しいんだな？」と思い込み、両方を描いてしまうのでしょうか？この論文は、まさにこの問題に深く切り込んでいます。研究者たちは、このロボットの混乱を「リテラル化バイアス（直喩の文字通り解釈バイアス）」という特定のミスとして扱いました。これは、モデルが比較対象（直喩の「媒介物」）を、その性質としてではなく、実在する物理的な物体として描いてしまう現象です。研究者たちは、これがどれくらいの頻度で起こるのか、そしてなぜ起こるのかを調べるためのテストを構築したいと考えました。なぜなら、もしロボットが比喩を理解できないのであれば、人間が使う創造的で色彩豊かな言葉を理解できないことになるからです。

偉大なる「石のパン」テスト

これらのAIアーティストが真に創造的なのか、それとも単に文字通りに受け取るだけの模倣者に過ぎないのかを見極めるために、研究者たちは大規模で制御された遊び場を作り上げました。彼らは単にロボットにランダムなものを描かせるのではなく、「直喩プロンプト」と呼ばれる特定の指示セットを作成しました。彼らは、コンピュータが容易に認識できる80種類の異なる物体（石、雲、ハサミなど）を選び、それらを14種類の文章テンプレートと組み合わせました。

例えば、「石のように硬いパンを食べている男」を描くよう指示する場合を考えます。正しい答えは、テーブルの上に実際の岩が置いてあるのではなく、硬くてカリッとした見た目のパンの絵です。もしロボットが岩を描いてしまったら、それはテストに失敗したことになります。研究者たちは、この失敗を「リテラル化バイアス」と呼んでいます。それは、子供に「クマのようにお腹が空いている」と言ったとき、子供が単にお腹が空いていることを理解するのではなく、本物のクマをキッチンに連れてきてしまうようなものです。

探偵の仕事：どのようにロボットを捕まえたか

チームは、5つの異なる人気のあるAI画像生成モデルをテストしました。ロボットが指示を誤解していないかを確認するために、彼らは「YOLO（You Only Look Once：これを見るだけでいい）」という、非常に高速な物体検出器であるデジタル探偵ツールを使用しました。このツールは、ロボットが作ったすべての画像をスキャンし、「比較対象（例：パンの例における石）」が画像の中に誤って出現していないかを調べました。

結果は、かなりまちまちでしたが、多くの場合、ロボットの理解力にとっては悪いニュースでした。

• 高失敗グループ： 一つのモデル、Qwen-Imageは最もひどい offenders（違反者）でした。約61.4%の画像において、属性としての性質ではなく、リテラルな物体（石や雲など）を描いてしまいました。もう一つのモデル、PixArtは、約49.5%の割合でこのミスを犯しました。
• 改善されているが、依然として欠陥があるグループ： 他のモデル（Dreamlike、FLUX、SD3.5）はより優秀でしたが、それでも30%から35%の割合でこの間違いを犯していました。

研究者たちはまた、人間の判定者に画像を見てもらいました。人間はコンピュータの検出器と一致する判断を下しました。つまり、「石」や「雲」が画像内に見えている場合、人間はその画像を直喩の悪い解釈であると評価しました。興味深いことに、ロボットが「リテラルな部分」を間違えれば間違えるほど、文の実際の意味を捉えられなくなる傾向がありました。これはトレードオフの関係です。余計な物体を描けば描くほど、記述の意味を理解できていないということになります。

なぜ標準的なテストは見逃したのか

ここには面白い展開があります。研究者たちは、CLIPScoreやPickScoreといった、通常AIアートを採点する「成績表」を試してみました。これらのツールは、画像が文章にどれだけ一致しているかを伝えるためのものです。しかし、これらは完全に失敗しました！これらのツールは、間違った物体が含まれている画像に対しても高いスコアを与えてしまったのです。それはまるで、クマについて書くように指示された生徒がクマの絵を描いたとき、その絵の質が高いという理由だけで「A」をつけてしまう教師のようなものです。この論文は、直喩のための新しい種類のテストが必要であることを証明しています。なぜなら、従来のテストは、この特定の種類の混乱を見抜くにはあまりにも盲目だからです。

ロボットの脳内を覗き見る

なぜロボットがこのような間違いを犯すのかを理解するために、研究者たちは「Diffusion Lens（ディフュージョン・レンズ）」という特別なツールを使用しました。ロボットの脳を多層のケーキだと想像してください。下の層は基本的な形について考え始める場所であり、上の層は最終的な詳細を加える場所です。

彼らは、異なるロボットが異なるタイミングで間違った物体について「考えている」ことを発見しました。

• 早い思考者： 一部のモデル（FLUXやSD3.5など）は、脳の層の極めて低い段階で、すでに「石」や「雲」について考え始めていました。一度考え始めると、止めることができず、それが最終的な画像に現れてしまうのです。
• 遅い思考者： 他のモデル（Qwen-Imageなど）は、脳の最上層に到達するまで、その物体について考えるのを待っていました。しかし、それを考え出した時には、画像への出現を止めるには遅すぎたのです。
• 抑制者： いくつかのモデル（Dreamlikeなど）は、中間の層でその物体について考えますが、最終的な画像が完成する前に、それをうまく「抑制」または削除することに成功していました。これが、彼らのミスが少なかった理由です。

私たちは修正できるのか？

研究者たちは、指示を変更することなく、ロボットが間違った物体を描かないようにするための2つのトリックを試しました。

1. ダイスを振る（ランダム再生成）： ロボットに、ランダムな「シード（種）」の数値を変えて（サイコロを振るように）、同じ絵をもう一度描くよう求めました。これは少し効果がありました。最も成績が悪かったQwen-Imageでは、ミス率が61.4%から24.4%に低下しました。これは、混乱している芸術家に「もう一度やってみて」と頼むようなもので、運良く正解することもあります。
2. 脳の層を変える（レイヤーベースの再生成）： ロボットに、決定を下すために脳の異なる層を使うよう強制しました。これは一部のモデルにおいて、より効果的でした。Pixartの場合、ミス率は49.5%から17.6%に減少しました。

しかし、論文は、これが魔法のような解決策ではないことを注意深く述べています。ロボットがリテラルな「石」を描かなくなったとしても、それが必ずしも「パンの硬さ」を完璧に理解したことを意味するわけではありません。それは単に、その特定かつ明白なミスをしなくなったというだけなのです。

結論

この論文は、最新鋭のAIアートジェネレーターであっても、直喩の技術には依然として苦戦していることを示しています。彼らはしばしば比喩をあまりに文字通りに受け取り、比較対象の性質ではなく、その物体自体を描いてしまいます。ランダムに再生成させたり、思考プロセスを微調整したりすることで、このミスを減らすことはできますが、彼らが概念を完全にマスターしたわけではありません。研究者たちは、この問題を測定するための新しい方法を構築し、標準的なテストではこれらの創造的な誤解を捉えるには不十分であることを証明しました。これは、ロボットが真に人間の言語を理解するためには、単に言葉の意味を知るだけでなく、私たちがどのように言葉を使って心の中に絵を描いているのかを学ぶ必要があることを思い出させてくれます。