技術要約：EKPHRASIS – テキストのみのLLMにおける視覚的創造的着想の測定

問題提起

現在の大規模言語モデル（LLM）の評価は、画像生成が行われる前に、テキストのみのモデルが真に視覚的概念を創出できるかどうかを分離して評価できていないことが多い。流暢で鮮やかな視覚的散文が、真の視覚的発明の欠如を覆い隠してしまうという重大な「測定の罠」が存在する。モデルは、一見すると創造的に見える出力を行うが、実際には馴染みのある視覚的決まり文句、安全なモチーフ、あるいは頻出する集団パターン（「新規性の錯覚」）に依存している可能性がある。既存のベンチマークは、最終的なレンダリング画像、言語的創造性、または指示への追従性を評価しているが、画像生成前の視覚的計画（pre-image visual plan）——すなわち、ピクセルが存在する前に視覚的な実体、具体性、および新規性を備えていなければならないテキストによる設計図——を評価していない。

対処される核心的な問いは、「言語モデルは視覚的に想像できるのか、それとも単にそうであるかのように書いているだけなのか？」というものである。

手法：EKPHRASIS ベンチマーク

著者らは、視覚的創造的着想（Visual Creative Ideation: VCI）を測定するために設計された、400タスクからなるベンチマークであるEKPHRASISを導入する。VCIは、以下の条件を満たすテキストによる視覚的計画を生み出す能力と定義される：

1. 有用性（Useful）： 特定の視覚的ブリーフ（指示）を満たしていること。
2. 表現力（Expressive）： 具体的かつ安定したメンタルイメージを支えるのに十分な詳細を提供していること。
3. 新規性（Novel）： LLMの集団に共通するタスク固有の視覚的決まり文句から逸脱していること。

タスク設計

ベンチマークは、視覚的計画の異なる側面をテストする4つの制御されたタスクファミリーで構成されている：

• 抽象化（Abstraction）： 抽象的な概念を具体的な視覚的担体（キャリア）へとマッピングする（例：砂時計を使わずに「時間のプレッシャー」を表現する）。
• 結合（Combination）： 2つの異なる概念を、単なる並置ではなく、単一の整合性のある視覚的実体へと融合させる。
• 変容（Transformation）： 特徴や識別性を維持しながら、特定の制約の下で対象物の形態、素材、または文脈を書き換える。
• 適応（Adaptation）： 特定の観客や媒体の制約を持つ、現実世界の文脈（例：広告、教育）のための視覚的ソリューションを設計する。

評価プロトコル

EKPHRASISは、流暢さや長さに関連するバイアスを回避するために、厳格な多段階評価パイプラインを採用している：

1. 2分野応答形式： モデルは、核となるアイデア（担体、メタファー、メカニズム）と、視覚的記述（物体、レイアウト、素材、光）を出力しなければならない。これにより、流暢な散文が具体的な視覚的計画に取って代わることを防ぐ。
2. チェックリストを用いたペア比較： 人間およびLLMの判定者は、有用性、表現力、新規性の各次元に関する次元別チェックリストを用いて、匿名化されたモデルのペアを比較する。
3. 型付きアイデアグラフ（TIG）による新規性の測定： 新規性を客観的に測定するため、システムは「集団にアンカーされた」参照モデルを構築する。各タスクにおいて、比較されている2つのモデルを除くすべてのモデルの応答から、「型付きアイデア原子（concepts, motifs, mechanisms）」のグラフを構築する（Leave-Two-Models-Out方式）。このグラフにおける高スコアのクラスターは「集団の決まり文句」を表す。新規性は、応答がこれらの特定の決まり文句を回避しているか、変容させているか、あるいは繰り返しているかに基づいてスコアリングされる。
4. ブラッドリー・テリー・モデルによる集計： ペアごとの好みをブラッドリー・テリー・モデルを用いて集計し、各次元における各モデルの潜在的なスキルスコア（$\theta$）を生成する。その際、比較予算を最適化するために能動的サンプリングが用いられる。

クロスモーダル検証

テキストレベルのスコアが、単なる言語的質ではなく、実際の視覚的内容を反映していることを確認するため、著者らはクロスモーダル・グラウンディング研究を実施した：

• テキストによる計画は、固定されたテキスト・トゥ・イメージ・システムを用いて画像へとレンダリングされた。
• 「忠実性ゲート（faithfulness gate）」により、元のアイデアを保持できていないレンダリング結果を除外した。
• 人間によるアノテーターは、元のテキストやモデルの識別情報を見ることなく、レンダリングされた画像を比較した。
• 得られた画像レベルの好みを、元のテキストレベルのVCIランキングと比較し、収束的妥当性を検証した。

主な貢献

1. 構成概念の定義： 本論文は、ブリーフの充足、視覚的特定性、および集団的新規性を、一般的な流暢さや言語的創造性と分離した、独立した構成概念としての**視覚的創造的着想（VCI）**を定式化した。
2. EKPHRASIS ベンチマーク： 抽象化、結合、変容、適応を網羅する400インスタンスのスイートであり、モデル集団の反復的なパターンに対して新規性をアンカーするための**型付きアイデアグラフ（TIG）**を用いた新しい評価エンジンを備えている。
3. 実証的エビデンス： 14の最先端のテキストのみのLLMを評価し、VCIが多次元であることを示した。強力なモデルは、異なるプロファイル（例：有用性には優れるが新規性に欠けるモデル、あるいは新規性は高いが有用性に欠けるモデルなど）を通じて、高い総合スコアを獲得する。
4. 検証： テキストレベルのVCIの順序が、忠実なレンダリングとブラインドでの画像レベルの好みの判断においても概ね維持されることを示し、本指標が散文の質を超えた視覚的着想の尺度であることを支持した。

結果

• モデルのパフォーマンス： トップティアのモデル（Gemini 3.1 Pro, GPT-5.4, Claude 4.7, DeepSeek V4, Kimi K2.6）は多様なグループを形成している。例えば、GPT-5.4は有用性（+1.53）でリードし、Claude 4.7とGemini 3.1 Proは表現力において、Kimi K2.6は新規性（+1.66）においてリードした。
• 次元の解離： 本研究は、高い有用性が視覚的新規性を保証しないことを確認した。Grok 4.3のようなモデルは、高い有用性（+1.10）を示しながらも、平均以下の新規性（-0.17）を示しており、馴染みのある担体に依存しながらブリーフを満たすことができることを示唆している。
• タスクの難易度： **結合（Combination）**タスクは、単なる横並びの配置ではなく、共有された視覚的構造を必要とするため、最も要求水準が高いことが特定された。
• 新規性の切除実験（Ablation）： タスク固有のTIGアンカーを一般的な新規性参照に置き換えると、人間の多数派一致率が20.9ポイント低下した。これは、タスク固有の集団アンカリングが正確な新規性測定に不可欠であることを証明している。
• クロスモーダルの一致： 忠実なサブセットにおいて、決定的な画像レベルの好みの96.6%がテキストレベルのモデルの順序と一致しており、テキストによる計画が回収可能な視覚情報を捉えていたことを検証した。

意義と主張

本論文は、テキストのみのモデルが視覚的に想像できるかという問いに対し、「条件付きの肯定的なイエス」という回答を提示している。これは以下のことを示している：

• 画像生成前の計画は、テキスト・トゥ・イメージのモダリティ転換を越えて、タスクに関連する視覚情報を運ぶことができる。
• VCIは単一の概念ではない。同様の総合スコアは、異なる潜在的能力（例：ブリーフへの追従性と、真の視覚的発明）を隠蔽している可能性がある。
• 露呈した中心的な境界線は**「安全な妥当性（safe plausibility）」**である。多くの出力はブリーフを満たし、読みやすくはあるが、馴染みのある担体や定型的なメタファーに陥っている。
• 実用的含意： 創造的に見える散文であっても、視覚的メカニズム、イメージ性、および集団的新規性に対する個別のチェックなしに、視覚的創造性とみなすべきではない。

著者らは、現在のモデル集団に依存した決まり文句の定義、新規性判断における文化的仮定、およびクロスモーダル検証に使用した特定のレンダラーへの依存といった限界についても謙虚に述べている。彼らは、EKPHRASISが測定するのは「外部化された」画像生成前の計画であり、プライベートなメンタルイメージや一般的な人間の創造性理論ではないことを強調している。