Scalable Question-Centric Text-to-Image Evaluation: Reliable Ranking, Fine-Grained Diagnosis, and Cost-Aware Routing

急速に進化する人工知能の世界において、文章から何もないところから絵を呼び出すことができる特定のクラスのソフトウェアが登場しました。「青いマットの上に座っている赤い猫」といったユーザーの記述を聞き取り、そのシーンの視覚的な表現を生成するこれらのシステムは、テキスト・トゥ・イメージ（text-to-image）モデルとして知られています。長年、これらのマシンがどれほど上手く機能しているかを判断する主な方法は、最終的な画像を見て、それに単一のスコアを割り当てることでした。画像全体として見た目が良ければ、そのモデルは強力であると見なされてきました。しかし、これらのツールが向上するにつれ、ある問題が生じています。異なるモデルがしばしば同等の総合スコアを達成しながらも、非常に異なる強みと弱みを持っているのです。あるモデルは動物を描くことには非常に長けているがテキストの描写には極めて拙い一方で、別のモデルは複雑な指示に完璧に従うものの単純な図形の描写に苦戦するといった具合です。これにより、単一の数値ではモデルが実際に何を行えるのかという複雑な詳細を明らかにできないため、ユーザーが特定の用途に合わせて適切なツールを選ぶことが困難になっています。

これを解決するために、チャイナ・ユニコム（China Unicom）の研究チームは、これらのシステムをテストするための新しい手法である「QC-T2I-Bench」を導入しました。彼らの手法は、プロンプトを一つの分割不可能なブロックとして扱うのではなく、あらゆるリクエストを一連の小さく具体的な質問へと分解します。もしユーザーが「青いマットの上に座っている赤い猫」を求めた場合、システムは単に「画像は良いか？」と問うのではありません。「猫はいるか？」「猫は赤いか？」「マットはあるか？」「マットは青いか？」と問うのです。決定的なのは、研究者たちがこれらの質問が互いにどのように依存しているかをマッピングしている点です。彼らは、もしシステムが猫を描くことに失敗した場合、猫の赤い毛を描くことに成功することはあり得ないということを認識しています。これらの質問を論理的な構造へと整理することで、チームはモデルが具体的にどこで失敗しているのか、そしてその失敗が基本的なミスなのか、あるいは複数の要件が組み合わさった時にのみ発生するより複雑なエラーなのかを特定することができます。

研究者たちは、英語と中国語の両方のプロンプトを用いて、13種類の異なるオープンソースの画像生成器に対してこのアプローチをテストしました。その結果、単純なタスクにおいては優れた性能を示すモデルがある一方で、要求が複雑になるにつれて、それらを処理する能力が急激に低下することが分かりました。プロンプトに2つの異なる能力への要求が含まれている場合、モデルは80.7%の割合で完璧な画像を生成することに成功しました。しかし、リクエストが同時に7つ以上の異なる能力を要求した場合、成功率は37.2%へと急落しました。この低下は単にエラーが増えたということではなく、モデルが複雑なパズルのすべてのピースを一度に保持することに著しく苦戦していることを明らかにしました。また、この研究は、依存関係を理解することで、特定の物体を描くことが単純にできないモデルと、物体を描くことはできるが特定の詳細を加えるよう求められると失敗してしまうモデルを区別できることを示しました。

単にモデルをランク付けするだけでなく、この詳細な分析は、より実用的な応用である「コストを考慮したルーティング（cost-aware routing）」を可能にします。現実の世界では、強力なコンピュータ上でこれらの画像生成器を実行するには、お金とエネルギーがかかります。研究者たちは、エラーを診断するために使用された詳細な記録が、新しいシステムを訓練することなく、与えられたタスクに対して最も効率的なモデルを自動的に選択するために使用できることを実証しました。ユーザーのリクエストの特定の要件を分析することにより、彼らのシステムは、品質基準を満たしつつも、実行コストがより低いジェネレーターを選択することができました。テストにおいて、この手法はトップティアのモデルの性能に匹負ながら、画像1枚あたりの計算資源を21.3%少なく使用しました。このことは、これらのツールを使用する未来が、単にそれらをより賢くすることにあるのではなく、それらの特定の能力に対する深い理解を用いて、リソースを節約しながら高い品質を維持しつつ、適切な仕事に適切なツールを適合させることにあることを示唆しています。