Benchmarking Frontier Text-to-Image Models on Image-Description Prompts
この論文は、4つの最先端テキスト・トゥ・イメージ・モデル（Gemini 3 Pro Image、FLUX.2、Ideogram 3.0、およびHunyuan 3.0）を48個の極めて複雑なプロンプトでベンチマークしており、Gemini 3 Pro Imageが84.8/100というスコアでリードしていることを明らかにするとともに、現在のシステムが主に物体の計数、幾何学的な正確さ、およびテキストの判読性に苦慮していることを浮き彫りにしています。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代のコンピューティングが奏でる静かなハミングの中で、新しい種類の芸術家が登場しました。それは筆や粘土ではなく、言葉で絵を描く芸術家です。これらはテキスト・トゥ・イメージ（文章から画像を生成する）システムであり、人間の説明を聞き取り、それに一致する絵を描こうとするコンピュータプログラムです。長年、これらのシステムは「マットの上に座っている猫」のような単純なリクエストに対してテストされてきましたが、そこでは驚くほど優雅にその能力を発揮してきました。しかし、現実の世界はこれほど単純ではありません。ユーザーが、例えば「正確に4脚の赤い椅子があり、はっきりとした文字で『OPEN』と書かれた看板があり、物理法則に従った水たまりへの反射があるシーン」といった、具体的かつ複雑なものを求めたとき、プログラムはしばしばつまずきます。4脚の代わりに3脚の椅子を描いたり、看板の文字を乱したり、あるいは反射を空中に浮かせたりしてしまうことがあります。なぜこれらのシステムが失敗するのか、そしてどのシステムが最も失敗が少ないのかを理解することは、広告のデザインからストーリーボードの作成に至るまで、真剣な業務でこれらを使用しようとするあらゆる人々にとって極めて重要です。簡単なタスクにはうまく機能するシステムと、現実の乱雑で詳細な要求を処理できるシステムとの間の溝こそが、知性の真のテストとなるのです。
ある研究チームは、最も高度な画像生成システム4つを厳格なテストにかけることで、この溝を測定しようと試みました。彼らはコンピュータに単純な絵を描かせるのではなく、大規模な実世界の画像キャプションのコレクションの中から、最も困難な48個の記述を入力しました。これらのプロンプトは、正確な物体の数、特定の空間配置、そしてシーン内に埋め込まれた判読可能なテキストといった、精密さを要求するものとして選ばれました。テストされたシステムは、Hunyuan 3.0、Gemini 3 Pro Image、Black Forest Labs FLUX.2、そしてIdeogram 3.0です。公平で偏りのない判断を確保するため、研究者たちは巧妙な二段階のプロセスを採用しました。まず、一つの人工知能モデルがライターとして機能し、各特定のプロンプトに対して完璧な画像がどのように見えるべきかという詳細なチェックリストを作成し、同時に、システムが生成した実際の画像を見て明らかな欠陥を記録しました。次に、全く別の人工知能モデルが審判として機能し、そのチェックリストを用いて画像を採点しました。この分離により、何を見るべきかを決定するモデルが、画像が合格したかどうかを判定するモデルと同じにならないようにし、システムが自らの成果物を採点する際に起こりうるバイアスを取り除きました。
結果は、能力の明確な分断を明らかにしました。Gemini 3 Pro ImageとFLUX.2の2つのシステムがリーダーとして浮上し、それぞれ100点満点中84.8点と82.3点を記録しました。これに続くのは大きな隔たりであり、Ideogram 3.0は65.7点、Hunyuan 3.0は63.3点でした。トップの成績と下位の成績の差は、単なる小さなエラーの問題ではなく、複雑さの扱い方における根本的な違いでした。上位のシステムは概して全体像を正しく捉えていましたが、物体の数を間違えたり、車輪がフレームと奇妙に融合しているような軽微な幾何学的ミスを導入したりすることがありました。対照的に、下位のシステムは基礎的な部分で苦戦していました。彼らは、特定の物体をシーンから完全に省略したり、テキストをめちゃくちゃにして、明瞭な文字ではなく読めない落書きに変えてしまったりすることが頻繁にありました。例えば、「特定の住所が書かれた車型の郵便ポスト」を描くよう求められた際、トップのシステムはすべての詳細を正確に捉えましたが、最低スコアのシステムは、郵便ポストを車に見せることすらできず、住所を見落とし、4つのタイヤの代わりに2つだけを描きました。
この研究は、これらのシステムが向上している一方で、依然として離散的で記号的なルールをネイティブに理解できていないことを浮き彫りにしています。彼らはシーンの一般的な雰囲気、色彩、構成を捉えることには長けていますが、数を数えたり言葉を正しく綴ったりするために必要な精密な論理には苦戦しています。研究者たちは、すべてのシステムにとって最も困難な課題は、例えば「5番から8番までのスターティングブロックのナンバリング」のような正確な連続ラベル付けや、特定の人数や物体のカウントであることを発見しました。最高性能のGemini 3 Pro Imageでさえ、これらのタスクで減点されましたが、他のシステムよりもはるかに少ない頻度でした。下位のシステム、特にIdeogram 3.0は、要求された要素を丸ごと省略するというパターンを示しており、これは詳細を間違えようとするのではなく、複雑な指示に対して諦めてしまうことがあることを示唆しています。この区別はユーザーにとって極めて重要です。もしプロジェクトに多くの異なる物体を含むシーンが必要な場合、上位のシステムの方がはるかに信頼できますが、画像内にテキストを生成することを目的とする場合、最高のシステムであっても毎回正しく行うことは依然として困難です。
結局のところ、この研究は、複雑な指示に従う能力こそが画像生成の新たなフロンティアであることを示しています。最高のものとそれ以外との間の溝は、スタイルや芸術的な感性の問題ではなく、論理的な一貫性の問題です。上位2つのシステムは、構成上の要求という重労働をこなせることを証明しましたが、他のシステムは現実の錯覚を壊してしまうような根本的なエラーを起こしやすいままです。これらのツールが実験的な好奇心の対象から生産ツールへと移行するにつれ、どのシステムを使用するかという選択は、具体的なタスクに大きく依存することになるでしょう。単純で情緒的な画像であれば、その違いは無視できるかもしれませんが、精密さを求める要求に対しては、リーダーたちは他のシステムがまだ到達できていないレベルの信頼性を提供します。今後の道のりは、これらのシステムが数、テキスト、そして空間のルールをより良く理解できるように洗練させ、細部を推測する芸術家から、それらを確実に実行できるツールへと変貌させることにあります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。