Efficient Training with Foresight: Multi-Token Auxiliary Supervision for Autoregressive Image Generation

コンピュータはゼロから画像を生成することにおいて驚くほど熟練してきましたが、その学習方法は、ページ全体を見ることもなく、教科書を一単語ずつ暗記しようとしている学生のように感じられることがよくあります。人工知能の分野では、「自己回帰生成」と呼ばれる一般的な手法があり、これは前のパーツに基づいて次の画像パーツを予測するというもので、まるで次にくる単語を推測して文章を完成させることに似ています。このアプローチは高品質な画像を作成する上で大きな期待を集めていますが、根本的な非効率性に悩まされています。コンピュータは、それらがどのように組み合わさるかを学習するために、画像のあらゆる微細なパッチを一つずつ見なければなりません。このプロセスは遅く、しばしば「近視眼的」です。つまり、コンピュータが目の前の次のステップにあまりにも狭く集中しすぎるため、全体像を見失い、結果として繰り返されるテクスチャやぼやけた詳細を生んでしまうのです。さらに、コンピュータは、空の空白部分のような非常に重要な情報を含まない画像の部分に対しても、顔の複雑な詳細を処理するのと同等のエネルギーを浪este（浪費）してしまいます。

仏山大学と香港大学の研究チームは、コンピュータが最終的に画像を生成する方法を変えることなく、これらの問題を解決する新しい画像生成システムの学習方法を提案しました。彼らは自らの手法をMTARと呼び、3つの具体的な戦略を通じて学習プロセスを改善する統合フレームワークとしています。第一に、彼らはコンピュータへの「先読み」の教え方を変えました。モデルにすぐ次のパッチを予測させるだけでなく、現在のグリッド位置の直下にあるパッチ、つまり少し先のパッチも予測させるという第2のタスクを追加しました。これにより、コンピュータは単なる一本の通り道ではなく、近隣地域を見るかのように、画像の二次元構造を理解することを強制され、局所的なパターンと将来のコンテキストをより良く捉えられるようになります。第二に、画像の異なる部分に対するコンピュータの内部的な理解が、明確かつ区別された状態に保たれるようにする技術を導入しました。同じ画像特徴の異なるバージョンを比較することで、モデルが異なるテクスチャや形状の表現を分離して保持するように促し、画像が濁ったり反復的になったりするのを防ぎました。最後に、彼らは無駄な努力の問題に対処するため、学習中に重要でない画像部分を無視するようにコンピュータを教えました。どのパッチが最も意味のある情報を含んでいるかを特定する別のツールを使用することで、コンピュータが背景の空白などの重要度の低い領域をスキップしつつ、重要な詳細に集中できるようにしました。

この新しいアプローチの結果は、この分野の進歩を測定するために使用される標準的な画像コレクションであるImageNetベンチマークでテストした際、驚くべきものでした。研究者が彼らのシステムをLlamaGenと呼ばれる主要な従来手法と比較したところ、彼らの新しいフレームワークは、より短い時間で大幅に優れた画像を生成することがわかりました。具体的には、生成された画像のリアリティを測定するFIDと呼ばれるスコアにおいて、従来の最高値よりも1ポイント近く低くなり、品質の明確な向上を示しました。より重要なことに、学習プロセスは大幅に高速化されました。研究者たちは、彼らのシステムが、従来の手法と同じレベルの性能に達するのにわずか3分の1の時間しか必要とせず、場合によっては4倍近く速かったことを見出しました。たとえ研究者が通常のステップ数のわずかな割合に学習を制限した場合でも、新しいシステムはベースラインと同等、あるいはそれ以上の画像を生成することができました。これは、改善が単に「より懸命に働く」ことからではなく、より良い学習信号を提供し、不要な計算を取り除くという「より賢く働く」ことから来ていることを示唆しています。

決定的なのは、これらすべての改善はコンピュータが学習している間のみに起こるということです。学習が終了すると、システムは追加のステップや遅延なしに、以前と同様に一度に一つのトークンを予測して動作します。研究者たちは、学習フェーズにおいてこれらの補助的なタスクを追加し、価値の低い情報をスキップすることで、より有能で効率的なモデルを作成できることを実証しました。この研究は、より良い画像生成の鍵は、より大きなモデルを構築することではなく、モデルに世界の捉え方を洗練させ、正しいものに注意を向け、それらの間の空間的な関係を理解させることにあると示唆しています。高品質な出力の必要性と、時間および計算能力の実用的な制約とのバランスを取ることで、この研究は、人工知能による現実的な画像作成のためのより明確な道筋を提示しています。