Multi-Axis Max@K Reinforcement Learning for Representative Diversity in Text-to-Image Generation

あなたは、巨大で魔法のようなアートスタジオに足を踏み入れたところだと想像してください。そこではロボットの芸術家が、あなたが説明したどんな絵でも瞬時に描き出すことができます。あなたが「探偵を描いて」と言うと、ポン！と探偵が現れます。もう一度言うと、別の探偵が現れます。しかし、ここには罠があります。毎回頼むたびに、ロボットは全く同じ種類の探偵を描くのです。例えば、いつもトレンチコートを着た背の高い男性を描くといった具合です。それはまるで、ロボットがお気に入りの衣装を持っていて、他のものを使うことを拒んでいるかのようです。これは、現代の「テキストから画像生成（text-to-image）」AIにおける一般的な問題です。これらのロボットは、実物のように見え、あなたの言葉に一致する画像を作ることは非常に得意ですが、何度も同じようなバリエーションを繰り返して、同じ轍を踏んでしまうことがよくあります。これは、もしあなたが「医者」や「リーダー」を求めたとき、ロボットが常に特定のタイプの人しか示さないとしたら、それは限定的で不公平な世界の捉え方を強化してしまうため、大きな問題となります。科学者たちはこれを「多様性の欠如」と呼んでいます。

これを修正するために、研究者たちは通常、ロボットに「もっと違うものを作れ！」と指示します。しかし、多くの場合、ロボットに多様性を強制すると、画像が奇妙になったり、ぼやけたり、あるいは単にめちゃくちゃになったりします。ロボットは混乱し、あなたの指示を聞かなくなってしまいます。この論文は、ロボットに冷静さを失わせることなく、多様性を教えるための巧妙な新しい方法を紹介しています。著者たちは「Multi-Axis Max@K」と呼ばれる手法を提案しています。これは、単に最高の歌手を一人選ぶのではなく、コンテストタレントのグループ全体を見て、「よし、この人は最高の歌手、この人は最高のダンサー、そしてこの人は最高のマジシャンだ」と言うようなものだと考えてください。目標は、一人の人がすべてを完璧にこなすことではなく、グループ全体がすべての要素をカバーすることです。研究者たちはこのアイデアをテストし、それがAIに、画像の鮮明さや指示への忠実さを保ったまま、より幅広い人々や色彩を生み出すことを助けることを発見しました。

問題点：ロボットの「お気に入り」の衣装

あなたの友人が絵を描くのが大好きだと想像してください。あなたが彼に「猫」を描いてほしいと頼みます。彼はふわふわしたオレンジ色のトラ猫を描きます。もう一度頼んでも、彼はまた同じオレンジ色のトラ猫を描きます。三度目に頼んでも、やはり同じオレンジ色のトラ猫です。あなたの友人は絵が下手なのではありません。ただ、ループに陥っているだけなのです。彼は猫を描く際の「お気に入りのモード」を持っており、そこに当たり続けているのです。

人工知能（AI）、特に「テキストから画像生成」モデルの世界では、これが常に起こっています。これらのモデルは、インターネット上の数十億の画像で学習しています。もしインターネット上に、女性や他の人種よりも、白人の男性としての医師の画像が多い場合、AIは「医師＝白人男性」であると学習します。あなたが医師を求めたとき、AIはその狭い記憶の貯蔵庫から引き出してしまうのです。

通常、解決策はAIに「多様であれ！」と伝えることです。しかし、単に「多様であれ」と叫ぶだけでは、AIは混乱してしまうかもしれません。AIは、聴診器をつけたジャガイモのような医師を描き始めるかもしれません。AIは違おうとしていますが、あなたの指示に従うという「上手さ」を忘れてしまうのです。研究者たちは、画像の質を落とすことなく、AIにさまざまな選択肢（女性の医師、男性の医師、黒人、アジア人など）を見せる方法を求めていました。

解決策：「バッチの中のベスト」タレントショー

論文の著者たちは、AIが学習するための新しいルールを考案しました。彼らはそれを Multi-Axis Max@K と呼んでいます。これは難しく聞こえますが、簡単な物語で分解してみましょう。

あなたは、生徒の成績をつける教師だと想像してください。あなたには、数学、芸術、音楽、スポーツといった「スキル」のリストがあります。

• 古い方法（スカラー報酬）: あなたは各生徒を個別に評価します。「生徒Aは数学は得意だが、他のことは苦手だ。生徒Bは芸術は得意だが、他のことは苦手だ。」もし、単に彼らのスコアを合計するだけなら、あらゆることに「そこそこ」だが、何においても素晴らしいものを持たない生徒を選んでしまうかもしれません。あるいは、数学の天才を選び、クラスに音楽家がいないという事実を無視してしまうかもしれません。
• 新しい方法 (Multi-Axis Max@K): あなたは、クラス全体を一つのグループとして見ます。あなたはこう問いかけます。「このグループの中で、最高の数学の生徒は誰か？」あなたは生徒Aを選びます。「最高の音楽の生徒は誰か？」あなたは生徒Bを選びます。「最高のスポーツの生徒は誰か？」あなたは生徒Cを選びます。

魔法はここにあります。たとえ一人の生徒がそのすべてに長けていなくても、グループ全体がそれぞれの分野の天才を持つことで、グループとしての高いスコアを獲得できるのです。AIは、すべてのことをこなす一つの完璧な画像を作る必要はないことを学びます。代わりに、ある「バッチ（一連の画像）」が成功しているかどうかは、そのバッチ内の異なる画像が、異なる事柄を表現しているかどうかで判断されることを学びます。

「Max」の部分は、AIがグループ内の各カテゴリーの「最高」の例を探すことを意味します。「K」の部分は、K枚の画像（例えば7枚や10枚のバッチ）のグループを見ることを意味します。「Multi-Axis（マルチ・アクシス）」の部分は、多くの異なるカテゴリー（異なる肌のトーン、性別、色など）を同時にチェックすることを意味します。

テスト方法：ピクセルから人々へ

研究者たちは、単にこれがうまくいくと推測したわけではありません。彼らは、段階的に複雑さを増していく3つの方法でテストを行いました。

1. カラーゲーム（合成テスト）
まず、単純なコンピュータプログラムを用いたゲームを行いました。プログラムに対し、赤、緑、青、またはその他の色を持つ画像を生成するように指示しました。そして、生成された画像のグループがすべての色をカバーしていれば、プログラムにポイントを与えるというルールを設定しました。

• 結果: 古い「単一スコア」法を用いたとき、プログラムはポイントを得る最も簡単な方法として、大量の赤い画像を作るという手抜きをしました。しかし、新しい「Multi-Axis Max@K」法を用いたとき、プログラムは、勝つためには赤、緑、青の画像を作る必要があることに気づきました。これにより、プログラムは賭けを分散させ、カラフルな混合物を作るようになりました。

2. ピクセルパズル（ルールベースのテスト）
次に、彼らは SD3.5-M（人気のAIアートモデル）という実際の画像生成器を使用しました。今回は、人間が画像を判定するのではなく、ピクセルを見て色を数えるコンピュータプログラムを使用しました。彼らはAIに対し、特定の色のテーマ（「暖色系」や「暗い色」など）を持つ画像を作るよう求めました。

• 結果: AIは、ある画像は明るく暖かく、別の画像は涼しく青く、また別の画像は暗い、といったバッチを生成することを学習しました。人間が何が良いかを教えなくても、AIは色のすべての「軸」をカバーすることに成功しました。

3. 公平性のテスト（知覚される外観）
最後に、彼らは大きな現実世界の課題である「公平性」に取り組みました。彼らはAIに対し、さまざまな職業（医師、芸術家、科学者など）の人物の画像を生成するよう求めました。そして、AIが人種や性別の多様な混合を示しているかどうかを確認しました。

• 設定: 自動ツールを使用して、生成された画像の人物の人種や性別を「推測」しました。彼らは「黒人女性」「アジア人男性」「ラテン系女性」といった「ターゲットモード」を定義しました。
• 結果: 新しい手法を用いたとき、AIはよりバランスの取れたグループを生成し始めました。
  • 修正前、16枚の「医師」のバッチには、13人の白人男性と、他の背景を持つ3人が含まれていることがありました。
  • 修正後、16枚のバッチには、4人の白人男性、3人の黒人、4人のアジア人、2人のインド人、そして3人のラテン系が含まれるようになりました。
  • 研究者たちはこれを「公平性スコア」を用いて測定しました。彼らの新しい手法は、ベースラインのモデルと比較して、スコアを 0.23 から 0.36 向上させました。これは非常に大きな飛躍です！さらに素晴らしいことに、画像は依然として高品質でした。「テキストとの整合性（画像が『医師』という言葉にどれだけ一致しているか）」は高いまま維持され、画像の品質も低下しませんでした。

これが意味すること（および意味しないこと）

この論文は、どのようにAIに報酬を与えるかを変えることで、AIが自然に多様性を求めるようになることを示しています。多様であることを強制する（それが奇妙な結果を招く）のではなく、グループが異なる代表者を持っていることに報酬を与えるのです。

しかし、著者たちはこれが「できないこと」についても慎重に述べています。

• これは、新しい人々をゼロから作り出すものではありません。もしAIがある特定のタイプの人間の画像を見たことがなければ、魔法のようにその人を発明することはできません。AIができるのは、すでに描く方法を知っている人々を「分散させる」ことだけです。
• これは、AIが得る「スコア」に依存しています。もし画像を判定するツール（評価器）にバイアスがあれば、AIは間違った教訓を学んでしまう可能性があります。研究者たちは、一貫性を確認するために複数のツールを使用して自動的な検証を行いましたが、最終的なテストは人間の目で行われるべきであることも認めています。
• この手法は、何が「多様性」であるかという明確なリスト（特定の人種や色のリストなど）がある場合に最も効果を発揮します。これは、AIが特定の目標をカバーするのを助けるためのツールであり、世界中のあらゆる公平性の問題を解決する魔法の杖ではありません。

まとめ

この論文は、ロボットの芸術家に新しいルールブックを与えているようなものです。「完璧な一枚を作らなければならない」と言う代わりに、「一連の画像を作りなさい。そして、そのグループに少しずつあらゆる要素が含まれていれば、金メダルをあげましょう」と言っているのです。

結果はどうでしょうか？AIは退屈でなくなり、より公平になります。同じ「デフォルト」の人々を何度も見せることをやめ、現実世界の豊かで色彩豊かな多様性を示し始めます。そして、それを画像の形が崩れたり、グチャグチャになったりすることなく実現しているのです。これは数学における小さな変化ですが、私たちが機械を使って作るアートの中に、自分たちの姿をどう映し出すかという、より大きな変化につながる可能性があります。