When Cultures Move: Measuring and Improving Multicultural Text-to-Video Generation

あなたは映画を見ているところだと想像してください。監督がコンピュータに「有名な都市で踊っている人物を見せて」と頼んでいます。AIの世界では、これは「テキスト・トゥ・ビデオ（text-to-video）」生成と呼ばれます。長い間、主な目標はただ動画をリアルに見せること、つまり、その人物が実際に存在し、照明が正しく見えるようにすることでした。しかし、そこには隠れた問題があります。コンピュータはしばしば「文化」を理解するのが非常に苦手なのです。彼らは「ダンス」が何であるかは知っているかもしれませんが、中国の伝統的な扇舞と、アメリカのヒップホップ、あるいはルーマニアのフォークダンスの違いは理解していません。それらを混ぜ合わせてしまったり、最悪の場合、どれとも似ていない奇妙で一般的なものを作り上げてしまうことがあります。AIが物語、教育、広告の制作を開始するにつれ、これは重要になります。私たちは、AIが意図せずして伝統を消し去ったり、偽のステレオタイプを作り上げたりすることを望んでいません。私たちは、人々、動作、場所が異なる世界のさまざまな部分を組み合わせる際、細部を正確に捉えてほしいと考えています。

この論文は、まさにその問題に取り組むものであり、AIに「多文化的な」シーンを扱う方法を教える新しい手法を導入しています。研究者たちは、現在のAIモデルが文化の混合をどの程度うまく扱えるかを検証するために、243の異なるプロンプトと972個のビデオを含む特別なテストセット（ベンチマーク）を構築しました。彼らは、標準的なAIモデルが、例えば「ルーマニアの城で中国料理を食べているアメリカ人」といった指示を与えられた際に苦戦することを発見しました。これを解決するために、彼らはMAVEN（Multi-Agent Video Enrichment for cultural Narrative：文化的ナラティブのためのマルチエージェント・ビデオ強化）と呼ばれる巧妙なトリックを試みました。一つの大きな、汎用的なAIの脳にすべてを行わせるのではなく、彼らは仕事を3つの小さく専門化された「エージェント」に分解しました。すなわち、人物（外見）のエキスパート、動作（物事のやり方）のエキスパート、そして場所（ランドマーク）のエキスパートです。

この研究は、これら3人の専門家が**並列（パラレル）**で（同時に）協力し合うことが、一つの汎用的なAIがすべてを行う場合や、彼らが順番に（逐次的）に働く場合よりもはるかに効果的であることを示唆しています。研究者がこれをテストした際、並列の専門家チームは、ビデオの品質を損なったりキャラクターをガタつかせたりすることなく、ランドマークに関する文化的な正確性を大幅に向上させました。また、彼らは、標準的なコンピュータテスト（画像を比較する数学的な手法）は、ビデオが「まあまあ」に見えるかどうかは判断できても、より高度なAI「判定員」が見つけ出すような、微細で深い文化的詳細を見落としがちであることを発見しました。論文は、AIビデオを真に敬意に満ちた正確なものにするためには、文化を単一のぼやけた塊として扱うのをやめ、特定の専門家主導の部分へと分解する必要があると結論付けています。

コアとなるアイデア：なぜ一つの脳では不十分なのか

現在のAIビデオ生成器を、非常に才能はあるが過労状態にある一人のシェフだと考えてみてください。もしあなたが、イタリアのパスタ、日本の寿司、そしてメキシコのタコスを組み合わせた料理を作ってほしいと頼んだとしたら、そのシェフはそれらすべてを一つの巨大で混乱したブリトー・パスタ・スシ・ロールに押しつぶしてしまうかもしれません。それは食べ物のように見えるかもしれませんが、本物のどの料理とも異なる味になるでしょう。そのシェフは「食べ物」とは何かを知っていますが、それぞれの料理をいかに本格的に作るかという、具体的で深い知識を持っていません。

この論文の著者たちは、文化は「構成的（compositional）」であると主張しています。これは、シーンが異なる要素から構成されていることを意味します。すなわち、人物（見た目）、動作（何をしているか）、そして場所（どこにいるか）です。ある文化の人々が、別の文化の動作を、第三の文化の場所で行うことがあります。論文は、一つのAIにこれらすべてを一度に理解させようとすることは困難すぎると示唆しています。代わりに、チームが必要なのです。

解決策：MAVENチーム

研究者たちは、MAVENと呼ばれるシステムを作成しました。一人のシェフの代わりに、彼らは3人の専門的な副シェフを雇いました。

1. 人物エージェント： 特定の文化の人々がどのように見えるか（髪型、服装、特徴）を正確に知っているエキスパート。
2. 動作エージェント： 文化的な動作がどのように行われるか（楽器の持ち方、踊り方など）の具体的な詳細を知っているエキスパート。
3. 場所エージェント： 有名なランドマークの視覚的な詳細（特定の建築様式、照明、周囲の環境）を知っているエキスパート。

彼らは、このチームを運用する4つの異なる方法をテストしました。

• ソロ・シェフ（ベース）： 助けなし。生のプロンプトのみ。
• ゼネラル・マネージャー（シングルエージェント）： 一人のエージェントが、人物、動作、場所のすべてを一度に修正しようとする。
• 組み立てライン（シーケンシャル）： エージェントが順番に働く。人物エージェントがプロンプトを修正し、それを動作エージェントに渡し、さらにそれが場所エージェントに渡される。
• パラレル・チーム（MAP）： 3人のエージェントが同時に働き、それぞれが自分の担当部分を修正し、その後「融合エージェント（Fuse Agent）」が彼らの成果を一つの完璧なプロンプトへと統合する。

彼らが発見したこと：協力することの力**

結果は明白でした：パラレル・チーム（MAP）の勝利でした。

彼らが972個の生成ビデオ（中国、アメリカ、ルーマニアの文化にわたる）を用いてこれらの手法をテストした際、パラレル・チームが最も文化的に正確なビデオを生成しました。

• スコア： パレル・チームは、何もしない場合と比較して「文化的関連性スコア」を**4.6%向上させ、シングルエージェントのアプローチと比較して1.6%**向上させました。
• 大きな勝利： 最大の改善は場所において見られました。パラレル・チームは、ベースラインと比較してランドマークの正確性を12%以上向上させました。これは理にかなっています。なぜなら、単一のエージェントは人物や動作に気を取られてしまう可能性がありますが、専用の場所エージェントは、城や記念碑を正しくすることに専念できるからです。
• クロスカルチャーの魔法： このシステムは、プロンプトが文化の混合（例：ルーマニアの城で中国の餃子を食べているアメリカ人）である場合に、より効果的でした。これらの「クロスカルチャー（文化横断的）」なシーンは通常、AIにとって最も難しいものですが、パラレル・チームは格差を大幅に縮小させました。これは、問題を分解することが、AIが複雑な混合を扱う助けになることを示唆しています。

興味深いことに、研究者たちは、パラレル・チームがビデオを文化的により良くした一方で、ビデオの品質を損なわなかったことも発見しました。ビデオは依然として滑らかで一貫しており、文化的な詳細を加えてもAIが「幻覚」を見せたり、ビデオを壊したりしないことを証明しました。

測定の問題：コンピュータ vs 判定員

この論文の最も興味深い発見の一つは、成功をどのように測定するかについてです。

• 数学的テスト（CLIP）： 研究者たちは、ビデオがテキストと一致しているかを確認するために、標準的なプログラム（CLIP）を使用しました。このプログラムは大きな特徴を捉えるのには優れていますが、微細で微妙な文化的詳細を見落としがちです。
• AI判定員（VLM）： 彼らはまた、より高度なAI（Gemini 2.5 Pro）を使用して、人間のような判定員として機能させ、ビデオを見て、それが文化的に正しいと感じられるかどうかを推論させました。

彼らは、数学的テストがパラレル・チームによる改善を過小評価していることが多いことを発見しました。一方で、AI判定員は、パラレル・チームのビデオに対してはるかに高いスコアを付け、人物が楽器を保持する特定の方法や、建物の正確なスタイルといった、微妙な詳細を認識していました。これは、我々の現在のAIテストツールが、真の価値を捉えるには単純すぎる可能性があることを示唆しています。

これが何を意味し、何を意味しないのか

この論文は、世界の多様性を尊重し正確に表現するAIビデオを作るためには、文化を単一の均一なものとして扱うのをやめる必要があると示唆しています。代わりに、文化を特定の要素（人物、動作、場所）へと分解し、専門化されたエキスパートに各部分の精緻化を任せるべきです。

しかし、著者たちは自身の研究の限界についても注意深く述べています。彼らは3つの文化（中国、アメリカ、ルーマニア）と3種類の動作（食事、音楽、ダンス）のみをテストしました。彼らはこれが世界中のあらゆる文化の問題を解決すると主張しているわけではありません。また、彼らのAIモデルは時として顔を鮮明に表示することに苦労し（しばれて後ろ姿になる）、それが外見に関する文化的詳細を判断することを難しくしていることも認めています。

しかし、核心となるメッセージは希望に満ちたものです。AIを単一の汎用的なものとしてではなく、専門家のチームとして組織化することで、単にリアルに見えるだけでなく、文化的に「真実」であると感じられるビデオを生成することに向けて、大きな一歩を踏み出すことができるのです。