たった一枚のビーチの写真を撮り、魔法のコマンドを入力するだけで、波が打ち寄せ、カモメが空を飛ぶ動く映画に変えられる世界を想像してみてください。これは、「Image-to-Video（画像から動画へ）」生成と呼ばれる、広告の作り方、物語の伝え方、そして製品の見せ方を急速に変えつつある人工知能の一分野が約束する未来です。しかし、絵を描くことを学んでいる子供のように、これらのAIアーティストは時としてやりすぎてしまうことがあります。画像をぼかしたり、波の動きを奇妙でガタガタしたものにしたり、あるいは――ここが難しいところですが――元の写真にはなかったヤシの木を突然作り出したりすることがあります。旅行や不動産のような、正確な真実を見せることが重要な業界では、こうした「ハルシネーション（AIによる捏造）」は大きな問題となります。私たちは、ビデオが現実的に見え、動きがスムーズで、偽の要素が追加されていないことを確認するために、AIの仕事をチェックする方法を必要としています。

そこで登場するのが、AI生成された映画のための究極の「品質管理検査官」として設計された新しいシステム、HALLELUAIです。HALLELUAIを単なる審判としてではなく、ループの中で働く、疲れを知らない超スマートなエディターと考えてください。AIが写真を動画に変えようとするとき、HALLELUAIはその結果を注意深く観察します。もしビデオがぼやけていたり、カメラが激しく揺れていたり、あるいはAIがホテルの写真に存在しない建物を誤って追加してしまった場合、HALLELUAIは単に「ダメだ」と言うだけではありません。代わりに、コーチのように振る舞い、何が間違っていたのかをAIに正確に伝え、修正するための二度目（あるいは三度目）のチャンスを与えます。指示を微調整したり、カメラの角度を変えたり、あるいは作業を行っているAIモデル自体を入れ替えたりして、ビデオが完璧になるまでこのプロセスを繰り返します。研究者たちは、この「試す、チェックする、直す、再び試す」というアプローチを用いることで、クリエイティブな専門家が愛するような超写実的なビデオを制作できることを発見しました。このシステムは、ビデオが良いか悪いかについて、人間の専門家と約87%の確率で一致しました。

問題点：AIが創造的になりすぎるとき

例えば、友人にあなたの犬の写真について説明してくれるよう頼んだとします。もし友人が「あなたの犬は走っています」と言えば、それは問題ありません。しかし、もし友人が突然「あなたの犬は走っていますが、今は翼が生えていて帽子を被っています」と言い出したら、彼らはハルシネーションを起こしています。AIビデオの世界において、これは災難です。もし旅行会社がホテルルームを見せるためにAIを使用する場合、AIが存在しないスイミングプールを捏造したり、家具を浮かせたりすることは許されません。

AIビデオをチェックするための現在のツールは、スープの味を測るために定規を使うようなものです。それらは、大量のビデオが平均的にどれくらい「リアル」であるかは教えてくれますが、個別のビデオを見て「おい、これには偽の木が入っているぞ」とか「カメラが揺れすぎている」と言うことはできません。それらは、視聴者の体験を台無しにする小さく厄介なミスを見逃してしまうのです。

解決策：HALLELUAIのループ

著者らは、生成と修正のクローズドループを作成することで、この問題を解決するためにHALLELUAIを構築しました。その仕組みは以下の通り、ステップごとに説明します。

1. 初稿
システムは、開始となる写真とクリエイティブなアイデア（例：「カメラをゆっくりズームインさせる」）を受け取り、AIにビデオの生成を依頼します。

2. 厳格な検査官（モデレーション・モジュール）
ビデオが公開される前に、HALLELUAIの「モデレーション・モジュール」がビデオを顕微鏡で覗くように精査します。以下の3つの主要な項目をチェックします。

• フレームの品質： 画像はぼやけていないか？ 暗すぎたり明るすぎたりしないか？ 奇妙な静止ノイズはないか？ すべてのフレームを元の写真と比較し、照明や鮮明さが逸脱していないかを確認します。
• 動きのスムーズさ： カメラの動きはプロの映画制作者のように滑らかか、それとも手持ちカメラのようにガタガタしているか？ 動きが指示（例：「左にパンする」と頼んだ場合、実際に左にパンしているか）と一致しているかを確認します。
• ハルシネーションの捜索： これが最も重要な部分です。システムは強力なAIの脳を使用して、そこにあるべきではないものを探します。物体が消えてしまったか？ 二つの物体が奇妙な塊に融合したか？ 新しい物体が突然シーンに現れたか？ システムは特に「新しい構造のハルシネーション（偽の物体が出現すること）」と「物体のハルシネーション（実在する物体が形を変えたり消失したりすること）」を特定して探します。

3. コーチ（エージェンティック再生成モジュール）
もしビデオが検査に合格しなかった場合、HALLELUAIは単にそれをゴミ箱に捨てるわけではありません。スマートなコーチとして振る舞います。具体的な間違いを確認し、修正方法を決定します。

• もし動きがガタガタすぎた場合は、AIに対して「カメラを安定させる」よう指示します。
• もし照明が適切でない場合は、「露出を調整する」と伝えます。
• もしAIが何度も偽の木を作り出す場合は、別のAIモデルに切り替えるか、元の画像の詳細を維持するように指示をより厳格に変更します。
• もし物体がぼやけていた場合は、異なる「シード（生成のランダムな開始点）」を用いて再度試行するようAIに求めます。

その後、システムは新しいバージョンのビデオを生成し、再びチェックします。ビデオがすべてのテストに合格するか、あるいは試行回数の上限に達するまで、この**「生成、チェック、修正、生成」**のプロセスを繰り返します。

研究結果

チームは、HALLELUAIが人間の仕事をこなせるかどうかを確認するために、実際の専門家を用いてテストを行いました。

• 一致度： HALLELUAIの判断を人間のクリエイティブな専門家の判断と比較したところ、システムは**86.9%**の確率で人間と一致しました。これは、マシンが人間のエディターのように考えることを学習しているという強い兆候です。
• 精度： システムがビデオを「良（PASS）」と判定したとき、初期テストにおいて**88%**の確率で正解していました。
• 実世界のテスト： システムがビデオを人間に見せる前に修正を行う「疑似プロダクション」テストでは、品質が劇的に向上しました。システムが承認した1,158本のビデオのうち、1,126本が人間の専門家からも承認されました。これは**97%**の成功率です。

研究者たちはまた、自らのシステムを既存の他のツールと比較しました。標準的なビデオ品質チェッカー（DOVERやCOVERなど）は、これら特定のAI特有のミスを見つけるように設計されていないため、良いAIビデオと悪いAIビデオの区別がつかないことが分かりました。また、強力なAIチャットボットであっても、特別な指示なしに単に「ビデオを見る」よう求めただけでは、微妙なエラーを見逃してしまいました。HALLELUAIが機能したのは、まさにこれらの問題を見つけ出し、それらを解決するための計画を持っていたからです。

なぜこれが重要なのか

これは単に美しいビデオを作るという話ではありません。信頼の問題なのです。不動産や旅行の分野において、もしAIが実在しないプールのある家を見せたとしたら、それは単なる面白い間違いではなく、法的および評判上のリスクとなります。HALLELUAIは、品質を維持しながらAIビデオ制作をスケールアップできることを示しています。厳格な検査官と助けとなるコーチを組み合わせることで、システムは最終製品が超写実的であるだけでなく、元の画像に忠実であることを保証します。これは、AI生成の混沌とした「推測と確認」の性質を、高い品質を維持しながら何千ものビデオを処理できる信頼性の高い産業プロセスへと変えるものです。著者らは、このフレームワークが、クールなテクノロジーと現実世界の信頼性の間の溝を埋め、AI生成ビデオを大企業にとって安全かつ利用可能なものにするための大きな一歩であると示唆しています。