自分の目や耳が信じられなくなる世界を想像してみてください。人工知能の急速な爆発的進化により、コンピュータは驚くほどリアルに見え、聞こえる偽の動画や音声を生成することを学習しました。これは単に有名人の顔を入れ替えるといった話ではありません。存在しないはずのシーン、動物、物体全体を作り出すことを意味しています。AIGC（AI生成コンテンツ）として知られるこの技術は、創造性においては素晴らしいものですが、誤情報や詐欺においては恐ろしい両刃の剣です。これに対抗するため、科学者たちは「デジタル嘘発見器」を構築してきました。長年、これらの偽物を見破るための最も一般的な戦略は、単純なアイデアに基づいていました。それは、「現実の動画では、見えているものと聞こえるものが完璧に一致していなければならない」というものです。人が話しているなら、その唇は音と同期して動いているはずです。もし音声と映像が一致していなければ、それは偽物です。それは、まるで人形の口が背後の声に合わせて動いているかどうかを確認するようなものです。もし同期していなければ、それが仕掛けだと分かります。

しかし、ハルビン工業大学の研究者による新しい研究は、一般的な動画に関しては、この古い経験則が通用しないことを示唆しています。彼らは、自然ドキュメンタリーや料理番組のような多くの現実世界のシナリオにおいて、たとえすべてが100%本物であっても、音声と映像が密接に結びついていない可能性があることを見出しました。このような場合、不一致を探すことは、靴と帽子が合っているかどうかで泥棒を探そうとするようなものです。時には、実在する人々が必ずしも服装を合わせるとは限りません。研究者たちは、音声と映像を無理に会話させるのではなく、それぞれを独立した探偵として機能させるべきだと主張しています。彼らは、音声と映像を別々の手がかりとして扱う「DAV-Det」と呼ばれる新しいシステムを提案しています。視覚の探偵は、画像内の微細で奇妙なテクスチャやパターンを探し、音声の探偵は、音波の中の不自然なグリッチ（乱れ）を聞き取ります。両方が独自の判定を下した後になって初めて、彼らは意見を統合して、全体が偽造品であるかどうかを判断します。この「少ない方が豊かである（Less is more）」というアプローチは、存在しないつながりを無理に強いることを避け、主要な国際的なAI偽造検知コンテストでトップスコアの0.8460を達成するという勝利の鍵となりました。

大きな間違い：すべてがつながっているという仮定

長い間、ディープフェイクを見破る最善の方法は、「つながりの違和感（uncanny valley of connection）」を探すことでした。動画の中で人が話している場合、AIはしばしば唇を言葉と完璧に同期させることに苦労します。そのため、検出器は音声と映像がどれほど一致しているかを測定するように構築されてきました。もし一致が悪ければ、システムは「偽物だ！」と叫ぶのです。

この論文の著者たちは、この仮定をより広い規模でテストすることに決めました。彼らは2種類の動画を調査しました：

1. 人間中心の動画： カメラに向かって話している人物など。ここでは、古いルールが非常にうまく機能します。現実の動画は音声と映像の類似性が高く、偽物は類似性が低くなります。
2. 一般的な動画： 犬が吠えている動画、車のエンジンが回転している音、あるいは風の音が聞こえる風景など。

彼らが一般的な動画に対して「一致」のルールをテストしたところ、そのルールは完全に崩壊しました。実際には、ランダムに推測するよりも悪い結果となりました。彼らは、多くの現実の一般的な動画において、音声と映像は偽物よりもむしろ自然に「類似していない」場合があることを見出しました。ここでの「不一致」ルールを使用しようとすることは、検出を積極的に阻害していました。それは、本物の絵画を見つけるために、キャンバスとフレームが一致しているかチェックするようなものです。本物の美術館では、フレームがキャンバスと一致しないこともありますが、それでも絵画は本物です。論文では、音声と映像の対応関係は、一般的なAIGC検出のための信頼できる手がかりではないという考えを明確に否定しています。

新しい戦略：二人の独立した探偵

音声と映像を照らし合わせることが失敗に終わったため、チームは「デカップル（分離）」アプローチを提案しました。一つの脳が同時に両方を処理しようとするのではなく、別々に働き、その後で結論を共有する、二つの特化した脳を構築したのです。

視覚の探偵（DAV-Detの「目」）
視覚検出器は、単に画像全体を見るだけではありません。犯罪現場を調査する探偵のように、3つの異なる詳細レベルにズームインします：

• グローバル・レベル（全体的レベル）： シーン全体が「おかしい」と感じられたり、意味的に間違っていたりしないかを、大きな視点で確認します。
• パッチ・レベル（断片レベル）： 画像を小さな正方形（パッチ）に分割し、特定のオブジェクトに不自然なぼけがあるなど、微細なテクスチャの不具合を見つけ出します。
• セグメント・レベル（領域レベル）： 近接するパッチをより大きな塊（セグメント）にグループ化し、特定の領域にそぐわない影など、局所的な不整合を特定します。

このシステムは「弱教師あり学習（Weak Supervision）」という巧妙なトリックを使用しています。システムは、どの小さなパッチが偽物であるかを常に正確に把握できるわけではないため、「もし画像全体が偽物であれば、少なくともいくつかの小さなパッチは怪しいはずだ」と仮定します。システムはこれらの疑わしいパッチを見つけ出す方法を学び、それらを使用してより強力な根拠を構築します。また、カメラの品質が悪くても混乱しないよう、「劣化させた」画像（ノイズやぼかしを加えた画像）を使って練習を行います。

音声の探偵（DAV-Detの「耳」）
音声検出器は、2種類のヒントを聞き取ります：

• 時間ベースの手がかり： 音のリズムは自然か？ 音の切り替わりはスムーズか、それとも不自然に跳ねているか？
• 周波数ベースの手がかり： 本物のマイクでは通常拾わないような、奇妙な高周波のアーティファクト（人工的なノイズ）が含まれていないか？

これらを捉えるために、音声検出器は「ゲート」システムを使用します。クラブのドアマンが、どの音が重要で、どの音を無視すべきかを判断する様子を想像してください。このドアマン（ゲーティング・ネットワーク）は、音波の中で最も疑わしい部分を強調し、AIが残しがちな時間的（テンポル）およびスペクトル的（周波数）な不規則性に検出器が集中できるようにします。

最終的な判定：決定レベルの融合

両方の探偵がそれぞれの任務を終えると、彼らはデータを混ぜ合わせて巨大なスープを作ることはしません。代わりに、個別のスコアに基づいて最終決定を下します。

• 単純な「本物か偽物か」のチェックの場合： 音声の探偵または視覚の探偵のどちらか一方が「偽物」だと判断した場合、システムはそれを偽物としてフラグを立てます。これは「念には念を入れて」というアプローチです。
• 詳細なチェック（4クラス分類）の場合： システムは、以下の4つのシナリオの確率を計算します：
  1. 本物の動画 ＋ 本物の音声 (RR)
  2. 偽物の動画 ＋ 偽物の音声 (FF)
  3. 偽物の動画 ＋ 本物の音声 (FR)
  4. 本物の動画 ＋ 偽物の音声 (RF)

音声と映像が独立していると仮定することで、システムはそれらの確率を掛け合わせ、これら4つのシナリオのうちどれが最も可能性が高いかを算出します。

結果：ゲームでの勝利

チームは、IJCAI-ECAI 2026 DDL 2.0 ワークショップにおける「General AIGC Audio-Video Detection Challenge」において、彼らの新しいシステム「DAV-Det」をテストしました。これは、人間から動物、物体に至るまで、20万以上のビデオ・音声サンプルをカバーする非常に困難なコンペティションでした。

結果は目覚ましいものでした：

• 順位： 全参加チームの中から第1位を獲得しました。
• スコア： 最終スコアは0.8460に達しました。
• パフォーマンス： 二値（本物／偽物）の検出タスクでは0.9617、より困難な4クラス分類タスクでは0.6873というスコアを記録しました。

彼らのシステムを、従来の「一致」ルールが通常機能する人間中心のディープフェイク・データセットでテストした際も、DAV-Detは依然として競合を圧倒し、精度0.998、AUC0.999に達しました。これは、彼らの手法が、トリッキーな一般的動画と、従来の顔の入れ替えによる偽物の両方を扱えるほど堅牢であることを示唆しています。

今後の展望

著者たちは、自分たちのシステムがまだできていないことについても正直に述べています。彼らの視覚の探偵は、静止画像の欠陥を見つけることには長けていますが、フレームをまたいで物がどのように動くか（時間的な動き）を明示的に追跡することはありません。また、二人の探偵を組み合わせる彼らの手法は、複雑な学習ベースの融合ではなく、単純な数学的ルール（最大スコアを取るなど）に依存しています。

しかし、核心となるメッセージは明確です。一般的なAIの偽造物の世界では、時には真実を見つけるための最善の方法は、そこに存在しないつながりを探すのをやめることです。音声と映像をそれぞれ独立して機能させることで、システムはより信頼できる真実への道を見つけ出しました。論文が示唆するように、「少ない方が豊かである（Less is More）」、つまりモダリティをデカップル（分離）させることで、現実世界の動画における自然な同期の欠如に惑わされない、より堅牢な検出システムが可能になるのです。