Exploring Audio Hallucination in Egocentric Video Understanding
本論文は、最先端の音声・視覚言語モデルが、自己視点動画の理解において視覚的手がかりから実際の音声ではなく音を推論する傾向にあり、重大な音声幻覚に悩まされていることを明らかにするための体系的な評価フレームワークとキュレーションされたデータセットを導入し、それによってマルチモーダルシステムにおける堅牢な信頼性評価の緊急性を浮き彫りにする。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
胸にカメラを装着し、自分の視点から一日を記録していると想像してください。これを「エゴセントリック（自己中心型）ビデオ」と呼びます。カメラは揺れたり、手によって遮られたり、無地の壁を向いたりすることがあります。そのような瞬間、あなたの目は混乱するかもしれませんが、耳は依然として懸命に働いています。
この論文は、コンピュータにこれらのビデオを聴くことを教えるものですが、研究者たちはある滑稽かつ危険な問題を発見しました：コンピュータは存在しないものを「聴いている」のです。
以下に、彼らの発見を簡単な比喩を用いて解説します。
1. 問題：コンピュータは「聴く」のではなく「部屋を読み解いている」
最先端の AI モデル（超スマートなコンピュータの脳）を、ビデオに基づいて謎を解こうとする探偵だと考えてください。
- 理想的な探偵： 音声テープを聴いて、「犬の鳴き声が聞こえる」と言います。
- 欠陥のある探偵（この論文の AI）： ビデオを見て、犬の画像を確認すると、音声テープが完全に無音か、風のノイズしかない場合でも、即座に「犬の鳴き声が聞こえる」と言います。
研究者たちはこれを**「音声幻聴」**と呼んでいます。これは、レモンの写真を見て、何も匂わない部屋にいるにもかかわらず、柑橘系の香りがすると主張する人のようなものです。AI は自分が「見ている」ものにあまりにも執着しているため、画像に合うように音を捏造してしまいます。
2. 実験：「音のクイズ」
これを証明するために、研究者たちはこれらの AI 探偵のための特別テスト、つまりポップクイズを構築しました。
- 設定： 料理や歩行など、人々が何かをしている 300 の実生活のビデオを採取し、10 秒の短いクリップに切り分けました。
- 質問： AI に 1,000 の具体的な質問をしました。
- タイプ A（真実）： 「今、どのような音がしていますか？」（例：「ブレンダーは動いていますか？」）
- タイプ B（罠）： 「ヒスという音はどこから来ていますか？」（ビデオにヒス音が全く存在しない場合）
彼らは、AI が「ヒス音はない」と言うのか、それともビデオにコンロが見えるという理由だけで「ああ、それは恐らくガスコンロですね」と嘘をつくのかを確認したかったのです。
3. 結果：AI は罠に失敗した
結果は非常に悪かったのです。最も賢い AI モデル（Qwen2.5 Omni など）でさえ、この点ではひどいものでした。
- 実際の音について問われた場合： AI は約 56% から 63% の答えを正解しました。実際に何が起こっているかを記述する能力はそこそこありました。
- 架空の音（罠）について問われた場合： AI の正解率は**27% から 39%**まで急落しました。
比喩： 学生がテストを受けていると想像してください。「空の色は何ですか？」と聞かれれば正解しますが、「見えない象の色は何ですか？」と聞かれれば、「青です」と自信を持って答えます。それは、象が見えないことを認めるのではなく、自分が「象はこうあるべきだ」と思っているものに基づいて推測しているからです。
AI は本質的に、「私はそれを聴いていない」と認めるのではなく、視覚情報に基づいた推測で「空白を埋めている」のです。
4. 2 種類の「偽りの聴覚」
研究者たちはこれらの誤りを 2 つのカテゴリに分類しました。
- 「主人公」の誤り（前景）： AI は、ビデオの中の人物が「作るはず」の音を聴きます。
- 例： ビデオで誰かがブレンダーを使っている様子が映っています。AI は「機械的な唸り音が聞こえます」と言います。たとえ音声がおかしくなっていたり無音だったりしても、ブレンダーが動いているという理由だけで、AI はその音が存在すると仮定します。
- 「背景雑音」の誤り（背景）： AI は、実際には存在しない環境からの音を聴きます。
- 例： ビデオは静かな台所を示しています。AI は「窓が見えるので、外で鳥がさえずっているのが聞こえます」と言います。
5. なぜこれが重要なのか
この論文は、現在これらの AI モデルは信頼性の低い聴き手であると結論付けています。彼らは耳よりも目への依存度が強すぎます。
もしこの技術を現実のシナリオ（騒がしい作業場を理解するロボットや、盲人の周囲環境の理解など）で利用した場合、ロボットは実際には赤いライトを見ているだけなのに、警告サイレンを聴いていると誤認するかもしれません。研究者たちは、これらのモデルが音を通じて世界を理解すると信頼できるようになる前に、より優れた「耳のチェック」システムを構築する必要があると述べています。
要約： この論文は、今日の最も賢いビデオ AI は、口元を読むことに長けすぎて声を聴くことを忘れ、見た画像に合う音をしばしば捏造してしまう人々のようなものであることを示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。