あなたは、あらゆる本が「絵」である、巨大でハイテクな図書館を歩いているところだと想像してください。長年、司書たちは、安価な紙に明らかな汚れがある偽物の本を簡単に見分けることができました。しかし最近、新しい種類のプリンターが登場しました。そのプリンターは、偽物の本をあまりにも完璧に、紙も滑らかでインクも鮮明に作り上げるため、専門家でさえ本物との区別がつかないほどです。これは、AI生成画像の世界です。科学者たちは、誤情報が拡散したり詐欺が発生したりする前に、これらの偽物を特定するための「デジタル嘘発見器」を構築しようと競い合っています。厄介なのは、従来の検出器は古いプリンターが残す微細で特定の「汚れ」を探すことに頼っていたことでした。しかし、新しいプリンターがその手法を変えたとき、古い検出器は混乱してしまいました。これを解決するために、研究者たちは今、コンピュータがどのように画像を捉えているのかを、最初の質感の把握から、物体が実際に何であるかという最終的な理解に至るまで、レイヤーごとに理解しようとしています。

これからあなたが読む論文は、PE-Mambaという新しい探偵を紹介しています。単に汚れを探すのではなく、この探偵は画像がどのように構築されるかという「物語」を理解するように設計されています。ビジョン・トランスフォーマー（この論文で使用されているコンピュータの脳）を、一列に並んだ探偵のチームだと考えてください。最初の探偵は輪郭や色だけを見、最後の探偵はシーン全体を理解します。これまでの手法は、このチームを、全員が一斉に意見を叫び、単純な平均を取る友人グループのように扱っていました。しかし、PE-Mambaは「順序」が重要であることを理解しています。最初の方にある粗い手がかりは、最後にある大きな全体像を説明する助けとなり、大きな全体像は、初期の手がかりを理解する助けとなるのです。

PE-Mambaは、「双方向選択スキャン（bidirectional selective scan）」という巧妙な新しいトリックを使用しています。探偵がチームの一列を下りながら、手がかりを集めていく様子を想像してください（フォワード・スキャン）。次に、彼らは最後尾から最初に向かって戻り、最終的な結論という知恵を持って、それらの初期の手がかりを再検証します（バックワード・スキャン）。この双方向の歩みにより、モデルは単純な平均化では決して到達できない方法で、微細な詳細と大きな意味の間にある点と点を結びつけることができます。論文は、コンピュータの脳のレイヤーを、バラバラの集合体ではなく、秩序あるシーケンスとして扱うことで、PE-Mambaは新しいAIツールによって作られた偽物であっても、それらをより正確に特定できると示唆しています。

探偵の新しい戦略

PE-Mambaの開発者たちは、PE-Coreと呼ばれる巨大な学習済みコンピュータ・ブレインの上に、このシステムを構築しました。この脳は、物体、顔、シーンを認識することにおいて既に非常に賢いのですが、元々は偽物を捕まえるために作られたものではありません。既存の知識を壊さずに学習させるため、チームはLoRAと呼ばれる軽量な手法を使用しました。LoRAは、脳に「補助的なトレーニング用の補助輪」を取り付けるようなものだと考えてください。巨大なエンジン全体を配線し直す（それは高価で時間がかかる作業です）代わりに、彼らは全パラメータのわずか1.3%、LoFA部分のみに限定すればわずか**0.13%**の接続だけを微調整しました。これにより、モデルは一般的な知識を維持したまま、偽画像特有の「指紋」を学習することができたのです。

核心となる革新は、PE-Mambaが脳の異なるレイヤーからの手がかりをどのように組み合わせるかにあります。論文は、以前の手法がレイヤーを、バラバラのパズルピースが入ったバケツのような「順序のない集合」として扱っていたことは間違いであったと主張しています。対照的に、PE-Mambaは情報の自然な流れ、すなわち浅いレイヤー（質感や輪郭）から深いレイヤー（意味論や概念）への流れを尊重しています。

これを行うために、PE-Mambaは主に3つのコンポーネントを使用しています：

1. 双方向選択アグリゲーター (BSA): これは、二方向へ歩く探偵です。証拠を積み上げるために浅い層から深い層へとスキャンし、その後、画像全体のコンテキストを用いて初期の手がかりを洗練させるために、深い層から浅い層へと戻ります。これは、ミステリー小説を最初から最後まで読み、その後、結末がどのように始まりを説明するかを確認するために、逆向きに読み直すようなものです。
2. ソフトマックス重み付けアグリゲーター (SWA): これは「グローバルな要約」を行う探偵として機能します。すべての手がかりを一度に見て、学習されたスコアに基づいて最も重要なものを選び出し、二方向のスキャンとは異なる視点を提供します。
3. シグモイド・ゲート・ブレンド (SGA): これはチームのキャプテンです。二方向のスキャンとグローバルな要約のどちらをどの程度信頼するかを決定します。学習によってバランスを取る「ゲート」を使用し、最終的な決定が両方の利点を兼ね備えたものになるよう制御します。

数字が示すもの

チームは、UniversalFakeDetectベンチマークとAIGCDetectベンチマークという2つの主要な課題に対して、PE-Mambaのテストを行いました。これらのテストにおいて、モデルは特定のAI（ProGAN）によって生成された画像のみで学習され、その後、DALL-EやMidjourneyのような現代的な拡散モデルを含む、19の「見たことがない他のAIモデル」によって作られた偽物を特定するよう求められました。

結果は驚くべきものでした。UniversalFakeDetectベンチマークにおいて、PE-Mambaは**96.6%の精度（mACC）と99.5%の適合率（mAP）を達成しました。これは、比較対象となった他の18の検出器よりも、偽物を正しく特定できたことを意味します。さらに驚くべきことに、非常に高品質な生成器を特徴とするAIGCDetectベンチマークにおいて、PE-Mambaは95.3%の精度と98.1%**の適合率を記録しました。

論文は、この成功が「転移可能な構造的不整合（transferable structural inconsistencies）」を見つけ出すモデルの能力によるものであると示唆しています。他の検出器が偽画像の生成スタイルが変わると失敗する可能性がある一方で、PE-Mbaの双方向スキャンは、異なる種類の偽物に共通して存在する、より深いパターンを見つけ出しているようです。例えば、古い検出器が特定の新しい生成器に対して50〜60%程度の精度に落ち込むことがある中で、PE-Mambaは常に強く、しばしば95%以上のスコアを維持しました。

堅牢性と視覚的証明

研究者たちは、PE-Mambaが現実世界の「乱れ」に対処できるかどうかも確認しました。圧縮された画像（JPEGなど）、ぼかし、あるいはノイズが加えられた画像に対してテストを行いました。これらの過酷な条件下でも、モデルは良好な性能を維持し、3つの歪みが同時に適用された場合でも**88.4%**の精度を保持しました。これは、モデルが単に特定のピクセルのパターンを暗記しているのではなく、画像が偽物である理由についての、より堅牢な理解を学習していることを示唆しています。

モデルが「どのように考えているか」を見るために、チームはGrad-CAMと呼ばれる可視化ツールを使用しました。モデルの注意を示す「ヒートマップ」を見たとき、彼らは非常に興味深い発見をしました。未学習の元の脳は、画像が本物か偽物かに関わらず、写真の主要な被写体（顔や車など）を見ていました。しかし、PE-Mambaは、本物の写真の明らかな部分を無視し、代わりに偽写真における不自然な箇所――例えば、GAN生成オブジェクトの端、ディープフェイクの肌の質感、あるいは拡散モデル画像のグローバルなパターン――に集中的に注目することを学習したのです。これは、モデルが機械の中に潜む「幽霊」を見つけ出すことに成功したことを裏付けています。

結論

この論文は、ビジョントランスフォーマーのレイヤーを、ランダムな特徴の袋としてではなく、順序のあるシーケンスとして扱うことが、AI生成画像の検出において強力な手法であることを結論づけています。詳細と全体像の間の点と点を結ぶための双方向スキャンを用いることで、PE-Mambaは、デジタル偽造のあらゆる種類を捉えるための新しい道を提示しています。PE-Mambaは、非常に少ない追加計算リソースを使用しながらトップクラスの性能を達成しており、将来の有望なツールとなっています。しかし、著者らは、Midjourneyのような一部の生成器は依然として困難であり、あらゆる種類のデジタル偽造を捉えるためには、さらに広範な学習方法を模索する必要があると述べています。