技術要約：多層不一致特徴量と統合されたDCT–量子化埋め込みによる効率的な文書改ざんローカライゼーション

問題提起

文書の改ざんローカライゼーションは、金融および行政のワークフローにおける不正防止のための極めて重要なタスクであるが、依然として非常に困難な課題である。改ざんは視覚的に一貫するように作られることが多く、人間の目には見えない微細な痕跡しか残さない。現在の最先端手法は、主に2つの制限に直面している：

1. 乏しいクロスドメイン汎用性： 合成データに基づいたベンチマークで学習されたモデルは、人間による偽造や、ソース文書および改ざんパイプラインが大きく異なるクロスドメインのシナリオにおいて、汎用性に欠けることが多い。これは主に「ショートカット学習」に起因しており、モデルが改ざんによって導入された根本的な不整合ではなく、パイプライン固有のアーティファクト（例：特定のフォントレンダリングやテクスチャパターン）に依存してしまうためである。
2. 非効率なDCTバックボーン設計： 周波数領域の解析（特に離散コサイン変換（DCT）を用いた解析）は標準的になりつつあるが、近年のアーキテクチャ（例：周波数知覚ヘッド（FPH）を利用するもの）は、ダウンストリームの融合戦略に焦点を当てる一方で、エンコーダーのバックボーン自体はほとんど変更していない。これらの既存のバックボーンは、初期の高次元特徴展開や補助ブロックによる大幅な計算オーバーヘッドを導入することが多い。

手法：DiffNet

著者らは、クロスドメインの性能と計算効率を向上させるために設計された、比較的シンプルかつ効果的なRGB–DCT早期融合アーキテクチャであるDiffNetを提案する。このアーキテクチャは、主に2つの革新的な要素で構成されている：

1. 多層不一致変換（Multi-Level Discrepancy Transformation）

デコーダーが生のコンテンツ量の多い活性化状態に基づいて動作することを防ぎ、モデルを不整合のキューに集中させるために、著者らはバックボーンの各ステージの出力（マルチレベル融合の前）に適用される軽量な変換を導入している。

• メカニズム： この変換は、特徴マップを学習された**ゼロ和フィルタ（zero-sum filters）**の振幅のみの応答に変換する。
• フィルタ設計： システムは、補完的な2種類のフィルタを学習する：
  • 自由なゼロ和フィルタ： バイアスを抑制し、不一致を強調するためにゼロ和制約（$\sum k = 0$）を強制する。
  • 中心固定型ゼロ和フィルタ： フィルタを近傍ベースのセンター予測器として機能させ、中心の重みが非負の近傍重みの負の和となるように制約する。
• 符号不変性（Sign-Invariance）： フィルタの応答の絶対値（$|u_{c,m}(p)|$）を取ることで、表現は符号に関係なくミスマッチの強さを捉え、特徴ピラミッド全体にわたって符号不変な不一致表現を作成する。
• 実装： 効率性を確保するため、著者らは訓練中に高密度の制約付きカーネルを実体化させることを避け、コンパクトなセンタータイド表現を使用するカスタムCUDAカーネルを実装している。

2. 統合されたDCT–量子化埋め込み

著者らは、重い周波数知覚ヘッド（FPH）をより効率的なアプローチに置き換えるために、DCTドメインのバックボックを再設計した。

• 結合埋め込み： 量子化されたDCT係数と量子化テーブルのエントリはどちらも離散整数であるため、本手法は各係数–量子化ペア $(\hat{C}_{p,k}, Q_k)$ をコンパクトな結合埋め込みへとマッピングする埋め込みレイヤーを活用する。
• 構成要素： 埋め込みには以下が含まれる：
  • ローカルな量子化係数埋め込み ($v_{p,k}$)。
  • 量子化テーブルのエントリ ($Q_k$) から派生した、周波数ごとの変調パラメータ ($\gamma_k, \beta_k$)（FiLMのような手法で適用）。
  • DCTの位置を特定するための学習された周波数インデックス埋め込み ($f_k$)。
  • 広範なパターンを捉えるための、完全な量子化テーブルから計算されたグローバルなテーブルバイアス ($t$)。
• 効率性： この設計は、初期の高次元展開や補助ブロックを用いることなく、周波数インデックス情報を明示的に注入するため、軽量な周波数ブランチを実現している。

アーキテクチャの概要

DiffNetは、2ブランチの早期融合設計に従う：

1. RGBブランチ： 4ステージのConvNeXt-V2バックボーンを使用して入力画像を処理する。
2. DCTブランチ： 提案された結合埋め込みとコンパクトなConvNeXt-V2スタックを使用して、量子化されたDCT係数と量子化テーブルをエンコードする。
3. 融合： DCT特徴量は、ステージ1の後にRGBストリームに注入される。
4. 不一致の適用： 各バックボーンステージの出力に対して、多層不一致変換が適用される。
5. 予測： FPNスタイルのマルチスケール融合モジュールが変換された特徴を集約し、その後、リファインメントブロックと軽量なセグメンテーションヘッドが改ざんマスクの予測を行う。

主な貢献

1. 多層不一致変換： 特徴ピラミッドを、パイプライン固有のアーティファクトではなく不一致のキューに依存するように制約し、特徴を符号不変な不一致表現に変換する、すべてのバックボーンステージに適用される新しいメカニズム。
2. 効率的なDCTバックボーン： 量子化されたDCT係数と量子化テーブルのための、周波数インデックスを認識した軽量な結合埋め込みを提供し、従来のFPHベースの設計のようなオーバーヘッドなしに強力な周波数ブランチを提供する。
3. 広範なアブレーション研究： ゼロ和制約の必要性、DCT埋め込みの具体的な設計、および提案されたフィルタが固定の残差モダリティ（例：SRM、Bayar畳み込み）よりも優れていることを含む、各コンポーネントの寄与を包括的に検証した。
4. 最先端の性能： これらのコンポーネントの統合により、人間による文書改ざんの検出とローカライゼーションにおいて新たな最先端（SOTA）を達成した。

実験結果

著者らは、2つの異なるプロトコル、すなわちDocプロトコル（合成訓練データと多様なテストセットを用いたクロスドメイン評価）およびSyn2Real-TDocプロトコル（大規模な合成データで学習し、人間による作成データでテスト）の下でDiffNetを評価した。

• クロスドメイン性能 (Doc Protocol): DiffNetは、クロスドメインのテストセット（T-SROIE, OSTF, TPIC-13, RTM）において平均F1スコア0.515を達成し、前回の最良モデル（ADCD-Net）を約30%（0.450 vs 0.515）上回った。
• 人間による偽造性能 (Syn2Real-TDoc): 人間による作成データセット（RTM, FindIt, FindItAgain）において、DiffNetは平均画像レベルF1スコア0.640およびピクセルレベルF1スコア0.304を達成し、前回の最良のベースラインに対して画像レベルで+0.017、ピクセルレベルで+0.034向上した。
• 効率性： 提案されたアーキテクチャは、先行手法よりも大幅に高速である。768×768の解像度において、40.1 it/sの推論スループットと41.9 it/sの学習スループットを達成しており、これはADCD-Netに対して最大7倍の高速化を実現しており、FFDNのような他の高性能なベースラインをも凌駕している。

意義と主張

本論文は、特徴ピラミッドをパイプライン固有のアーティファクトではなく不一致のキューに依存するように制約することで、DiffNetがクロスドメイン性能の決定的なギャップに対処することを主張している。DCTバックボーンの設計を再検討し、不一致駆動型の特徴変換を導入することで、著者らは、アーキテクチャの単純さとターゲットを絞った設計の選択が、複雑で重厚なモデルよりも優れた性能を発揮できることを示している。

著者らは、彼らの手法が一貫した向上をもたらす一方で、高度に隠蔽された編集における手がかりの少なさや、テストデータセットにおける未加工領域の高い割合により、人間による改ざんのローカライゼーション性能が依然として課題であることを認めている。彼らは、本研究をより堅牢な汎用性への一歩として位置づけており、将来的な改善には、新しいショートカットを導入することなく高度な隠蔽戦略を模倣できる、より優れた合成データの生成が必要になる可能性があると述べている。さらなる研究を支援するため、コードと学習済み重みは公開されている。