🤖 machine learning

ReFP-AD: Rectified Flow Preconditioning for Energy-Based Anomaly Detection

ReFP-ADは、高次元トークン空間におけるエネルギーベースモデルの学習を安定化させるために、最適輸送結合型整流フロー（optimal transport-coupled rectified flow）を介した幾何学的再パラメータ化を導入しており、MVTec-ADおよびVisAデータセットにおいて最先端の統一異常検知性能を達成している。

原著者： Camile Lendering, Erkut Akdag, Joaquín Figueira, Egor Bondarev

公開日 2026-08-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Camile Lendering, Erkut Akdag, Joaquín Figueira, Egor Bondarev

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ギャラリーで偽物の絵画を見つけ出そうとしている探偵だと想像してください。あなたは数千もの本物の傑作を研究してきたので、筆致、色彩、そして質感が本来どうあるべきかを正確に理解しています。しかし、あなたは一度も「偽物」を見たことがありません。あなたの仕事は、新しい絵画が並ぶ部屋に入り、そこに従わないものを即座に指し示すことです。これが、人工知能の世界における「異常検知（アノマリー・ディテクション）」という挑戦です。AIは、「悪い」例を一度も見せられることなく、何が「正常」であるかを学習しなければなりません。

これを行うために、現代のAIはしばしば「基盤モデル（ファウンデーション・モデル）」を使用します。これは、インターネット上のあらゆる情報を学習した、超スマートな脳のようなものです。これらのモデルは、画像を「トークン」と呼ばれる小さな断片に分解し、画像の持つ意味を捉えた「埋め込み（エンベディング）」という長い数字のリストへと変換します。しかし、これらの数字のリストは非常に乱雑です。それはまるで、糸が強く張られたものもあれば緩んでいるものもあり、複雑に絡み合った「もつれた毛糸玉」のようです。もし、この乱雑なリストを使って新しい画像がどれほど「奇妙」かを数学的に測定しようとすると、計算が混乱し、不安定になります。それは、足元でロープが常にねじれている中で、綱渡りをしようとするようなものです。この論文は、まさにその問題、つまり、AIが信頼して偽物を検知できるように、いかにしてその「もつれたロープ」を真っ直ぐに伸ばすかという課題に取り組んでいます。

もつれたロープの問題

この論文の著者である、アイントホーフェン工科大学のカミーレ・レンデル（Camile Lendering）氏とそのチームは、AIが異常を検知する方法における、ある苛立たしいグリッチ（不具合）に気づきました。彼らは「エネルギーベースモデル（EBM）」と呼ばれる強力な数学的手法を使用していました。EBMを、丘と谷がある「風景」だと考えてください。「正常」な画像（完璧な工場の部品や健康な葉など）は、深く滑らかな谷の中に心地よく収まっています。一方で「異常（アノマリー）」（傷や欠陥など）は、ギザギザとした尖った頂の上に位置するはずです。

問題は、AIが「ランジュバン動力学（Langevin dynamics）」という、いわば最も低い点を探すための「ランダムウォーク」を用いて、この風景を探索しようとしていたことです。しかし、データがそれらの乱雑で、もつれた基盤モデルから来ているため、風景は滑らかな谷ではなく、ねじれた、異方性（一方向に引き伸ばされた状態）を持つ悪夢のようなものでした。ランダムウォークは途中でスタックしたり、壁に跳ね返ったり、あるいは制御不能なスパイラルに陥ったりしました。それは、まるで、丸めてしまったボール状の滑り台を転がそうとしているようなものでした。これを修正しようとする以前の試みは、データをより小さく単純な形状に押しつぶすことでしたが、それでは詳細が失われすぎてしまい、AIが微細な欠陥に対して盲目になってしまうという問題がありました。

直線化の解決策：ReFP-AD

チームは、ReFP-AD（Rectified Flow Preconditioning for Anomaly Detection：異常検知のための整流フロー・プリコンディショニング）と呼ばれる巧妙なトリックを提案しました。乱雑なデータを無理に制御しようとするのではなく、彼らは「幾何学的な矯正器」を構築したのです。

図面が描かれた、くしゃくしゃになった紙を想像してみてください。もし、紙がくしゃくしゃな状態で図面を測定しようとすれば、定規は間違った答えを出してしまいます。ReFP-ADは、魔法の機械のようなものです。それは、図面を破いたりインクを失わせたりすることなく、紙を優しく広げ、完璧に平らに伸ばします。技術的な言葉で言えば、彼らは「整流フロー（rectified flow）」（一種の数学的な写像）を使用して、乱雑で高次元なトークンのリストを、クリーンで整理された「潜在空間（latent space）」へと変換します。

この新しく「真っ直とされた」空間では、異常の風景における「丘と谷」は滑らかで予測可能なものになります。今や、AIが（正常なデータである）最低の点を見つけるためにランダムウォークを行うとき、AIはスタックすることなく、滑らかに滑るように進むことができます。これにより、AIは元の基盤モデルの持つ豊かで詳細な情報を損なうことなく、より小さく精度の低いバージョンへと押しつぶす必要もなくなりました。

得られた成果

結果は目覚ましいものでした。チームは、2つの主要な産業用データセット、MVTec-AD（15種類のオブジェクト・カテゴリを含む）と VisA（12種類のカテゴリを含む）を用いて、彼らの手法をテストしました。彼らは「統一（unified）」プロトコルという厳格な方法を用いました。これは、オブジェクトごとに個別のモデルを訓練するのではなく、単一のAIモデルを訓練して、これらすべての異なるオブジェクトを一度に扱えるようにすることを意味します。

MVTec-AD データセットにおいて、ReFP-ADは 画像AUROC 98.6% および ピクセルAUROC 97.9% を達成しました。
VisA データセットにおいて、画像に対して 97.3%、ピクセルに対して 99.0% のスコアを記録しました。

これを比較するために言えば、この「直線化」のトリックなしにこれを行おうとした従来の統一モデルは、大幅に苦戦していました。論文によれば、ReFP-ADは、画像検出の精度において、既存の最良のエネルギーベースモデルのベースラインを最大で +10.8% 上回りました。

研究者たちは、自分たちのアイデアが鍵であることを証明するために、いくつかの実験を行いました。彼らが「直線化」のステップを取り除き、生の乱雑なデータでAIを訓練しようとしたところ、性能は急落しました（VisAにおいて87.0%まで低下）。また、空間が非常に整理されていたため、AIは答えを見つけるために何百回ものステップを踏む必要はなく、わずか20ステップで正解に到達できることも判明しました。以前の方法では、もっと多くのステップが必要になるか、あるいは完全に失敗していたはずです。

なぜ重要なのか

この論文は、AIが欠陥を見つける能力を高めるためのボトルネックは、より大きな脳やより複雑なモデルを作ることではないことを示唆しています。それは、モデルが思考するための「データの準備方法」にあります。データの幾何学的な構造を先に修正することで、研究者たちは既存の基盤モデルの持つポテンシャルを最大限に引き出すことに成功しました。

現在、この手法は、意思決定の前にこの「直線化」の計算を行う必要があるため、一部のシンプルな検出器よりも少し低速ではありますが、一つの統一されたAIが、非常に多様な種類のオブジェクトにわたって欠陥を特定できることを証明しています。これは、一つのスマートな探偵が工場全体をパトロールし、金属ギアの傷から布地の裂け目まで、一度も「壊れたもの」の例を見ることなく、高い精度で検知できる未来への一歩なのです。

技術要約: ReFP-AD

問題提起

視覚的異常検知（VAD）は、訓練中に異常な例へのアクセスなしに、正常なデータの分布からの逸脱を特定することを目的としている。**統一的な設定（unified setting）**においては、単一のモデルが多様なオブジェクトカテゴリ、テクスチャ、および外観の変化に対して汎化しなければならない。DINOv2のような基盤モデルは、視覚データを意味的に構造化された多様体へと整理する、豊富で高次元なトークン表現（例：1536次元のベクトル）を提供するが、これらの空間を活用して明示的な密度推定を行うことは依然として困難である。

**エネルギーベースモデル（EBM）**は、入力に対してスカラーエネルギー $E(x)$ を割り当てることで、異常を高エネルギー状態として定義する、このようなタスクのための原理的なフレームワークを提供する。しかし、高次元のトークン空間におけるEBMの訓練は、極めて不安定であることが知られている。この不安定性は、アーキテクチャの問題ではなく、根本的な幾何学的問題であると特定されている：

異方性と相関性: Transformerのトークン分布は高度に異方的であり、次元間で強い相関関係を示す。
メトリックの不一致: 標準的なランジュバン動力学（負の例のサンプリングに使用される）は、等方的なノイズを伴う等方的なユークリッド距離を仮定している。この仮定と実際のトークンの幾何学との間の不一致が、条件数の悪い軌道をもたらす。
サンプリングの不安定性: 有限ステップのマルコフ連鎖モンテカルロ（MCMC）サンプリング（例：持続的対照ダイバージェンス）の下では、この幾何学的な不一致により、混合の遅延、振動的な「ジグザグ」軌道、および不安定な負のフェーズが発生し、その結果、従来のメソッドは訓練を安定させるために表現を低次元のボトルネックに圧縮することを余儀なくされることが多い。

手法: ReFP-AD

著者らは、表現の幾何学と密度推定を切り離すフレーム_ワークである ReFP-AD (Rectified Flow Preconditioning for Anomaly Detection) を提案する。ReFP-ADは、エネルギーモデルを変更したり特徴量を圧縮したりするのではなく、サンプリング空間をプリコンディショニングするための幾何学的再パラメータ化を学習する。

1. 統一トークン表現

本手法は、凍結されたDINOv2 ViTバックボーンを使用してパッチトークンを抽出する。統一的な設定におけるカテゴリ間のスケールの格差を扱うため、トークンは正常な訓練データから得られた統計量を用いてカテゴリごとにZスコア正規化される。これは、統一モデルが適用される前の固定されたアフィン前処理ステップとして機能する。

2. 最適輸送フローによる幾何学的プリコンディショニング

核心となる革新は、異方的なトークン分布を、条件の良い、ほぼ等方的な潜在空間へと整形する輸送マップを学習することである。

Rectified Flow: 連続時間輸送マップは、常微分方程式（ODE）によって定義されるニューラルネットワーク $v_\theta(t, x_t)$ によってパラメータ化される。
OT-Coupling: ソース・トークン $z$ とターゲットとなる等方的なガウス変数 $u \sim \mathcal{N}(0, \tau^2 I)$ は、安定したログ領域のSinkhorn反復を用いて計算されるエントロピー最適輸送（OT）結合を介して結合される。
訓練目的: フローは、ネットワークが予測する速度と線形補間ベクトル $(u-z)$ との間のマッチング損失を最小化するように訓練される。
検証: チェックポイントは、投影された部分空間上で計算された SGLD適合性診断（条件付け、残留相関、および裾の安定性）に基づいて選択され、これにより、輸送マップが多様体のトポロジーを崩壊させることなく、有限ステップのMCMC挙動を具体的に改善することを保証する。

3. プリコンディショニングされたSGLDを用いた制約なしEBM

トークンが潜在空間 $u$ へと輸送された後、制約なしのエネルギーベースモデル（残差MLP）が訓練される。

訓練: モデルは 持続的対照ダイバージェンス（PCD） を使用する。負のサンプルは、局所的な幾何学に適応するために、移動平均の二乗勾配（RMSProp方式）から計算されるプリコンディショナー $M_k$ を用いた プリコンディショニング付き確率的勾配ランジュバン動力学（pSGLD） を用いて更新される。
損失関数: 目的関数は、正のサンプルのエネルギーを最小化しつつ、負のサンプルのエネルギーを最大化し、さらにエネルギーの大きさおよび勾配の滑らかさに関する正則化項を加える。

4. 異常スコアリング

推論時、異常スコアは学習されたエネルギー地形から直接導出される。パッチのスコアは、サンプルを正常な多様体へと移動させるために必要な「復元力」の大きさである勾配ノルム $\|\nabla_u E_\phi(u)\|_2$ である。これらのパッチスコアは、ピクセルレベルの異常マップを生成するためにアップサンプリングおよび平滑化される。

主な貢献

幾何学的診断: 本論文は、統一的なトークン空間におけるEBMの不安定性が、モデルの容量制限ではなく、基盤モデルのトークン分布によるユークリッド距離の仮定の違反に起因することを特定した。
幾何学的再パラメータ化: ReFP-ADは、OT結合されたRectified Flowを用いて、高次元の視覚トークンを等方的な潜在空間へと写像する新しい戦略を導入する。これにより、アーキテクチャ上のボトルネックや次元削減なしに、安定した有限ステップのMCMCサンプリングが可能になる。
統一的な評価: 本手法は、MVTec-ADおよびVisAにおいて厳格な統一プロトコル（すべてのカテゴリに対して単一の共有フローおよびEBMを使用）の下で評価され、幾何学が適切に条件付けられていれば、明示的な密度推定が再構成ベースや類似度ベースのベースラインを凌駕できることを示している。

実験結果

本手法は、MVTec-AD（15カテゴリ）および VisA（12カテゴリ）のデータセットで評価された。

性能: ReFP-ADは、密度ベースの検出器の中で最先端（SOTA）の結果を達成した：
- MVTec-AD: 画像AUROC 98.6% / ピクセルAUROC 97.9%。
- VisA: 画像AUROC 97.3% / ピクセルAUROC 99.0%。
比較: ReFP-ADは、VisAにおいて従来の統一EBMベースライン（例：MPDR）を最大 +10.8% 上回る画像AUROCを記録した。また、MVTec-ADにおいて主要な正規化フローベースの手法（HGAD）をも上回っている。
アブレーションによる洞察:
- プリコンディショニングの必要性: Rectified Flowを除去すると大幅な性能低下（例：VisAの画像AUROCが97.3%から87.0%へ低下）が発生し、生のトークン空間が有限ステップのランジュバン動力学には不適切であることを裏付けている。
- サンプリング効率: プリコンディショニングされた空間により、迅速なMCMC混合が可能になる。標準的なSGLDが生の空間で効果的に混合できないのに対し、わずか 20ステップのSGLD でも安定した性能が得られる。
- 統一モデル vs カテゴリ別モデル: 統一モデルは専用のカテゴリ別モデルに対してわずか0.4〜0.6%の差しかなく、ヘテロジニアスなデータに対して単一のモデルが有効であることを示している。

意義と主張

本論文は、EBMを基盤表現へとスケールアップする際の主要な障壁は、モデルの容量ではなく サンプリングの幾何学 であると主張している。学習された輸送マップを通じて幾何学的な不一致に対処することで、ReFP-ADは以下を可能にする：

安定した高次元訓練: 低次元のボトルネックに圧縮することなく、高密度で高次元なトークン表現（1536次元）上でEBMを直接訓練できる。
意味の保持: 特徴量を圧縮する手法とは異なり、ReFP-ADは正確なローカリゼーションとマルチクラスモデリングに必要な、豊かで構造化されたトークン情報を保持する。
一般的原理: 本研究は、エネルギーベースモデリングのための一般的なパラダイムを示唆している：まず表現の幾何学を条件付け、それからエネルギーを学習する。

著者らは、手法の堅牢性を向上させる一方で、ODE積分（10ステップのRK4ソルバー）と勾配評価の必要性が、フィードフォワード型やk-NNベースの検出器と比較して推論レイテンシを増加させることを認めており、オフラインの検査や、厳密なリアルタイム性よりも統一的なモデリングが優先されるシナリオに適しているとしている。