🤖 machine learning

Perturb and Correct: Post-Hoc Ensembles using Affine Redundancy

本論文では、単一の事前学習済みネットワークにランダムな隠れ層摂動と最小二乗法による補正を適用することで、認識論的に多様な予測器を生成する事後手法である摂動・修正法（P&C）を導入し、複数のモデルを必要とすることなく、在分布・外分布間の強力なトレードオフを達成することを示す。

原著者： Eleanor Quint

公開日 2026-05-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Eleanor Quint

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Perturb and Correct: Post-Hoc Ensembles using Affine Redundancy」を平易な言葉と創造的な比喩を用いて解説したものです。

大きな問題：「完璧」な学生が予期せぬ試験に失敗する

あなたが数学の問題を解くために、優秀な学生（ニューラルネットワーク）を訓練したと想像してください。あなたは彼に何千もの練習問題（訓練データ）を与え、彼は満点を取りました。彼は非常に優れており、同じ教科書から出題された別の問題を与えれば、毎回正解します。

しかし、ここには落とし穴があります：同じ満点を得た学生は、他にも大勢いた可能性があります。

深層学習の世界では、これを**アンダースペシフィケーション（未定義性）**と呼びます。あなたの訓練データは、モデルに「特定の思考法」を一つだけ学ばせたのではなく、単に「正解」を出すことだけを強制しました。そのため、モデルは答えに至る「一つの道」を見つけましたが、練習試験では全く同じ結果に見えるような、他にも数千の道があったはずです。

問題が生じるのは、学生が分布シフト（現実世界の試験で、問題が少し違って見える状況）に直面したときです（例：自動運転車が晴れた日ではなく吹雪の中を走行する場合、または医療 AI が稀な疾患を検出する場合など）。モデルは訓練中に「どの道を選ぶか」を選択する必要がなかったため、晴れた日には機能するが、雪の中では衝突につながる道を選んでしまう可能性があります。どの道を選んだのか分からない以上、それが安全かどうかは分かりません。

解決策：パーターブ・アンド・コレクト（P&C）

著者たちは、**パーターブ・アンド・コレクト（P&C）**と呼ばれる巧妙なトリックを導入しました。彼らは学生を再訓練したり、新しいことを教えたりする必要はありません。完成したモデルを取り出し、非常に特定の方法で揺さぶることで、同じ学生のわずかに異なるバージョンの「チーム」を作成するだけです。

プロセスは以下の通りです。

1. 「パーターブ」（揺さぶり）

学生の脳にある特定の層（隠れ層）で、彼らが重たい思考を行っている部分を想像してください。研究者はこの層を取り出し、内部の結合をランダムに微調整します。

比喩： 学生に、視界をわずかに歪ませる少し異なる眼鏡をかけながら数学の問題を解かせるようなものです。
結果： これだけ行えば、学生は練習問題でも間違った答えを出すようになります。「微調整」が彼の満点を壊してしまったのです。

2. 「コレクト」（修正）

ここが魔法のパートです。研究者は脳の次の層（アフィン層）を見て、古い練習問題に基づいた単純な数学的修正（最小二乗法による補正）を用いて、それを再調整します。

比喩： 学生は歪んだ眼鏡をかけ、混乱して間違った答えを書き始めます。しかし、その後、教師（修正ステップ）が学生が持っているペン（次の層）を素早く調整し、眼鏡の影響を補正します。
結果： 学生が古い練習問題を見ると、眼鏡とペンの調整が完全に打ち消し合います。学生は以前と同じ満点を正確に取ります。

3. 「アンサンブル」（チーム）

研究者はこのプロセスを何度も繰り返します。毎回、異なるランダムな微調整（異なる眼鏡）と異なるペンの調整を使用します。

結果： 同じ学生の 50 人または 100 人のバージョンが手に入ります。
- 古い練習問題では、彼らはすべて完全に一致します。
- 新しい奇妙な問題（分布シフト）では、「眼鏡」と「ペン」の調整はもはや完全に打ち消し合いません。学生たちは互いに不一致を示し始めます。

これが重要な理由：「不一致」のシグナル

過去には、単一のモデルが不確実だった場合、彼らが一致するか不一致かを確認するために、ゼロから新しいモデルセット全体を訓練する必要がありました。これには多くの時間と計算資源を要します。

P&C では、不一致が自動的に発生します。

入力が正常な場合： 「眼鏡」と「ペン」の修正が連携して機能します。モデルのすべてのバージョンが一致します。私たちは確信を持てます。
入力が奇妙な場合（分布外）： 「眼鏡」と「ペン」の修正は、新しい状況に適合しなくなります。モデルは異なる答えを出し始めます。
シグナル： 彼らが不一致であるという事実は、「おい、私たちは未知の領域にいるぞ！注意しろ！」と教えてくれます。

「レバレッジ」の比喩

この論文は、なぜこれが機能するのかを説明するために、「レバレッジ（てこ）」と呼ばれる幾何学的な概念を使用しています。

練習問題は、焚き火の周りに座っている人々のグループだと想像してください。
焚き火のすぐ隣（分布内）にいる人に質問をすると、「ペンの調整」は「眼鏡の歪み」を簡単に補正できます。彼らは中心に近いからです。全員が一致します。
暗闇の遠く（分布外）に立っている人に質問をすると、「ペンの調整」（焚き火に合わせて較正されたもの）は彼に届きません。「眼鏡の歪み」が支配的になり、モデルたちは異なるものを見始めます。

結果の要約

著者たちは、これを 2 つの分野でテストしました。

ロボット物理学（MuJoCo）： ロボットの動きを予測する。ロボットの行動が変化した（シフトした）とき、P&C はロボットを再訓練することなく、他の手法と比較して「奇妙な」状況であることを検知する能力が格段に優れていました。
画像認識（CIFAR-10）： 属さない画像を検出する（例：犬の分類器に猫の画像を見せる）。P&C は、他の単一モデル手法と比較して、「これは何だか分からない」と言う能力に非常に優れていました。

結論

この論文は、ニューラルネットワークの「柔軟性」（多くの道が同じ答えに至るという事実）を排除しようとしてはいけないと主張しています。代わりに、それを利用すべきです。

単一の訓練済みモデルを取り、ランダムに揺さぶり、既知のデータで正直さを保つために必要な分だけ修正することで、無料で多様な専門家チームを作成できます。彼らは平常時には同期を保ちますが、事態が奇妙になると自然に不一致の合唱に変わり、潜在的な危険を私たちに警告します。

技術的概要：摂動と修正（P&C）

問題提起

現代の深層ニューラルネットワークは過剰にパラメータ化されており、「未特定性（underspecification）」と呼ばれる現象を引き起こしている。分布内（ID）の訓練データにおいて、多くの異なるパラメータ構成がほぼ同等の性能をもたらす一方で、これらのモデルは分布シフトや敵対的攻撃の下では劇的に異なる振る舞いを示すことが多い。この制約の欠如は、標準的な訓練パイプラインがデータ支持領域から離れた領域におけるモデルの振る舞いを完全に決定できないことを意味し、特に認識的不確実性（epistemic uncertainty）と分布外（OOD）検出に関する信頼性ある展開において重要なギャップを生み出している。この不確実性を推定する既存の手法は、複数の独立したモデルの訓練（Deep Ensembles）、訓練手順の変更（MC Dropout）、または事後分布の近似（SWAG、Laplace）を必要とする場合が多く、計算コストが高価であったり構造的に制限的であったりする。

手法：摂動と修正（P&C）

本論文は、摂動と修正（P&C） を導入する。これは、単一の事前学習済みネットワークから再訓練なしで認識的多様性を持つ予測器を生成する事後（post-hoc）アンサンブル構築手法である。この手法は、意図的にパラメータ変異を導入し、それを分布内データに対する影響を制約することで、深層ネットワークの未特定性を利用する。

中核メカニズム

摂動: P&C は隠れ層（または層の系列）を選択し、ランダムな低ランクパラメータ摂動を適用する。具体的には、ランダムな正規直交基底をサンプリングし、摂動の大きさ $\sigma$ でスケーリングして摂動行列 $\Delta W$ を作成する。
修正: これらの摂動が分布内データの性能を低下させるのを防ぐため、P&C は直後のアフィン層で補償的な修正をフィットさせる。これは、分布内データのキャリブレーション部分集合に対するリッジ正則化最小二乗法によって達成される。この修正は、次の層の元の前活性化値と摂動された前活性化値との差を最小化する。
アンサンブル構築: このプロセスは、異なるランダム摂動と、任意で異なるキャリブレーションデータのブートストラップ部分集合を用いて $M$ 回繰り返される。得られたアンサンブルは、これら修正された予測器の均一重み付き混合である。

理論的基盤

本論文は、修正後の残差と修正された感度の観点からメカニズムを分析する。

ID 保存: キャリブレーション分布の近くでは、最小二乗法による修正が摂動の影響を効果的に抑制する。残差は、入力値がキャリブレーション幾何学構造内にある場合に小さくなるレバレッジ項によって有界となる。
OOD 発散: 入力値がキャリブレーション支持領域から逸脱する（外挿する）につれて、レバレッジ項は増大し、修正はもはや摂動を完全に吸収できなくなる。その結果、修正された感度（隠れ層の摂動単位あたりの出力変化）が増大し、アンサンブルメンバーが OOD データ上で著しく異なった予測を行うようになる。
ランダムプロービング: 著者らは、ランダム摂動が修正された感度演算子の不偏なスケッチとして機能すると論じる。修正がデータによって振る舞いが制約される領域でのみ効果を抑制するため、ランダムサンプリングは訓練データによって未解決のまま残された「認識的自由度」を実効的にプローブする。

主要な貢献

事後アンサンブル構築: 本論文は、完全な事後分布を推定したり、特殊な摂動方向を選択したりすることなく、有用な認識アンサンブルを構築できることを実証している。ランダムな低次元の隠れ層摂動と、キャリブレーションデータ上での局所アフィン修正の組み合わせは、多様な予測器を生成するのに十分である。
残差の幾何学的分析: 著者らは、キャリブレーション幾何学構造の近くでは一致が持続し、シフト下では不一致が生じる理由を理論的に分析した。残差、レバレッジ、修正された感度の間の関係を形式化し、なぜランダム摂動が認識的不確実性をプローブする上で効果的なのかを説明する。
実証的検証: この手法は 2 つの異なるタスクで評価された。
- MuJoCo 動力学予測: P&C は、分布内（ID）の二乗平均平方根誤差（RMSE）と遠方 OOD の負対数尤度（NLL）の間の強力なトレードオフを達成し、単一の事前学習済みモデルのみを使用しながら、標準的なベースライン（Deep Ensembles、SWAG、Laplace、Subspace）を上回るか同等の性能を発揮した。
- CIFAR-10 OOD 検出: OpenOOD プロトコルを用いた評価において、P&C は事後手法の中で最先端の結果を達成し、SWAG などの強力な単一モデルベースラインを上回り、Deep Ensembles の性能に迫りながら、計算コストを大幅に削減した。

結果

MuJoCo: 11 の環境において、P&C は遠方 OOD の NLL（1.55）、遠方 AUROC（1.27）、遠方スピアマン相関（1.64）において最良の平均ランクを達成した。ID の RMSE（3.18）を競争力のある水準に維持しつつ、OOD 検出指標において Deep Ensembles を大幅に上回った。
CIFAR-10: P&C は、報告された手法の中で最高値のニア OOD AUROC（91.55）および遠方 OOD AUROC（95.09）を達成し、SWAG や Deep Ensembles と比較して 95% 再現率における偽陽性率（FPR95）を大幅に削減した。
メカニズム診断: 実験により、最小二乗法による修正なしではランダム摂動が ID 性能を低下させることが確認された。修正を施すことで ID 性能は維持され、不一致はキャリブレーション活性化からのマハラノビス距離に比例して増大することが示された。

意義と主張

本論文は、P&C が未特定性を排除すべき病理としてではなく、利用すべき認識的不確実性の源泉として再定義すると主張している。キャリブレーションデータによって未解決のまま残された自由度を資源として扱うことで、P&C は複数の独立したモデルの訓練や複雑なベイズ推論を行うことに対する計算効率の高い代替案を提供する。

著者らは、P&C を明示的なベイズ的手法よりも認識的ニューラルネットワーク（Epistemic Neural Networks） に哲学的に近い位置に置く。これは、モデルのアーキテクチャや訓練パイプラインの変更を必要とせず、データが振る舞いを制約する領域では予測器が一致し、制約しない領域では発散する予測器のファミリーを通じて不確実性を表現するためである。この研究は、局所アフィン修正が単純なランダム摂動を効果的な事後アンサンブルへと変換しうることを示唆し、深層学習における過剰パラメータ化の可能性を浮き彫りにしている。