🤖 machine learning

Does Your Neural Network Extrapolate? Feature Engineering as Identifiability Bias for OOD Generalization

本論文は、分布外一般化が、特徴量エンジニアリングと構造的コミットメントを通じて導入される「識別可能性バイアス」に依存すると主張しており、このバイアスは在来分布データのみからはデータ生成過程の非識別可能性を解決し、したがって、選択された表現が基礎となる因果構造を正しく捉えている場合に、成功した外挿を可能にするものである。

原著者： Leonel Aguilar, Jan Nagler, Christoph Hoelscher, Nino Antulov-Fantulin

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Leonel Aguilar, Jan Nagler, Christoph Hoelscher, Nino Antulov-Fantulin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「Does Your Neural Network Extrapolate?」という論文を、平易な言葉と創造的な比喩を用いて解説します。

大きなアイデア：「地図と領土」の問題

あなたがロボットに都市のナビゲーションを教えるツアーガイドだと想像してください。あなたはロボットに、あなたが住んでいる地区（訓練データ）しか見せません。そして、ロボットに、一度も訪れたことのない全く異なる地区（分布外、またはOOD領域）の都市の姿を予測させるように頼みます。

この論文は、適切な「地図」を与えない限り、ニューラルネットワークは未知を推測するのが極めて苦手であると主張しています。

もしロボットに単に生の通り名を見せるだけなら、ロボットはあなたの地区に基づいて描ける最も単純な形である「巨大で滑らかな丘」のように新しい地区を推測するかもしれません。しかし、実際の新しい地区が山脈であった場合、ロボットは惨めに失敗します。

しかし、地形の「形状」を強調する地図（等高線地図など）をロボットに与えれば、ロボットは一度も行ったことがない地区であっても、その地区を完璧に把握することができます。

核心的な問題：「無限の推測ゲーム」

著者たちは、数学的な事実を証明しています：単一のデータ窓からは、未来を知ることはできない。

世界の仕組みについての 2 つの異なる物語を想像してください。

物語 A： 世界は滑らかで果てしない丘である。
物語 B： 世界は波打つ海であり、突如としてギザギザの崖へと変わる。

もしあなたが土地の小さな一部（あなたの訓練データ）しか見ていなければ、両方の物語は全く同じように見えるかもしれません。丘と波は、その小さな区画では同じように見えます。それらが「ここ」で同じに見えるため、ロボットはどちらの物語が真実か区別できません。ロボットはどちらかを選びますが、間違った方を選べば、崖にぶつかった際に破滅します。

この論文はこれを観測的同等性と呼んでいます。追加の助けがない限り、データだけではロボットにどの物語が現実のものかを伝えることはできません。

解決策：「構造的コミットメント」

では、これをどう解決すればよいのでしょうか？この論文は、構造的コミットメントが必要だと述べています。これは、**「私たちはロボットに、世界の特定の形状を仮定させることにする」**という意味の、少し難解な表現です。

このコミットメントには 3 つの部分があります。

特徴マップ（ $\phi$ ）： 生データを新しい言語に変換する方法（例：「時間」を「サイン波」に変換する）。
ラベルマップ（ $\psi$ ）： 答えを変換する方法（例：「人口」を「対数」に変換する）。
モデルクラス（ $M$ ）： ロボットが使用する脳のタイプ（例：単純な線形計算機 vs 複雑な深層思考者）。

魔法の比喩：円のトリック
この論文は、サイン波（ $\sin(x)$ ）の予測という古典的な例を用いています。

間違った方法： ロボットに生の数値（ $x$ ）を与えると、ロボットは世界は直線か多項式曲線だと考えます。未来を予測しようとするとき、それは単に無限に上または下へと進み続けます。失敗します。
正しい方法： ロボットに「フーリエマップ」（ $x$ $x$ を $\sin(x)$ $sin (x)$ と $\cos(x)$ $cos (x)$ の座標のペアに変換するもの）を与えると、あなたは本質的にロボットに**「世界は円である」**と伝えていることになります。
- この新しい言語では、訓練データも未来のデータも、すべて同じ円上の点に過ぎません。
- 未来を予測することはもはや「未知を推測する」ことではなく、単に円上の点を繋ぐこと（補間）になります。
- ロボットは完璧に成功します。

実験が示したもの

著者たちは、このアイデアを 3 つの全く異なる現実世界のシナリオでテストしました。結果は常に同じでした：正しい地図が勝ち、間違った地図は失敗する。

化学（質量作用速度論）：
- タスク： 化学物質がどのように混合するかを予測する。
- 結果： 生数値を使用すると、予測は訓練領域の外で暴走します。「双線形マップ」（化学数値を組み合わせる特定の方法）を使用すると、ロボットは未来を完璧に予測します。
物理学（ケプラーの法則）：
- タスク： 惑星の距離に基づいて、恒星の周りを公転するのにかかる時間を予測する。
- 結果： 生距離と質量をロボットに与えると、遠くの惑星の予測に失敗します。しかし、対数（特定の数学的変換）を使用するよう指示すると、ロボットは即座に重力の法則を学習し、新しい惑星を完璧に予測します。
生物学（DNA 検出）：
- タスク： 異なる種（酵母と細菌など）におけるコーディング DNA を識別する。
- 結果： 標準的な AI モデルは、新しい種を調べたときに失敗しました。しかし、研究者が「生物学的特徴」（DNA が 3 文字ごとに停止または繰り返される頻度を数えるなど）を追加すると、モデルは一度も見たことがない種を含め、すべての種で機能しました。

「基盤モデル」のひねり

この論文は、TimesFM や TabPFN のような、すでに多くのことを学習しており再訓練できない巨大な事前学習済み AI モデルも検討しました。

発見： これらの賢明なモデルでさえ、間違った「言語」を与えられれば失敗します。
解決策： 単に入力形式を変更する（例：生数値の代わりに、その数の「対数」をモデルに与える）だけで、凍結されたモデルは突然、外挿の天才になります。脳を変えたのではなく、ただそのモデルが着用していた眼鏡を変えただけです。

成功のための 3 つのルール

この論文は、ニューラルネットワークに外挿（未知の予測）させるためには、以下の 3 つが同時に起こる必要があると結論付けています。

正しい地図： データを、世界の真の形状に一致する形式に変換する必要があります（例：波には円、成長には対数）。
正しい脳： モデルはその形状を理解できる能力を持っている必要があります（例：地図が正しければ線形モデルは円を理解できる；複雑な深層ネットワークは、単純な線を過剰に複雑化しようとする場合、失敗する可能性がある）。
十分なカバレッジ： マップを「敷き詰める」ために、訓練ウィンドウ内に十分なデータポイントが必要です。マップが円である場合、それが直線ではなく円であることを知るために、円の一部を十分に観察する必要があります。

結論

特徴量エンジニアリングは死んでいません。

「ビッグデータ」や「巨大なモデル」があれば、手動で特徴量を設計したりデータを変換したりする必要がなくなったと考える人が多くいました。この論文は言います：いいえ。

深層学習は、手元にあるデータ内の空白を埋めるのに驚異的です。しかし、データの外側で何が起こるか推測するには、モデルに世界の姿を明示的に伝える必要があります。あなたは「構造的コミットメント」を提供しなければなりません。そうしなければ、モデルは単に推測しているだけであり、おそらく間違った推測をするでしょう。

要約すると： あなたの通りの写真を見せるだけでは、ロボットに新しい都市をナビゲーションさせることはできません。都市の幾何学を説明する地図を与えなければなりません。

技術的サマリー：OOD 汎化のための識別可能性バイアスとしての特徴量エンジニアリング

1. 問題定義

深層ニューラルネットワークは、訓練データのサポート内での補間においては卓越しているが、分布外（OOD）の補外においては頻繁に失敗する。万能近似定理は補間能力を保証するが、数学的に保証された補外は未解決の問題である。

この研究で特定された核心的な課題は観測的同等性である。任意の有限な訓練ウィンドウ $W$ において、無限のデータ生成プロセス（DGP）が $\epsilon$ -観測的同等（許容誤差 $\epsilon$ 内で区別不能）となり得るが、 $W$ の外では任意に乖離し得る。したがって、訓練損失、交差検証、または $W$ 上の保持データ損失といった、いかなる分布内基準単独でも、これらの交絡仮説から真の背後プロセスを確実に区別することはできない。本論文は、OOD 補外はデータのみからは識別不可能であると主張する。表現とモデルクラスの選択は、この曖昧さを解決する「構造的コミットメント」を構成する。

2. 手法と理論的枠組み

2.1 DGP コミットメント $(\phi, \psi, M)$

著者らは、学習プロセスを 3 つの構成要素を含む共同コミットメントとして形式化した：

特徴量マップ（ $\phi$ ）: 入力 $x$ を表現空間 $Z_x$ に変換する。
ラベルマップ（ $\psi$ ）: 目標 $y$ を $Z_y$ に変換する。
モデルクラス（ $M$ ）: 変換された空間上で動作する仮説クラス。

本論文は、三つ組 $(\phi, \psi, M)$ が仮定される DGP を決定すると提唱する。このコミットメントが真の DGP と整合し、変換された空間において目標が線形に表現可能（あるいはそれ以外に単純）であれば、OOD 補外は補間となる。

2.2 観測的同等性と識別可能性

命題 1 は、経験的リスク最小化（ERM）が観測的同等なプロセスに対して盲目であることを確立する。任意の有限ウィンドウ $W$ とノイズレベル $\sigma$ において、2 つのプロセス $P_1$ と $P_2$ が許容誤差 $\epsilon$ 内で $W$ 上で一致する場合、 $\epsilon\sqrt{n} \ll \sigma$ のとき、 $W$ をサポートとするいかなるテストもこれらを確実に区別できない。これは、標準的な選択基準（交差検証など）が、訓練セット上で観測的同等である競合する DGP 間の決着をつけることができないことを意味する。

命題 2 は、この決着をつけるためのヒューリスティックを導入する：境界近傍データ。2 つのプロセスが訓練ウィンドウの外で速度 $r$ で乖離する場合、訓練境界に直ちに隣接する幅 $\delta \ge \epsilon/r$ の検証セグメントは合意ゾーンから外れる。この境界近傍セグメント上で候補をスコアリングすることで、正しい構造的コミットメントを選択できる。

2.3 構成的存在

本論文は、真の DGP が変換後にモデルクラス $M$ 内で実現可能（すなわち、 $W$ だけでなくすべての $X$ において $g^* \circ \phi = f$ ）であり、かつモデルが有限サンプルから識別可能であれば、OOD 誤差は消滅する（ $\epsilon_{OOD} = 0$ ）ことを示す。これは以下の場合に示されている：

正弦関数: フーリエ座標 $\phi(x) = (\sin x, \cos x)$ を使用することで、周期的補外を円 $S^1$ 上の補間に変換する。
べき乗則: ログ - ログ変換を使用する。
指数関数: ログ-y 変換を使用する。

3. 主要な貢献

観測的同等性の形式化: 本論文は、いかなる分布内テストも観測的同等なプロセスを区別する能力に対する理論的下限を提供し、構造的コミットメントなしには OOD リスクが識別不可能であることを証明する。
DGP コミットメント枠組み: 研究者が OOD の曖昧さを解決するために提供できる構造的情報の唯一の源泉を $(\phi, \psi, M)$ として特定する。「特徴量エンジニアリング」は深層学習の成功からの逸脱ではなく、必要な構造的コミットメントの明示的な注入であると論じる。
最小対における制御実験: 著者らは変数を分離し、同一のアーキテクチャで同一の分布内（ID）損失を持つ場合でも、特徴量マップ $\phi$ のみによって OOD 性能が桁違い（例： $\sim520$ 倍）に異なることを示す。
ドメイン横断検証: 機構は 3 つの自然科学ドメインで検証された：
- 化学: 質量作用則（MAK）において、二線形特徴量がダイナミクスを線形化する。
- 物理学: 系外惑星予測のためのケプラーの第 3 法則において、ログ変換が物理的指数を回復する。
- 生物学: 種間コーディング DNA 検出において、遺伝子コード不変な特徴量が、GC 含有量が異なる生物間でゼロショット転移を可能にする。
実務者のアーティファクト:
- 境界近傍検証: 特徴量マップを選択するための交差検証に優れる選択ヒューリスティック。
- $\delta_{OOD}$ 診断: OOD データ上のスパースフィットの残差と特徴量マップの正しさを相関させる、SINDy（非線形ダイナミクスのスパース同定）に基づく指標。
- アーキテクチャ不変性チェック: OOD 保証が特徴量マップ（例：正確なフーリエ位置エンコーディング）に属し、バックボーン（Transformer、Mamba、または S4D）には属さないことを示す研究。

4. 実験結果

4.1 トイ実験（Sin(x) とべき乗則）

Sin(x): 生データ $x$ で訓練された MLP は、滑らかで平坦化する曲線として補外し、高い OOD 誤差（ $\sim156\%$ ）を示す。フーリエ特徴量 $(\sin x, \cos x)$ で訓練された同一の MLP は、ほぼゼロの OOD 誤差（ $\sim0.3\%$ ）を達成する。基盤モデル（TimesFM、TabPFN）も同様の挙動を示す：入力形式が暗黙的に正しい特徴量マップを提供する場合は成功し、そうでない場合は失敗する。
べき乗則 vs 指数関数: $x^2$ と $e^{\alpha(x-1)}$ が $[1, 2]$ 上で観測的同等である設定において、正しいログ変換された特徴量マップと線形モデル（OLS）の組み合わせのみが低い OOD 誤差を達成する。誤ったコミットメント（例、指数関数目標に対するログ - ログ）は壊滅的な失敗（ $>9,999\%$ の誤差）をもたらす。

4.2 自然科学ドメイン

化学（MAK）: 二線形特徴量により OLS が正確な支配方程式を $0.0\%$ の OOD 誤差で回復するのに対し、生 MLP は失敗する（ $24.4\%$ ）。
物理学（ケプラー）: $(\log a, \log M_{star})$ を OLS と併用すると、物理法則を $3.8\%$ の OOD 誤差で回復する。生 MLP は ID データに過剰適合する（ $6.9\%$ ）が、OOD では失敗する（ $79.0\%$ ）。
生物学（CDS）: 標準的な位置エンコーディング（学習済み APE、正弦波）は、異なる GC 含有量を持つ種間で一般化できず（偶然レベルまで低下）、コドン周期性とアミノ酸組成を符号化する特徴量マップが、AUROC 最大 $0.96$ でのゼロショット転移を可能にする。

4.3 アーキテクチャ不変性（Transformer、Mamba、S4D）

周期的シーケンスタスクにおいて、正確なフーリエ位置エンコーディングは、3 つのアーキテクチャ全体および様々な周期長にわたり、ほぼゼロの OOD 誤差（ $\le 0.2\%$ ）を達成する。対照的に、標準的な正弦波、RoPE、学習済み位置エンコーディングは失敗する（ $>90\%$ の誤差）。これは OOD 保証がアーキテクチャではなく特徴量マップの性質であることを確認する。

4.4 限界と必要条件

周期的 $d$ -トーラスベンチマークを用いて、本論文は OOD 汎化のための 3 つの共同必要条件を特定する：

表現整合性: 特徴量マップは DGP と整合しなければならない。
モデルクラス容量: モデルは変換された空間において目標の相互作用次数を表現できなければならない。
カバレッジ: 訓練データは関連する表現空間を十分にカバーしなければならない（臨界カバレッジ $M_{crit} \approx 4$ ）。
本研究は、正しい特徴量マップがあっても、モデルクラスが容量不足であるか、サンプルカバレッジが不十分な場合、OOD 失敗が発生することを示す。

5. 意義と主張

本論文は、ニューラルネットワークの補外失敗の「いつ・なぜ」を解決すると主張する。以下を論じる：

OOD リスクは単一のウィンドウ上のデータからは識別不可能であり、構造的コミットメント $(\phi, \psi, M)$ がこれを解決する唯一の機構である。
特徴量エンジニアリングは時代遅れではない。 深層学習は分布内で特徴量を学習できるが、補外には明示的な構造的コミットメントが必要である。
事前学習は問題を解決しない。 事前学習済みモデルは入力形式を通じてコミットメントの問題を継承する。ユーザーが正しい変換を提供する場合にのみ成功する。
正しい特徴量は必要だが十分ではない。 モデルクラスは目標を表現できなければならず、データは表現空間をカバーしなければならない。

著者らは、訓練データでは一致するが分布外では一致しないモデルの集合である「ラシュモンの集合」は、データ単独ではなく、研究者による構造的コミットメントの選択によって航行されると結論づける。本論文は、補外を識別可能にするために必要な DGP コミットメントの明示的な注入として、特徴量エンジニアリングを再定義する。