🤖 machine learning

K-Inverse-RFM: A Modified RFM that Bridges the Gap to Neural Networks for Data-Corrupted Mathematical Tasks

本論文は、データが破損した数学的タスクにおける性能の限界を克服するために斬新なラベル変換を採用した改良型再帰的特徴マシンであるK-Inverse-RFMを紹介し、これによりそれがフィードフォワードニューラルネットワークと同等、あるいはそれを凌駕することを可能にしている。

原著者： Gil Pasternak

公開日 2026-07-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Gil Pasternak

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

全体像：数学を学ぶ2つの方法

あなたがコンピュータに、数学の問題（例えば、14時が2時になるような、数字が循環する「剰余演算」のようなもの）を教えようとしていると想像してください。

この物語には、2人の主要な「生徒」が登場します。

ニューラルネットワーク（直感的な芸術家）： これは、誰もが知っている現代の強力なAIです。何百万もの微細な内部のつまみを調整することで学習します。データが乱れていたり、ノイズがあったり、不均衡であったりしても、パターンの把握に非常に長けています。
RFM（ルールに従う者）： これは「Recursive Feature Machine」と呼ばれる、より新しくシンプルなモデルです。ニューラルネットワークを模倣しようとしますが、異なる数学的アプローチを用います。データの「平均的な傾き」を見ることで、何が重要かを理解しようとする学生のようなものです。

問題点： 完璧で綺麗な数学の問題であれば、両方の生徒ともA+を取ります。しかし、現実世界の「厄介さ」――例えば、ノイズ（教科書の誤答）、不均衡（ある種類の例題が多すぎたり少なすぎたりすること）、特殊なエンコーディング（数字を秘密のコードで書くこと）――が導入された途端、ルールに従う者（RFM）は無残に失敗し始めます。一方で、直感的な芸術家（ニューラルネットワーク）は高いパフォーマンスを維持します。

この論文の著者はこう問いかけました。「なぜルールに従う者は、汚れたデータに対して苦戦するのか？そして、複雑なニューラルネットワークに進化させることなく、これを修正する方法はないのだろうか？」

調査：なぜルールに従う者は失敗したのか？

著者は、RFMがどこで崩壊するのかを確認するために、主に3つの実験を行いました。

1. 「ノイズ混じりの教科書」テスト（ラベルノイズ）

シナリオ： 教科書の答えの30%がランダムに間違っている状況を想像してください。
結果： ニューラルネットワークは間違った答えを無視して正しいパターンを学習しましたが、RFMはノブミズムに混乱し、パフォーマンスが急落しました。
発見： 著者は、RFMが失敗したのは「答えを予測できなかった」からではなく、データがノイズを含んでいるときに「正しい特徴（データを捉える正しい方法）」を学習できなかったからだと突き止めました。それは、代数を学ぼうとしているのに、ページに書かれた落書きに気を取られてしまう学生のようなものです。

2. 「不均衡なクラス」テスト（不均衡データ）

シナリオ： データセットの90%が「リンゴ」で、わずか10%だけが「オレンジ」である状況を想像してください。
結果： ニューラルネットワークは両方を認識できるようになりました。しかし、RFMは「リンゴ」に執着しすぎて、「オレンジ」の扱い方を完全に忘れてしまいました。つまり、多数派のグループに過学習してしまったのです。
発見： RFMは、あるグループについて学んだことを他のグループへと共有することに苦労していました。それは、各クラスを独立した島として扱ってしまうようなものでした。

3. 「秘密のコード」テスト（複雑な表現）

シナリオ： 数字の「5」をそのまま与えるのではなく、「5 mod 3, 5 mod 5, 5 mod 7」のようなコードとして与えます。これは数字を保存するためのより効率的な方法（中国剰余定理）ですが、解読するのはより困難です。
結果： ニューラルネットワークは最終的にそのコードを解読しました。しかし、RFMはそのメッセージを解読して問題を解くことに苦戦しました。
発見： RFMは、この複雑なコードを有用な特徴へと翻訳する方法を見つけられませんでした。

解決策：K-Inverse-RFM

著者は、RFMの主な弱点は「ラベル（答え）」の扱い方と、特徴の学習方法にあると気づきました。標準的なRFMはあまりにも硬直的でした。

これを修正するために、著者はK-Inverse-RFMと呼ばれる新しいバージョンを作成しました。その仕組みの比喩は以下の通りです。

従来の方法（標準的なRFM）： 学生が教科書をページごとに丸暗記しようとしている状態です。もしページが破れていたり誤植があったりすると、彼らは行き詰まってしまいます。彼らはすべての問題を完全に別個のものとして扱います。
新しい方法（K-Inverse-RFM）： 著者は学生に新しい戦略を与えました。それは、**「答えを見て、問い（問題）を推測せよ」**という戦略です。
- 単に入力（問い）を見て出力を推測するのではなく、K-Inverse-RFMは答えを特徴へと「投影」します。「もしこの答えを得たいのであれば、どのような特徴の組み合わせが必要か？」と問いかけるのです。
- また、「移動平均」を用いることで学習プロセスを滑らかにし、一つの悪い例がレッスン全体を台無しにしないようにしています。
- 決定的なのは、モデルが異なるクラス間（リンゴとオレンジなど）で情報をより効果的に共有できるようになったことです。

結果：うまくいったのか？

はい、そしていくつかのケースでは、ニューラルネットワークよりも優れた結果を出しました。

ノイズのあるデータに対して： K-Inverse-RFMは、古いRFMとニューラルネットワークの間の差を約**64%**埋めました。ノイズに対して非常に強くなりました。
不均衡なデータに対して： 多数派のグループへの執着を止め、希少な例に対しても以前のRFMよりはるかにうまく対処できるようになりました。
秘密のコード（CRT）に対して： これが驚きの勝者となりました。データが複雑な「中国剰余定理」スタイルでエンコードされているタスクにおいて、K-Inverse-RFMは実際にニューラルネットワークを上回りました。特徴を非常にうまく学習したため、より速く、より正確に問題を解いたのです。

「秘伝のソース」に関する発見

この論文における最も興味深い副次的発見の一つは、ニューラルネットワークの最初の学習レイヤーが、実は最も重要な部分であるということです。

著者は、ニューラルネットワークの第1層で学習された特徴を取り出し、それを単純なカーネル（数学的なツール）に投入しました。すると、この単純なツールが、フルセットの複雑なニューラルネットワークよりも優れた性能を発揮したのです。

比喩： それは、天才的な学生が授業の最初の10分間で取った「下書き」のメモを取り出し、そのメモが、3時間かけて考え抜いて書いた最終的なエッセイよりも実は優れていたことに気づくようなものです。

まとめ

この論文は、「ルールに従う者（RFM）」が失敗したのは、彼らが愚かだったからではなく、データが乱れたときにあまりにも硬直的すぎたからであることを示しています。答えを特徴へとマッピングする方法（K-Inverse法）を微調整することで、著者は以下の特徴を持つモデルを作り上げました。

乱れたデータ（ノイズや不均衡）に対して賢い
より効率的である（学習に必要とされるユニークな例が少ない）
複雑なデータエンコーディングを扱う場合、時には複雑なニューラルネットワークよりも強力である

結論として、K-Inverse-RFMはまだ完璧ではありませんが、その差を大幅に縮めており、難しい数学の問題を解くために必ずしも巨大で複雑なニューラルネットワークを必要とするわけではなく、時には「よりスマートでシンプルなアプローチ」が最善であるということを証明しています。

技術要約: K-Inverse-RFM

問題提起

再帰的特徴マシン（Recursive Feature Machines: RFMs）は、平均勾配外積（Average Gradient Outer Product: AGOP）を利用して特徴量を学習するカーネルベースのモデルの一種であり、理論的には古典的なカーネル手法と順伝播型ニューラルネットワーク（FNNs）の間の溝を埋めるものである。RFMは、ニューラルネットワークのダイナミクスを再現し、クリーンな表形式データや特定の数学的タスク（剰余演算など）において最先端の性能を達成できることが示されているが、本論文では、データが汚染された場合にRFMがFNNと比較して著しい性能低下を示すことを特定している。

具体的には、著者は以下の3つのシナリオにおいて、RFMがFNNに比べて大幅に劣化することを観察している：

ラベルノイズ: FNNが高精度を維持する一方で、RFMは訓練ラベルのノイズが増加するにつれて堅牢にスケールできない。
不均衡データ: 入力または出力の分布が歪んでいる場合（例：リサンプリングや特定のデータサブセットの系統的な除外による）、RFMは過学習に陥るが、FNNは比較的安定している。
複雑な表現: 入力が中国剰余定理（CRT）のような複雑なスキームを用いてエンコードされている場合、RFMはその構造をデコードすることに苦しみ、FNNを下回ることが多い。

核心となる仮説は、FNNはこれらのノイズが多い、あるいは複雑なレジームにおいて優れた特徴学習能力を備えている一方で、標準的なRFMは必要な特徴構造（特に剰余演算に必要なブロック巡回特徴）を学習できていないということである。

手法: K-Inverse-RFM

これらの制限に対処するため、著者はK-Inverse-RFMを提案する。これは、標準的なRFMのトレーニングループ（予測器の訓練とAGOPベースの特徴学習を交互に繰り返すもの）に対する3つの主要なアルゴリズム変更を導入した修正版である。

ラベル投影 (K-Inverse): 標準的なカーネルリッジ回帰の方程式を解く代わりに、ラベルをカーネル化された特徴空間に投影する修正された方程式を解く。具体的には、重みベクトル $\alpha$ は次のように解かれる：
$\alpha (K(X, X; M_t) + \lambda I) = K(X, X; M_t) d y$
ここで、 $d$ はべきパラメータ（通常は $-1$ に設定されるため「K-Inverse」と呼ばれる）である。この定式化は、ラベルをカーネル化された特徴の組み合わせとして表現し、出力をデータポイントの組み合わせとして写像する。これにより、マルチクラス構造の共有を促進し、あるクラスから学習された特徴が他のクラスにも情報を与えることを可能にし、クラス不均衡とノイズの問題を緩和する。
移動平均AGOP: 高次元の特徴空間におけるAGOP行列の不安定性や大きな勾配変化に対処するため、特徴学習ステップ ( $M_{t+1}$ ) を、 $k$ ステップのウィンドウにわたるAGOP行列の移動平均として再定式化する。この平均は、訓練損失の逆数 ( $1/l_i$ ) によって重み付けされ、不適切な更新の影響を軽減する。
リッジ正則化: カーネル回帰は、更新サイズを制約し訓練の安定性を確保するために、高いリッジ項 ( $\lambda$ ) を持つカーネルリッジ回帰として再定式化される。

べきパラメータ $d$ はハイパーパラメータとして扱われる。 $d=-1$ が標準的なケースで使用されるが、著者は、より密な特徴空間（CRTエンコーディングなど）においては、より小さい、あるいは正のべき（例： $d=0.4$ または $0.6$）を用いることで性能と安定性が向上すると述べている。

主な貢献

RFMの限界に関する実証的研究: 本論文は、RFMがFNNと乖離する箇所を包括的に分析しており、特にラベルノイズ、データ不均衡、および複雑な入力表現を、数学的タスクにおける性能差の主な原因として特定している。
特徴学習の診断: FNNの第1層の特徴量を用いて学習されたラプラスカーネルを用いた実験を通じて、著者は、ノイズが多く不均衡な設定における性能差が、主にRFMの予測ヘッド（カーネル回帰）ではなく、堅牢な特徴（AGOPメカニズム）を学習できないことにあることを証明している。
K-Inverse-RFMアルゴリズム: ラベル投影と安定化された特徴平均を組み込んだ修正RFMの導入。この手法は、汚染されたデータシナリオにおけるRFMとFNNの性能差を克服することに成功している。
サンプル効率の分析: 本研究は、RFMの性能が総サンプル数ではなく、ユニークな訓練ポイントの数に対してほぼ線形にスケールすることを明らかにしている。K-Inverse-RFMは、クラス間で情報を共有する能力により、ユニークなサンプルあたりの性能向上が高く、優れたサンプル効率を示す。

結果

K-Inverse-RFMは、様々なデータ条件下での剰余加算、乗算、減算、除算、および最大公約数（GCD）タスクにおいて、標準的なRFMおよびFNNと比較して評価された：

ラベルノイズ: K-Inverse-RFMは、標準的なRFMとFNNの間の性能差の平均**64%**を埋める。これは標準的なRFMを大幅に上回り（テスト精度で最大39.3%向上）、14%のラベルノイズまでFNNに匹敵する性能を維持する。
不均衡データ: 入力重みが偏っているシナリオ（例：3の倍数のペア）において、K-Inverse-RFMは標準的なRFMに対して**53%**のテスト精度の向上を示す。結果は、K-Inverse-RFMがデータの分布の不均衡に対して鈍感であり、ユニークなサンプル数に依存していることを示している。
系統的な除外: K-Inverse-RFMは、すべてのテストされた除外タイプ（例：オペランドが50より大きい、または10より小さい場合）において、標準的なRFMを上回る。
複雑な表現 (CRT): 中国剰余定理（CRT）エンコーディングを用いたタスクにおいて、K-Inverse-RFMはFNNとの差を埋めるだけでなく、6つのエンコーディング・タスクのペアのうち5つにおいて、標準的なRFMおよびニューラルネットワークの両方を凌駕した。これは、正しい特徴学習メカニズムがあれば、カーネルベースのモデルが特定の構造化されたタスクにおいてディープネットワークを上回ることができることを示唆している。

意義と主張

本論文は、K-Inverse-RFMが、カーネル手法の効率性とニューラルネットワークの堅牢性を統合するための重要な一歩であると主張している。RFMを改良してマルチクラスの特徴学習をより良く扱い、AGOP更新を安定させることにより、モデルは以下を実現している：

堅牢性: 標準的なRFMが失敗するノイズが多く、不均衡で、複雑に表現されたデータに対しても信頼性の高いパフォーマンスを発揮する。
効率性: ディープFNNのGPU集約的な訓練とは異なり、RFMの計算効率を維持し、CPUでの訓練が可能である。
特定の領域における優位性: 構造化されたタスク（特にCRTエンコードされた剰余演算）において、K-Inverse-RFMはディープニューラルネットワークを上回ることがあり、これは「ギャップ」がカーネル手法とニューラルネットワークの間に本質的に存在するのではなく、前者における不適切な特徴学習メカニズムの結果であることを示唆している。

著者は、K-Inverse-RFMはギャップを大幅に縮小させるものの、すべてのシナリオにおいて完全に排除するものではないと控えめに結論付けている。今後の課題として、これらの知見を非数学的ドメイン（NLP、コンピュータビジョン）へ拡張すること、および現在の研究が順伝播型ニューラルネットワークに限定されていることから、Transformerの挙動を調査することが提案されている。