原著者： Xinyang Liu, Xuanyu Liang, Shiqi Ding, Boyang Li, Zhiqiang Que, Jiayang Li, Guosheng Hu

公開日 2026-06-03✓ Author reviewed ⓘ

📖 1 分で読めます☕ さくっと読める

原著者： Xinyang Liu, Xuanyu Liang, Shiqi Ding, Boyang Li, Zhiqiang Que, Jiayang Li, Guosheng Hu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、部屋の将来の温度を予測するよう作業員チームに教えようとしていると想像してください。

旧来の手法（バックプロパゲーション／誤差逆伝播法）:
数十年にわたり、標準的な手法は、厳格でトップダウン型のマネージャーのようなものでした。マネージャーは最終的な予測を確認し、それが間違っていると分かると、プロセス中の全作業員に対して、それぞれがどのようにミスに貢献したかをすべて遡って説明します。

問題点: これには、マネージャーが全作業員の行動すべてを記憶しておく必要があります（これには膨大な精神的リソース／メモリが必要です）。また、マネージャーがすべての「逆行」を終えるまで、誰も自分のミスを修正することができません。これは時間がかかり、メモリ消費が激しく、生物学的な実態（私たちの脳の仕組み）とも一致しません。

以前の「新しい」手法（フォワード・フォワード法）:
数年前、「フォワード・フォワード（FF）」と呼ばれる新しい手法が登場しました。これは、マネージャーが後ろ向きに歩く代わりに、「ローカル（局所的）」なアプローチを採用しています。

仕組み: 各作業員は、自分のすぐ隣の隣人だけを見ます。
どのように機能したか: これは「はい／いいえ」の質問（分類問題）には非常に優れていました（例：猫か犬か）。システムは作業員に「良い」例（本物の猫）と「bad（悪い）」例（ランダムな犬）を見せます。作業員は、「私は猫が好きで、犬は嫌いだ」と学習します。
問題点: 猫か犬かを選ぶことには完璧に機能しますが、温度や速度、価格のような「数値」を予測すること（回帰問題）には惨めに失敗します。「この温度は『良い』のか、それとも『悪い』のか」を簡単に判断できないからです。目標が21℃の場合、20℃は「悪い」のでしょうか？では100℃はどうでしょう？旧来の手法は、数値の間の「距離」を扱う方法を知らず、単に何かが「正しい」か「間違っている」かしか理解していませんでした。

新しい解決策：FFR（回帰のためのフォワード・フォワード法）
この論文は、この「ローカルな作業員」による手法に、温度や速度、価格のような連続的な数値を扱わせるための新手法「FFR」を導入しています。彼らがどのように実現したのか、3つの巧妙なトリックを用いて説明します。

1. 「良 vs 悪」ではなく「綱引き」

「良い」例と「悪い」例を見せる代わりに、FFRは作業員をチームに分割します。

比喩: 目標温度が20℃だとします。作業員はグループに分けられます。グループAは10〜15℃を担当、グループBは15〜20℃、グループCは20〜25℃、といった具合です。
トリック: システムは単に「グループBが正解だ」と言うのではありません。「グループBが勝者だが、グループAとグループCは僅差の次点であり、グループZ（100℃）は完全な敗者である」と伝えます。
なぜ役立つのか: これにより、作業員は単にどのグループが正しいかだけでなく、「どれくらい正解に近いか」も学習できます。これは、古い「良 vs 悪」のゲームを、「誰が最も近いか？」というコンペティションに置き換えるものです。

2. 「階層化された梯子（はしご）」（粗から精へ）

論文では、上に登るほど精度が増していく、特別な梯子構造を構築しています。

比喩:
- 下の段（浅い層）: これらの作業員は、ラフな下書きのようなものです。彼らは単に、温度が「寒い」「暖かい」「暑い」のどれかを判断します。彼らは大きく、大まかな推測を行います。
- 上の段（深い層）: これらの作業員は、精密な芸術家のようなものです。下の段からの「暖かい」という推測を受け取り、それを「20.5℃」へと洗練させます。
コラボレーション: システムはラフな推測を単に捨て去ることはしません。それらすべてを保持します。最上部では、「ヘッドコーチ（最終層）」が下の段からのラフな推測と、上の段からの精密な推測の両方を見渡し、それらを混ぜ合わせて最終的な予測を行います。これにより、システムが早い段階での悪い推測に固執してしまうのを防ぎます。

3. 「フリーランチ」（不確実性）

通常、コンピュータが自身の回答に対してどの程度の自信を持っているかを知るためには、シミュレーションを数千回実行し、回答がどれほど変動するかを確認する必要があります。これには膨大な時間がかかります。

FFRのトリック: システムには、粗いレベルから精緻なレベルまで、梯子のあらゆる段階に作業員がいるため、彼ら全員に「あなたはどう思うか？」と尋ねるだけで済みます。
結果: 「粗い」作業員と「精緻な」作業員が意見が一致していれば、システムは高い自信を持っています。もし彼らが互いに争っていれば、システムは「おっと、これについては確信が持てない」と判断できます。
メリット: システムは追加の作業なしに、予測値と同時に信頼度スコアを即座に提供します。これは「フリーランチ（無料の昼食）」です。

何を証明したのか？

著者らは、以下のような現実世界の課題でテストを行いました。

スマートホームにおけるエネルギー使用量の予測。
工場の工作機械が故障する時期の予測。
屋内位置の予測（GPSなし）。
ウェアラブルデバイスからの健康指標の予測。
画像品質の判定。

結果:

精度: FFRは、従来の重厚な「バックプロパゲーション」手法の精度の約**98.6%**に達しました。
メモリ: 中程度の深さではメモリのわずか**27%を使用し、非常に深いレベルでは8%**しか使用しませんでした。（従来のメソッドが、本を増やすたびに無限に重くなるバックパックを背負うのに対し、FFRは本を増やしてもサイズが変わらないバックパックを背負っているようなものです）。
速度: 「後ろ向きの歩行」を待つ必要がないため、ステップあたりのトレーニング速度が約**28%**向上しました。

まとめ:
FFRは、以前は単純な「はい／いいえ」の決定にしか使えなかった手法を、複雑な数値予測にも対応できるようにアップグレードしたものです。これは、学習プロセスを「最も近い推測」のコンペティションに変え、粗いものから精緻なものへと至る作業員の梯子を構築し、信頼度スコアを無料で手に入れることで実現しました。FFRは、数十年にわたって分野を支配してきた、メモリを大量に消費する「後ろ向きの歩行」がなくても、スマートで効率的なAIを構築できることを証明しています。

技術要約: FFR (Forward-Forward for Regression)

1. 問題提起

Hintonらによって提案されたForward-Forward (FF) アルゴリズムは、正のデータ（positive）と負のデータ（negative）という2つのフォワードパスを用いて、層ごとの局所的な最適化を通じてニューラルネットワークを学習させることで、バックプロパゲーション (BP) に代わる生物学的妥当性が高くメモリ効率の良い手法を提供する。しかし、FFは本質的に分類タスク向けに設計されており、「真正な（positive）」サンプルと「偽の（negative）」サンプルの対照的なペアに依存している。これを実世界の回帰問題へと拡張するには、2つの根本的な課題が存在する：

自然なネガティブの不在: 連続的なターゲット空間においては、自然な「ネガティブ」サンプルの定義が存在しない。分類ではランダムな誤ラベルで事足りるが、連続値（例： $y+0.1$ と $y+100$ ）の場合、それらを等しく「誤り」として単純に分類することは困難であり、対照的なペアの構築が曖昧になる。
大きさおよび順序への無関心: 標準的なFFの「良さ（goodness）」関数（ $g = \|h\|^2$ ）は、バイナリ識別用の活性化の大きさを測定するものであり、ターゲットの大きさや順序関係に関する情報を持たない。このため、相対的な距離が重要となる実数値の予測を監督するには不適切である。

このギャップを埋めるための既存の試みは限定的であった。ある手法は回帰を許容バンド（tolerance bands）上のバイナリ分類として扱う（高いオーバーヘッドと限定的な精度を伴う）ものであり、また別の手法は方向微分を用いて良さ関数を置き換えている（ハードウェアの実装性は向上するが精度が犠牲になる）。いずれも、多様な実世界の回帰データセットにおいて、BPに対して競争力のある性能を示した例はない。

2. 手法: FFRフレームワーク

著者らは、以下の3つの核心的な革新を通じてFFを回帰へと拡張するFFR (Forward-Forward for Regression) フレームワークを提案する。

2.1 順序競合型良さ関数 (Ordinal Competitive Goodness Function)

直接的な平均二乗誤差 (MSE) 回帰や対照的なペアを用いる代わりに、FFRは各隠れ層を順序分類器として扱う。

離散化: 連続的なターゲット範囲 $[y_{min}, y_{max}]$ を、層 $\ell$ において $K_\ell$ 個の順序付けられたビン（bin）に分割する。
競合グループ: 層内のニューロンを、特定のビンに対応する互いに素なグループ $\{G_{\ell,1}, \dots, G_{\ell,K_\ell}\}$ に分割する。
順序的監督: ハードなワンホットラベルを使用するのではなく、FFRは距離を考慮したソフトラベルを採用する。真のターゲット $y$ を中心とするガウス型の山（Gaussian bump）を生成し、それをビンの中心点に投影する。これにより、近くのビンほど高い確率質量を受け取るターゲット分布 $q_{\ell,k}$ が作成される。
良さの計算: グループの「良さ」は、そのニューロンの平均二乗活性化である。これは確率分布 $p_{\ell,k}$ へと正規化される。層の損失は、ソフトラベル $q$ と良さの分布 $p$ の間のクロスエントロピーである。これにより、局所的な競合を維持しつつ、ターゲットの順序構造をエンコードする。

2.2 階層化ラダー・アーキテクチャ (Stratified Ladder Architecture)

「表現の崩壊」（すべての層が同一の粗い特徴を学習してしまう現象）を防ぎ、精細な回帰を可能にするために以下を用いる：

階層的粒度: 階層 $\ell$ ごとに競合グループの数 $K_\ell$ が倍増する（ $K_\ell = 2^{d_0 + \ell - 1}$ ）。浅い層は粗い順序識別（広いビン）を学習し、深い層はこれらを精細な分割へと洗練させていく。
グループ単位の正規化: グループ間の活性化の漏出を防ぐため、層全体ではなく、各グループ内に対して正規化を適用する。
ラダー集約: すべての中間層からの良さの値（スカラー）を結合し、最終的な線形回帰ヘッドに入力する。これにより、中間層を通じて勾配を逆伝播させることなく、層間の協調を可能にし、FFの局所更新特性を維持する。

2.3 不確実性推定を伴う階列的予測

FFRは、ラダー・アーキテクチャのマルチスケールな性質を利用して、堅牢な予測と不確実性の推定を「無料（for free）」で提供する：

アンサンブル予測: 各中間層 $\ell$ は、ビンの中心点に対するソフトマックス分布に基づき、連続的な予測 $\mu_\ell$ を生成する。最終的な予測 $\hat{y}$ は、全層の出力と最終ヘッドの加重アンサンブルである。
無料の不確実性: 予測の不確実性は、アンサンブル平均の周囲における層ごとの予測の加重分散として計算される。これにより、モンテカルロ・ドロップアウトやベイズ近似を必要とせずに、信頼度指標を提供する。

3. 主な貢献

初の現実的なFF回帰フレームワーク: FFRは、スマートホームIoT、産業用センシング、屋内測位、ウェアラブルヘルスケア、画像品質評価を含む多様なドメインにおいて、競争力のある性能を示し、Forward-Forward学習を実世界の回帰タスクへと正常に拡張した初のフレームワークである。
3つの技術的革新:
- 距離を考慮した順序的監督の下での、対照的なペアに代わる層内競合を用いた順序競合型良さ関数。
- 順序の粒度を深さに応じてスケールさせ、マルチスケールな特徴を集約する階層化ラダー・アーキテクチャ。
- 単一のフォワードパスで堅牢な推定と不確実性定量化をもたらす階層的予測メカニズム。
効率性と性能: FFRは、5つの実世界ベンチマークにおいて、BP-UR（Backpropagation-trained equivalent）の精度の平均98.6%を達成した。極めて重要な点として、深さ8においてBPの27%、深さ32において**8%というピーク訓練メモリ量まで削減しつつ、1イテレーションあたりの訓練時間をBPの約72%**に維持している。

4. 実験結果

著者らは以下のデータセットでFFRを評価した：

合成ベンチマーク: Sin-Cos, Exp-Trig-Poly, およびマルチターゲット変種 (MT-A, MT-B)。
実世界データセット: 家電エネルギー (Appliances Energy), 工作機械摩耗 (Machine Tool Wear), UJIIndoorLoc, BIDMC (ウェアラブルヘルス), および KonIQ-10k (画像品質)。

主な知見:

精度: FFRは、すべてのBPフリーの競合手法（FF-MSE, FF-CLF, FF-CAR, FF-Zero, PEPITA, F3を含む）を上回った。いくつかの実世界データセット（UJIIndoorLoc, BIDMC, Appliances）では、標準的なBPベースラインさえも上回っており、階層的なアンサンブルが補完的な信号を加えていることが示唆されている。
メモリのスケーリング: 活性化を保持するために深さとともにメモリ使用量が増大するBPとは異なり、FFRのメモリ使用量は、局所更新後に中間活性化が破棄されるため、深さが増してもほぼ一定に保たれる。
不確実性: 可視化により、予測の不確実性バンドが困難なサンプルや非典型的なサンプルに対して正しく広がることが示され、「無料の」不確実性推定の有用性が検証された。

5. 意義と主張

本論文は、注意深く設計された局所学習が、極めて低い訓練コストでグローバルな最適化（BP）に匹敵し得ることを示していると主張している。FFの対照的な性質と回帰の連続的なターゲット空間との間の根本的な不一致を解決することで、FFRは、メモリや更新のロック制約によりBPが困難なリソース制約のあるハードウェア（例：IoTセンサー、エッジコントローラ、ロボティクス）への、生物学的に妥当でメモリ効率の高い学習の展開を可能にする。

著者らは、現在の実装が標準的な浮動小数点精度を使用しており、低ビットアクセラレータやアナログ/物理コンピューティングハードウェアでの検証はまだ行われていないことを認め、これらは今後の課題としている。

FFR: Forward-Forward Learning for Regression