On Fibonacci Ensembles: An Alternative Approach to Ensemble Learning Inspired by the Timeless Architecture of the Golden Ratio

技術要約：フィボナッチ・アンサンブルについて

問題提起
アンサンブル学習は、不完全な基底学習器を統合することで予測性能を向上させることに依存している。バギングやブースティングのような手法は確立されているものの、集約規則そのもの、すなわち基底学習器に適用される重み付け則は、明示的に設計されることは稀である。それは通常、継承されたもの（バギングにおける一様分布）、損失関数に内包されたもの（ブースティング）、あるいは摂動パラメータとして推定されるもの（スタッキング）である。本論文では、フィボナッチ数列から導出された特定の構造化された重み付け則が、チューニング不要なデフォルトのアンサンブル集約戦略として、原理的な最適戦略となり得るかを調査する。核心となる問いは、自然界における成長を司るフィボナッチ数列の再帰的アーキテクチャが、学習器を組み合わせるための数学的に最適な戦略を提供するのか、それとも単に意図しない制約を課すものなのか、という点である。

手法
著者は、複雑さが増加する順に並べられた基底学習器 $h_1, \dots, h_M$ が、フィボナッチ数 $F_m$ に比例する重みを受けるフィボナッチ重み付けを以下のように定義する：
$$\alpha_m = \frac{F_m}{\sum_{j=1}^M F_j}$$
分析は、以下の理論的および経験的な観点を通じて進められる：

1. 漸近解析： ビネットの公式を利用して、$M \to \infty$ におけるこれらの重みの漸近的挙動を導出し、それらが比率 $\phi^{-1}$（$\phi$ は黄金比）を持つ幾何級数へと収束することを示す。
2. バイアス・分散分解： 直交基底の仮定の下でアンサンブルのリスクを分析する。著者は、幾何学的重み付け（フィボナッチを含む）が、バイアスの減少と分散の増大のバランスを取りながら、いつ一様平均を上回るかという正確なクロスオーバー条件を導出する。
3. 再帰的フローの安定性： アンサンブル構築を二次の再帰的フロー $F_m = \beta F_{m-1} + \gamma F_{m-2} + \Delta F_{m-1}$ としてモデル化する。シュア・コーンの条件を用いて、古典的なフィボナッチ再帰（$\beta=1, \gamma=1$）の安定性を分析し、$L_2$ 安定性を確保しつつ黄金モード比を維持する「減衰型」の変種を提案する。
4. 比較ベンチマーク： フィボナッチ重み付けおよび幾何学的重み付けの性能を、以下と比較する：
   • 一様平均（標準的なベースライン）。
   • 最適幾何学的重み付け（比率 $r$ がチューニングされるもの）。
   • 古典的な順序付き収縮推定器（Pinsker, Blockwise Stein。これらは単体制約 $\sum w_m = 1$ を強制しない）。
5. 実験： 合成ターゲット（$\sin(2\pi x), \text{sinc}(x)$）に対するランダムフーリエ特徴量および多項式辞書、ならびに実世界の時系列データ（ナイル川の流量、太陽黒点活動、エルニーニョ現象による海面水温）を用いた計算実験を行う。

主要な貢献と結果

1. 固定された有効アンサンブルサイズ：
   中心的な構造的結果は、正規化されたフィボナッチ重みが、総学習器数 $M$ に関わらず固定された有効アンサンブルサイズ（$M_{eff}$）を持つことである。
   $$M_{eff} = \left( \sum \alpha_m^2 \right)^{-1} \to \phi^3 = 2 + \sqrt{5} \approx 4.236$$
   その結果、フィボナッチ・アンサンブルは、たとえ数千の学習器が利用可能であっても、4つ強の学習器しか参照しない。これは、フィボナッチ重み付けが、バギングの特徴である $O(1/M)$ の分散減少を達成できないことを意味する。いかなる $M > \phi^3$ においても、一様重み付けが分散の観点からフィボナッチ重み付けを厳密に圧倒する。

2. バイアス減少としての唯一のメカニズム：
   分散減少が不可能であるため、フィボナッチ重み付けの利点は、バイアス減少からのみ生じなければならない。本論文は、幾何学的重み付けが一様平均を上回るための必要十分条件（定理 3.1）を確立している。それは、信号エネルギー（係数 $\theta_m^2$）が、重み付け則が重みを増やすインデックスに集中していることである。

   • 信号が低インデックス（滑らかな関数）にある場合、最適な比率は $r < 1$（初期の学習器を重視）となる。
   • 信号が高インデックスにある場合、$r > 1$ となる。
   • フィボナッチ比 $\phi \approx 1.618$ は $r > 1$ に対応しており、これは最後から2つの学習器（高インデックス側）を重視することを意味する。本論文では、$\phi$ が最適な比率であることは稀であり、多くの実験において最適な $r$ は 0.20 から 2.20 の範囲にあることが判明した。決定的なのは、信号エネルギーが低インデックスに位置する場合（滑らかな関数では一般的なシナリオ）、最適な $r < 1$ となるため、フィボナッチ重み付け（$r = \phi > 1$）は「間違った側」を重視するという意味で劣悪な結果となる。

3. 幾何学的重み付けとの等価性：
   著者は、$M \ge 20$ において、フィボナッチ重み付けが比率 $r = \phi$ の幾何学的重み付けと数値的に区別不能であることを証明している。したがって、「フィボナッチ」重み付けに関する主張は、実質的に特定の数 $\phi$ に関する主張である。

4. 再帰的フローの安定性：
   古典的なフィボナッチ再帰は、アンサンブル・フローの文脈において不安定（$\rho(T) = \phi > 1$）であることが示されている。著者は、モード比（$\lambda_+ / |\lambda_-| = \phi^2$）という構造的特性を保持しつつ、シュア・コーン安定条件（$\rho(T) < 1$）を満たす減衰型フィボナッチ・フローを構築する。

5. 制約による限界：
   決定的な知見は、アンサンブル性能の主なボトルネックは、特定の重み付け則ではなく、単体制約（$\sum w_m = 1, w_m \ge 0$）であるということである。

   • 凸集約規則（単体制約内）のクラスにおいて、幾何学的ファミリーは（最良の単体推定器の12%以内という範囲で）ほぼ最適である。
   • しかし、この単体制約を持つ推定器のクラス全体は、単体制約を強制しない順序付き収縮法（Pinsker, Blockwise Stein）よりも6倍から146倍も劣っている。この制約により、重みの平均が $1/M$ に強制され、信号係数の深刻な過小評価を引き起こす。

6. 順序依存性：
   構造化された重み付けは、辞書の順序に極めて敏感である。置換研究によれば、学習器の順序をランダム化すると、性能が2.5倍から15倍劣化することが示された。フィボナッチ重み付けは、辞書のインデックスが真の意味（例：複雑さや周波数の増加）を保持している場合にのみ有益である。

意義および主張
本論文は、控えめながらも精密な結論を導き出している。フィボナッチ数列は、アンサンブル学習における「黄金の」最適重み付け則を提供するものではない。

• 黄金比の役割： $\phi$ は特権的な重みではない。むしろ、$\phi^3$ はフィボナッチ・スキームが活用できる有効学習器数の正確な上限を表している。それは解決策ではなく、限界である。
• 真の問題： 重み付け則は、アンサンブル学習における「結果的であり、かつほとんど設計されていない構成要素」である。本論文は、集約規則は（フィボナッチのように）仮定されるのではなく、データから（例：交差検証を通じて）推定されるべきであると主張している。
• 実用的な示唆： フィボナッチ重み付けは、チューニング不要で解釈可能なデフォルトではあるが、普遍的に最適ではない。その有用性は、辞書の順序と信号のスペクトル分布に固有のバイアス・分散のトレードオフに完全に依存する。本論文は、「予測器のような」学習器（平均化が自然なもの）と「基底のような」学習器（収縮が優れたもの）を区別することが、特定の重み付け数列を選択することよりも重要であると強調している。

要約すれば、本論文はフィボナッチ・アンサンブルを、普遍的な法則の発見としてではなく、凸集約の限界、およびアンサンブル設計における辞書の順序と制約選択の決定的な重要性を厳密に示したものとして再定義している。