📊 statistics

On Fibonacci Ensembles: An Alternative Approach to Ensemble Learning Inspired by the Timeless Architecture of the Golden Ratio

Dit artikel introduceert "Fibonacci Ensembles", een nieuw ensemble learning-framework geïnspireerd door de Fibonacci-reeks dat genormaliseerde Fibonacci-gewichten en een tweede-orde recursieve dynamiek gebruikt om systematische variantiereductie en verhoogde representationele diepte te bereiken, waarbij het competitieve prestaties demonstreert ten opzichte van klassieke aggregatiemethoden in gecontroleerde regressie-experimenten.

Oorspronkelijke auteurs: Ernest Fokoué

Gepubliceerd 2026-08-18

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ernest Fokoué

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van de moderne computertechnologie leren machines vaak door naar veel verschillende gissingen te kijken en deze vervolgens te combineren tot één beter antwoord. Deze benadering, bekend als ensemble learning, is als het raadplegen van een panel van experts voor advies in plaats van het vertrouwen op slechts één individu. Als de experts divers en imperfect zijn, kan hun gecombineerde wijsheid vaak beter presteren dan elk individu alleen. De uitdaging voor wetenschappers is om uit te zoeken hoe ze deze meningen mengen. Moet elke expert een gelijk stemrecht krijgen? Of moeten sommige stemmen luider zijn dan andere? Decennialang was de standaardpraktijk om elke leerling hetzelfde te behandelen, door ze een gelijk gewicht te geven, of om het dat proces de mix te laten bepalen via complexe methoden van vallen en opstaan. Maar wat als er een natuurlijke, vooraf ingestelde regel was voor deze menging die geen afstemming en geen giswerk vereiste?

Een onderzoeker aan het Rochester Institute of Technology besloot een zeer specifiek idee te testen dat geïnspireerd is door de natuur: de Fibonacci-reeks. Dit is een beroemd getalpatroon dat wordt gevonden in de spiralen van schelpen en de rangschikking van bladeren, waarbij elk getal de som is van de twee voorgaande getallen. De vraag was of dit eeuwenoude wiskundige ritme als een perfect recept kon dienen voor het combineren van machine learning-modellen. De onderzoeker zette zich in om te zien of het wegen van de experts volgens deze reeks een slimmer en stabieler voorspellingssysteem zou creëren dan de gebruikelijke methoden. Het onderzoek onthulde een verrassende waarheid over de grenzen van deze aanpak en verduidelijkte precies wanneer een dergelijk patroon helpt en wanneer het belemmert.

De studie begon met het ordenen van een reeks leerprocessen in een specifieke volgorde, doorgaans van eenvoudig naar complex, en het vervolgens toekennen van gewichten aan deze gebaseerd op de Fibonacci-getallen. De meest recente en complexe modellen ontvingen de grootste gewichten, volgend op de groei van de reeks. De onderzoekers voerden duizenden simulaties uit om te zien hoe deze methode presteerde vergeleken met het geven van een gelijk stemrecht aan iedereen. Ze ontdekten een harde limiet aan hoeveel modellen dit systeem daadwerkelijk kon gebruiken. Ongeacht hoeveel experts er aan de groep werden toegevoegd, luisterde het Fibonacci-wegingsschema effectief naar slechts ongeveer vier van hen. De gewichten voor de oudere, eenvoudigere modellen werden zo klein dat ze praktisch werden genegeerd. Dit betekende dat het toevoegen van meer modellen aan de mix het systeem niet stabieler of nauwkeuriger maakte, wat juist het hoofddoel is van het gebruik van grote groepen leerders.

Omdat het systeem de meeste beschikbare experts effectief negeerde, kon het niet de willekeurige fouten verminderen die voortkomen uit het hebben van te weinig datapunten. Sterker nog, voor elke groep groter dan vier was de standaardmethode van het geven van een gelijk stemrecht aan iedereen wiskundig bewezen beter in het verminderen van deze willekeurige fouten. De enige manier waarop de Fibonacci-methode zou kunnen winnen, was als de volgorde van de modellen er diep toe deed. Als de modellen zo waren gerangschikt dat de belangrijkste aan het einde van de lijst stonden, zou de Fibonacci-regel die specifieke stemmen een boost geven. Echter, als de volgorde willekeurig of onbelangrijk was, zou de methode falen en vaak veel slechter presteren dan een simpel gemiddelde.

De onderzoekers testten ook of de beroemde gulden snede, het getal waarnaar de Fibonacci-reeks convergeert, de perfecte instelling was voor dit soort wegingsmethoden. Ze vergeleken de Fibonacci-regel met een breed scala aan andere geometrische patronen om te zien welk patroon de meest nauwkeurige resultaten produceerde. De resultaten waren duidelijk: de gulden snede was niet de beste keuze. De ideale instelling veranderde afhankelijk van het specifieke probleem en het type gegevens. Soms bevoordeelde het beste patroon de eenvoudigste modellen, en soms de meest complexe. De gulden snede was zelden de winnaar, en het blindelings gebruiken ervan kon leiden tot fouten die vele malen groter waren dan nodig.

Om te begrijpen waarom dit gebeurde, bekeek het artikel het verschil tussen twee soorten problemen. In sommige gevallen zijn de gegevens als een set bouwblokken waarbij je de juiste paar moet kiezen om een muur te bouwen; hier werkt het middelen van alles goed. In andere gevallen zijn de gegevens als een signaal dat in de loop van de tijd vervaagt, waarbij de vroege delen sterk zijn en de latere delen zwakke ruis. In deze gevallen van vervagende signalen was de Fibonacci-regel eigenlijk erg slecht, omdat deze van nature focust op de hoge indices (de complexe modellen), ongeacht waar de werkelijke signaalenergie zich bevond. Als de belangrijke informatie geconcentreerd was in de vroege, eenvoudigere modellen, gaf de Fibonacci-regel precies de verkeerde kant van het spectrum een hoger gewicht. Maar dit werkte alleen als de modellen in de juiste volgorde waren gerangschikt. Wanneer de onderzoekers de volgorde van de modellen willekeurig door elkaar haalden, stortte de prestatie van de Fibonacci-methode in, met enorme schommelingen tussen zeer goed en zeer slecht. Dit bewees dat de methode geen wondermiddel is; het is een instrument dat alleen werkt als de gebruiker precies weet hoe de instrumenten te ordenen.

De studie vergeleek deze aanpak ook met oudere, meer geavanceerde wiskundige technieken die worden gebruikt in de statistiek. Ze ontdekten dat hoewel de Fibonacci-methode een redelijke, gratis te gebruiken optie was, deze nog steeds ver achterbleef bij de beste mogelijke methoden die geen gewichten vereisen die optellen tot één. Het belangrijkste probleem was niet het Fibonacci-patroon zelf, maar de regel die dwong dat alle gewichten samen een specifiek totaal vormden. Deze regel, die gebruikelijk is in veel machine learning-systemen, werkt als een flessenhals die voorkomt dat het systeem werkelijk optimaal is. De Fibonacci-reeks maakte deze beperking simpelweg zichtbaar door te tonen hoeveel informatie er verloren gaat wanneer je een groep experts dwingt om een vast budget aan aandacht te delen.

In tests met echte gegevens, zoals de stroming van de Nijl, zonnevlekkenactiviteit en oceantemperaturen, bevestigden de resultaten de theorie. Op de gegevens van de zonnevlekken, waar de patronen duidelijk en geordend zijn, verbeterde de Fibonacci-methode de eenvoudige middeling. Maar op de gegevens van de Nijl, waar de patronen minder gestructureerd waren, presteerde de methode slechter dan het simpelweg nemen van een gemiddelde. De onderzoekers ontdekten dat de beste manier om de gewichten in te stellen niet het gebruik van een vast getal zoals de gulden snede was, maar om het dat zelf te laten beslissen via een proces van testen en valideren.

De uiteindelijke conclusie van het werk is een bescheiden maar belangrijke correctie op hoe we over deze systemen denken. De Fibonacci-reeks bevat geen geheim slot tot perfecte machine learning. In plaats daarvan dient het als een duidelijk voorbeeld van hoe een wegingsregel als een filter werkt. Het laat zien dat een dergelijke regel er altijd slechts in staat om op een klein, vast aantal modellen te focussen, ongeacht hoeveel er beschikbaar zijn. De gulden snede, vaak gezien als een symbool van perfecte harmonie in de natuur, blijkt slechts één specifieke instelling onder vele te zijn, en vaak niet eens de beste. De werkelijke waarde van de studie ligt in het aantonen dat de manier waarop we modellen combineren een cruciaal onderdeel is van het proces dat zorgvuldige vormgeving verdient, in plaats van dat het slechts een standaardinstelling is. De beste aanpak is om de structuur van de gegevens te begrijpen en een wegingsmethode te kiezen die bij die structuur past, in plaats van te hopen dat één enkel wiskundig patroon elk probleem zal oplossen.

Technische Samenvatting: Over Fibonacci-ensembles

Probleemstelling
Ensemble learning berust op het aggregeren van imperfecte basis-learners om de voorspellende prestaties te verbeteren. Hoewel methoden zoals bagging en boosting goed gevestigd zijn, wordt de aggregatieregel zelf — de wegingswet die op basis-learners wordt toegepast — zelden expliciet ontworpen. Deze is doorgaans overgenomen (uniform voor bagging), impliciet aanwezig in de verliesfunctie (boosting), of geschat als een nuisance-parameter (stacking). Dit artikel onderzoekt of een specifieke, gestructureerde wegingswet afgeleid van de Fibonacci-reeks kan dienen als een principieel, zonder afstemming (tuning-free) standaardmodel voor ensemble-aggregatie. De kernvraag is of de recursieve architectuur van de Fibonacci-reeks, die groei in de natuur reguleert, een wiskundig optimale strategie biedt voor het combineren van learners, of dat het slechts onbedoelde beperkingen oplegt.

Methodologie
De auteur definieert Fibonacci-weging waarbij basis-learners $h_1, \dots, h_M$ , geordend op toenemende complexiteit, gewichten ontvangen die proportioneel zijn aan Fibonacci-getallen $F_m$ :
$\alpha_m = \frac{F_m}{\sum_{j=1}^M F_j}$
De analyse verloopt via verschillende theoretische en empirische lenzen:

Asymptotische Analyse: Met behulp van de formule van Binet leidt de auteur de asymptotische gedraging van deze gewichten af naarmate $M \to \infty$ , waarbij wordt aangetoond dat ze convergeren naar een geometrische progressie met een ratio van $\phi^{-1}$ (waarbij $\phi$ de gouden ratio is).
Bias-Variant Decompositie: Het risico van het ensemble wordt geanalyseerd onder een orthonormalische basis-aanname. De auteur leidt een exacte crossover-conditie af die bepaalt wanneer geometrische wegingsvormen (inclusief Fibonacci) beter presteren dan uniforme middeling, waarbij een balans wordt gevonden tussen bias-reductie en variant-inflatie.
Recursieve Flow Stabiliteit: Het paper modelleert de constructie van het ensemble als een tweede-orde recursieve flow ( $F_m = \beta F_{m-1} + \gamma F_{m-2} + \Delta F_{m-1}$ ). Met behulp van Schur–Cohn-condities analyseert de auteur de stabiliteit van de klassieke Fibonacci-recursie ( $\beta=1, \gamma=1$ ) en stelt een "gedempte" variant voor die de gouden modus-ratio behoudt terwijl $L_2$ -stabiliteit wordt gegarandeerd.
Vergelijkende Benchmarks: De prestaties van Fibonacci-weging en geometrische wegingsvormen worden vergeleken met:
- Uniforme middeling (standaard baseline).
- Optimale geometrische wegingsvormen (waarbij de ratio $r$ wordt afgestemd).
- Klassieke geordende shrinkage-schatters (Pinsker, Blockwise Stein) die de simplex-restrictie ( $\sum w_m = 1$ ) niet afdwingen.
Experimenten: Computationele experimenten maken gebruik van random Fourier-features en polynomiale woordenboeken op synthetische doelwitten ( $\sin(2\pi x)$ , $\text{sinc}(x)$ ) en real-world tijdreeksen (Nijlrivierstromen, zonnevlekactiviteit, El Niño zee-oppervlaktetemperaturen).

Kernbijdragen en Resultaten

Vaste Effectieve Ensemblegrootte:
Het centrale structurele resultaat is dat genormaliseerde Fibonacci-gewichten een vaste effectieve ensemblegrootte ( $M_{eff}$ ) bezitten, ongeacht het totaal aantal learners $M$ .
$M_{eff} = \left( \sum \alpha_m^2 \right)^{-1} \to \phi^3 = 2 + \sqrt{5} \approx 4.236$
Consequent raadpleegt een Fibonacci-ensemble iets meer dan vier learners, zelfs als er duizenden beschikbaar zijn. Dit impliceert dat Fibonacci-weging niet de $O(1/M)$ variant-afname kan bereiken die kenmerkend is voor bagging. Voor elke $M > \phi^3$ domineert uniforme weging Fibonacci-weging strikt wat betreft variantie.
Bias-reductie als Enige Mechanisme:
Omdat variantie-reductie onmogelijk is, moet elk voordeel van Fibonacci-weging voortkomen uit bias-reductie. Het paper stelt een noodzakelijke en voldoende conditie vast (Theorem 3.1) voor wanneer geometrische wegingsvormen (inclusief Fibonacci) beter presteren dan uniforme middeling: de signaalenergie (coëfficiënten $\theta_m^2$ ) moet geconcentreerd zijn op de indices die de wegingswet bevoordeelt.
- Als het signaal bij lage indices ligt (gladde functies), is de optimale ratio $r < 1$ (het bevoordelen van vroege learners).
- Als het signaal bij hoge indices ligt, is de optimale ratio $r > 1$ .
- De Fibonacci-ratio $\phi \approx 1.618$ komt overeen met $r > 1$ , wat betekent dat het de laatste twee learners (de hoge indices) bevoordeelt. Het paper stelt vast dat $\phi$ zelden de optimale ratio is; in veel experimenten varieert de optimale $r$ tussen 0.20 en 2.20. Cruciaal is dat wanneer de signaalenergie bij lage indices ligt (een veelvoorkomend scenario voor gladde functies), de optimale $r < 1$ is, waardoor Fibonacci-weging (met $r=\phi > 1$ ) suboptimaal is omdat het de "verkeerde kant" van het woordenboek bevoordeelt.
Equivalentie met Geometrische Weging:
De auteur bewijst dat voor $M \ge 20$ , Fibonacci-gewichten numeriek niet te onderscheiden zijn van geometrische gewichten met een ratio $r = \phi$ . Hiermee zijn claims over "Fibonacci"-weging in feite claims over het specifieke getal $\phi$ .
Stabiliteit van Recursieve Flows:
De klassieke Fibonacci-recursie wordt getoond als instabiel in een ensemble-flow context ( $\rho(T) = \phi > 1$ ). De auteur construeert een gedempte Fibonacci-flow die de structurele eigenschap van de modus-ratio ( $\lambda_+ / |\lambda_-| = \phi^2$ ) behoudt terwijl het voldoet aan de Schur–Cohn-stabiliteitscondities ( $\rho(T) < 1$ ).
De Beperking van de Constraint:
Een kritieke bevinding is dat de simplex-restrictie ( $\sum w_m = 1, w_m \ge 0$ ) de primaire flessenhals is voor de prestaties van het ensemble, en niet de specifieke wegingswet.
- Binnen de klasse van convexe aggregatieregels (simplex-beperkt), is de geometrische familie bijna optimaal (binnen 12% van de beste mogelijke simplex-schatter).
- Echter, de gehele klasse van simplex-beperkte schatters is 6 tot 146 keer slechter dan geordende shrinkage-methoden (Pinsker, Blockwise Stein) die de eis $\sum w_m = 1$ niet afdwingen. De restrictie dwingt gewichten om gemiddeld $1/M$ te zijn, wat leidt tot een ernstige onderschatting van signaalcoëfficiënten.
Orde-afhankelijkheid:
Gestructureerde wegingsvormen zijn zeer gevoelig voor de ordening van het woordenboek. Permutatie-studies tonen aan dat het randomiseren van de volgorde van de learners de prestaties met factoren 2.5 tot 15 kan verslechteren. Fibonacci-weging is alleen voordelig wanneer de index van het woordenboek een werkelijke betekenis draagt (bijv. toenemende complexiteit of frequentie).

Betekenis en Claims
Het paper trekt een bescheiden maar precieze conclusie: de Fibonacci-reeks biedt geen "gouden" optimale wegingswet voor ensemble learning.

De Rol van de Gouden Ratio: $\phi$ is geen geprivilegieerde gewicht; eerder vertegenwoordigt $\phi^3$ de exacte bovengrens op het aantal effectieve learners dat een Fibonacci-schema kan gebruiken. Het is een limiet, geen oplossing.
Het Echte Probleem: De wegingswet is een "consequente en grotendeels niet-ontworpen component" van ensemble learning. Het paper betoogt dat de aggregatieregel geschat moet worden vanuit de data (bijv. via cross-validatie), in plaats van te worden aangenomen als uniform of Fibonacci.
Praktische Implicatie: Hoewel Fibonacci-weging een zonder afstemming bruikbare, interpreteerbare standaard is, is het niet universeel optimaal. Het nut ervan hangt volledig af van de bias-variant afweging specifiek voor de ordening van het woordenboek en de spectrale distributie van het signaal. Het paper benadrukt dat het onderscheid maken tussen "predictor-achtige" learners (waar middeling natuurlijk is) en "basis-achtige" learners (waar shrinkage superieur is) belangrijker is dan de keuze voor een specifieke Fibonacci-reeks.

Samenvattend herformuleert het paper het Fibonacci-ensemble niet als een ontdekking van een universele wet, maar als een rigoureuze demonstratie van de grenzen van convexe aggregatie en het cruciale belang van woordenboek-ordening en de selectie van constraints in het ontwerp van ensembles.

Meer zoals dit