📊 statistics

On Fibonacci Ensembles: An Alternative Approach to Ensemble Learning Inspired by the Timeless Architecture of the Golden Ratio

Questo articolo introduce i "Fibonacci Ensembles", un nuovo framework di apprendimento ensemble ispirato alla successione di Fibonacci che utilizza pesi di Fibonacci normalizzati e una dinamica ricorsiva del secondo ordine per ottenere una riduzione sistematica della varianza e una maggiore profondità rappresentativa, dimostrando prestazioni competitive rispetto ai metodi di aggregazione classici in esperimenti di regressione controllati.

Autori originali: Ernest Fokoué

Pubblicato 2026-08-18

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ernest Fokoué

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo dell'informatica moderna, le macchine spesso imparano guardando molti diversi tentativi e poi combinandoli in una singola, migliore risposta. Questo approccio, noto come apprendimento d'insieme (ensemble learning), è come chiedere il parere di un panel di esperti piuttosto che affidarsi a un singolo individuo. Se gli esperti sono diversificati e imperfetti, la loro saggezza combinata può spesso superare quella di un singolo individuo. La sfida per gli scienziati è capire come mescolare queste opinioni. Ogni esperto dovrebbe avere un voto uguale? O alcune voci dovrebbero essere più forti di altre? Per decenni, la pratica standard è stata quella di trattare ogni apprendista allo stesso modo, dando loro lo stesso peso, o lasciare che i dati decidano la miscela attraverso complessi metodi basati su tentativi ed errori. Ma cosa succederebbe se ci fosse una regola naturale, preimpostata, per questa miscelazione che non richiedesse regolazioni e nessuna supposizione?

Un ricercatore del Rochester Institute of Technology ha deciso di testare un'idea molto specifica ispirata alla natura: la sequenza di Fibonacci. Questa è una famosa sequenza numerica presente nelle spirali delle conchiglie e nella disposizione delle foglie, dove ogni numero è la somma dei due precedenti. La domanda era se questo antico ritmo matematico potesse servire come ricetta perfetta per combinare i modelli di machine learning. Il ricercatore si è proposto di vedere se pesare gli esperti secondo questa sequenza avrebbe creato un sistema di previsione più intelligente e stabile rispetto ai metodi usuali. L'indagine ha rivelato una verità sorprendente sui limiti di questo approccio e ha chiarito esattamente quando un tale schema aiuta e quando invece ostacola.

Lo studio è iniziato disponendo una serie di modelli di apprendimento in un ordine specifico, tipicamente dal più semplice al più complesso, e assegnando loro poi dei pesi basati sui numeri di Fibonacci. I modelli più recenti e complessi ricevevano i pesi più grandi, seguendo la crescita della sequenza. I ricercatori hanno poi eseguito migliaoli di simulazioni per vedere come questo metodo si comportasse rispetto al dare a ogni modello un voto uguale. Hanno scoperto un limite netto su quanti modelli questo sistema potesse effettivamente utilizzare. Non importava quanti esperti venissero aggiunti al gruppo, lo schema di pesatura di Fibonacci ascoltava efficacemente solo circa quattro di essi. I pesi per i modelli più vecchi e semplici diventavano così minuscoli da essere praticamente ignorati. Ciò significava che aggiungere più modelli alla miscela non rendeva il sistema più stabile o accurato, che è il principale vantaggio dell'utilizzo di grandi gruppi di apprendisti.

Poiché il sistema ignorava efficacementamente la maggior parte degli esperti disponibili, non riusciva a ridurre gli errori casuali che derivano dall'avere troppo pochi punti dati. Infatti, per qualsiasi gruppo superiore a quattro, il metodo standard di dare a tutti un voto uguale era matematicamente dimostrato essere migliore nel ridurre questi errori casuali. L'unico modo in cui il metodo Fibonacci potesse vincere era se l'ordine dei modelli contasse profondamente. Se i modelli fossero stati disposti in modo che quelli più importanti fossero alla fine della lista, la regola di Fibonacci avrebbe amplificato quelle specifiche voci. Tuttavia, se l'ordine era casuale o non importante, il metodo falliva, performando spesso molto peggio di una semplice media.

I ricercatori hanno anche testato se la famosa sezione aurea, il numero a cui la sequenza di Fibonacci tende, fosse l'impostazione perfetta per questo tipo di pesatura. Hanno confrontato la regola di Fibonacci con una vasta gamma di altri schemi geometrici per vedere quale producesse i risultati più accurati. I risultati sono stati chiari: la sezione aurea non era la scelta migliore. L'impostazione ideale cambiava a seconda del problema specifico e del tipo di dati. A volte il pattern migliore favoriva i modelli più semplici, altre volte favoriva i più complessi. La sezione aurea era raramente la vincitrice, e usarla ciecamente poteva portare a errori molte volte superiori al necessario.

Per capire perché ciò accadeva, il documento ha esaminato la differenza tra due tipi di problemi. In alcuni casi, i dati sono come un insieme di blocchi da costruzione dove è necessario scegliere i giusti pochi per costruire un muro; in questo caso, fare la media di tutto funziona bene. In altri casi, i dati sono come un segnale che svanisce nel tempo, dove le parti iniziali sono forti e le parti successive sono rumore debole. In questi casi di segnale svanente, la regola di Fibonacci era in realtà piuttosto scarsa perché si concentrava naturalmente sugli indici elevati (i modelli complessi) indipendentemente da dove si trovasse l'energia del segnale reale. Se l'informazione importante era concentrata nei primi modelli più semplici, la regola di Fibonacci aumentava il peso esattamente alla parte sbagliata dello spettro. Ma questo funzionava solo se i modelli erano disposti nell'ordine corretto. Quando i ricercatori hanno rimescolato l'ordine dei modelli casualmente, le prestazioni del metodo Fibonacci sono crollate, oscillando selvaggiamente tra l'essere molto buone e molto scarse. Ciò ha dimostato che il metodo non è una soluzione magica; è uno strumento che funziona solo se l'utente sa esattamente come disporre gli strumenti.

Lo studio ha anche confrontato questo approccio con tecniche matematiche più sofisticate utilizzate in statistica. Hanno scoperto che, sebbene il metodo Fibonacci fosse un'opzione decente e gratuita, era ancora lontano dai migliori metodi che non richiedono che i pesi sommino a uno. Il problema principale non era il pattern di Fibonacci in sé, ma la regola che costringeva tutti i pesi a sommare a un totale specifico. Questa regola, comune in molti sistemi di machine learning, agisce come un collo di bottiglia che impedisce al sistema di essere veramente ottimale. La sequenza di Fibonacci ha semplicemente evidenziato questo limite mostrando quanta informazione viene persa quando si costringe un gruppo di esperti a condividere un budget fisso di attenzione.

Nei test utilizzando dati del mondo reale, come il flusso del fiume Nilo, l'attività delle macchie solari e le temperature oceaniche, i risultati hanno confermato la teoria. Sui dati delle macchie solari, dove i pattern sono chiari e ordinati, il metodo Fibonacci ha migliorato la semplice media. Ma sui dati del Nilo, dove i pattern erano meno strutturati, il metodo ha performato peggio di una semplice media. I ricercatori hanno scoperto che il modo migliore per impostare i pesi non era usare un numero fisso come la sezione aurea, ma lasciare che i dati stessi decidessero la giusta miscela attraverso un processo di test e validazione.

La conclusione finale del lavoro è una correzione modesta ma importante al modo in cui pensiamo a questi sistemi. La sequenza di Fibonacci non detiene una chiave segreta per un machine learning perfetto. Invece, funge da chiaro esempio di come una regola di pesatura agisca come un filtro. Dimostra che tale regola può solo concentrarsi su un piccolo numero fisso di modelli, indipendentemente da quanti ne siano disponibili. La sezione aurea, spesso vista come un simbolo di perfetta armonia nella natura, si rivela essere solo un'impostazione specifica tra molte altre, e spesso non la migliore. Il vero valore dello studio è mostrare che il modo in cui combiniamo i modelli è una parte critica del processo che merita una progettazione attenta, piuttosto che essere considerato un'impostazione predefinita. Il modo migliore è comprendere la struttura dei dati e scegliere un metodo di pesatura che si adatti a quella struttura, invece di sperare che un singolo pattern matematico risolva ogni problema.

Sintesi Tecnica: Sulle Ensemble di Fibonacci

Definizione del Problema
L'apprendimento ensemble si basa sull'aggregazione di apprendisti base (base learners) imperfetti per migliorare le prestazioni predittive. Sebbene metodi come il bagging e il boosting siano ben consolidati, la regola di aggregazione stessa — la legge di ponderazione applicata agli apprendisti base — viene raramente progettata esplicitamente. Essa è tipicamente ereditata (uniforme per il bagging), implicita nella funzione di perdita (boosting), o stimata come un parametro di disturbo (stacking). Questo articolo investiga se una specifica e strutturata legge di ponderazione derivata dalla successione di Fibonacci possa servire come un principio di default non parametrico per l'aggregazione di ensemble. La domanda centrale è se l'architettura ricorsiva della successione di Fibonacci, che governa la crescita in natura, offra una strategia matematicamente ottimale per combinare gli apprendisti, o se imponga semplicemente vincoli non intenzionali.

Metodologia
L'autore definisce la ponderazione di Fibonacci dove gli apprendisti base $h_1, \dots, h_M$ , ordinati per crescente complessità, ricevono pesi proporzionali ai numeri di Fibonacci $F_m$ :
$\alpha_m = \frac{F_m}{\sum_{j=1}^M F_j}$
L'analisi procede attraverso diverse lenti teoriche ed empiriche:

Analisi Asintotica: Utilizzando la formula di Binet, l'autore deriva il comportamento asintotico di questi pesi al tendere di $M \to \infty$ , mostrando che convergono a una progressione geometrica con rapporto $\phi^{-1}$ (dove $\phi$ è la sezione aurea).
Decomposizione Bias-Varianza: Il rischio dell'ensemble viene analizzato sotto l'ipotesi di una base ortonormale. L'autore deriva una condizione di crossover esatta che determina quando la ponderazione geometrica (inclusa quella di Fibonacci) supera la media uniforme, bilanciando la riduzione del bias contro l'inflazione della varianza.
Stabilità del Flusso Ricorsivo: L'articolo modella la costruzione dell'ensemble come un flusso ricorsivo del secondo ordine ( $F_m = \beta F_{m-1} + \gamma F_{m-2} + \Delta F_{m-1}$ ). Utilizzando le condizioni di Schur–Cohn, l'autore analizza la stabilità della classica ricorsione di Fibonacci ( $\beta=1, \gamma=1$ ) e propone una variante "smorzata" che preserva il rapporto del modo aureo garantendo al contempo la stabilità $L_2$ .
Benchmark Comparativi: Le prestazioni della ponderazione di Fibonacci e geometrica vengono confrontate con:
- Media uniforme (baseline standard).
- Ponderazione geometrica ottimale (dove il rapporto $r$ è calibrato).
- Classici stimatori di contrazione ordinata (Pinsker, Blockwise Stein) che non impongono il vincolo del simplesso ( $\sum w_m = 1$ ).
Esperimenti: Esperimenti computazionali utilizzano funzioni di Fourier casuali e dizionari polinomiali su target sintetici ( $\sin(2\pi x)$ , $\text{sinc}(x)$ ) e serie temporali reali (portate del fiume Nilo, attività delle macchie solari, temperature della superficie oceanica di El Niño).

Contributi Chiave e Risultati

Dimensione Effettiva dell'Ensemble Fissa:
Il risultato strutturale centrale è che i pesi normalizzati di Fibonacci possiedono una dimensione effettiva dell'ensemble fissa ( $M_{eff}$ ) indipendentemente dal numero totale di apprendisti $M$ .
$M_{eff} = \left( \sum \alpha_m^2 \right)^{-1} \to \phi^3 = 2 + \sqrt{5} \approx 4.236$
Di conseguenza, le ensemble di Fibonacci consultano poco più di quattro apprendisti, anche se ne sono disponibili migliaia. Ciò implica che la ponderazione di Fibonacci non può raggiungere il decadimento della varianza $O(1/M)$ caratteristico del bagging. Per qualsiasi $M > \phi^3$ , la ponderazione uniforme domina strettamente la ponderazione di Fibonacci in termini di varianza.
Riduzione del Bias come Unico Meccanismo:
Poiché la riduzione della varianza è impossibile, qualsiasi vantaggio della ponderazione di Fibonacci deve derivare dalla riduzione del bias. L'articolo stabilisce una condizione necessaria e sufficiente (Teorema 3.1) affinché la ponderazione geometrica superi la media uniforme: l'energia del segnale (coefficienti $\theta_m^2$ ) deve essere concentrata sugli indici che la legge di ponderazione valorizza maggiormente.
- Se il segnale si trova a bassi indici (funzioni lisce), il rapporto ottimale è $r < 1$ (valorizzazione degli apprendisti iniziali).
- Se il segnale si trova ad alti indici, $r > 1$ .
- Il rapporto di Fibonacci $\phi \approx 1.618$ corrisponde a $r > 1$ , il che significa che valorizza maggiormente gli ultimi due apprendisti (gli indici elevati). L'articolo trova che $\phi$ è raramente il rapporto ottimale; in molti esperimenti, l'ottimale $r$ varia tra 0.20 e 2.20. Crucialmente, quando l'energia del segnale risiede a bassi indici (uno scenario comune per funzioni lisce), l'ottimale è $r < 1$ , rendendo la ponderazione di Fibonacci (con $r=\phi > 1$ ) subottimale perché valorizza la "parte sbagliata" del dizionario.
Equivalenza alla Ponderazione Geometrica:
L'autore dimostra che per $M \ge 20$ , i pesi di Fibonacci sono numericamente indistinguibili dai pesi geometrici con rapporto $r = \phi$ . Pertanto, le affermazioni sulla ponderazione "di Fibonacci" sono effettivamente affermazenze sulla specifica costante $\phi$ .
Stabilità dei Flussi Ricorsivi:
La classica ricorsione di Fibonacci è mostrata essere instabile in un contesto di flusso di ensemble ( $\rho(T) = \phi > 1$ ). L'autore costruisce un flusso di Fibonacci smorzato che mantiene la proprietà strutturale del rapporto del modo ( $\lambda_+ / |\lambda_-| = \phi^2$ ) pur soddisfacendo le condizioni di stabilità di Schur–Cohn ( $\rho(T) < 1$ ).
Il Limite del Vincolo:
Un risultato critico è che il vincolo del simplesso ( $\sum w_m = 1, w_m \ge 0$ ) è il collo di bottiglia primario nelle prestazioni dell'ensemble, non la specifica legge di ponderazione.
- All'interno della classe di regole di aggregazione convesse (vincolate al simplesso), la famiglia geometrica è quasi ottimale (entro il 12% del miglior stimatore del simplesso possibile).
- Tuttavia, l'intera classe di stimatori vincolati al simplesso è da 6 a 146 volte peggiore dei metodi di contrazione ordinata (Pinsker, Blockwise Stein) che non impongono $\sum w_m = 1$ . Il vincolo forza i pesi a una media di $1/M$ , causando una grave sottostima dei coefficienti del segnale.
Dipendenza dall'Ordine:
La ponderazione strutturata è altamente sensibile all'ordine del dizionario. Gli studi di permutazione mostrano che randomizzare l'ordine degli apprendisti può degradare le prestazioni di fattori compresi tra 2.5 e 15. La ponderazione di Fibonacci è vantaggiosa solo quando l'indice del dizionario porta un significato genuino (ad esempio, complessità o frequenza crescente).

Significato e Rivendicazioni
L'articolo giunge a una conclusione modesta ma precisa: la successione di Fibonacci non fornisce una legge di ponderazione "aurea" ottimale per l'apprendimento ensemble.

Il Ruolo della Sezione Aurea: $\phi$ non è un peso privilegiato; piuttosto, $\phi^3$ rappresenta il limite esatto sulla dimensione effettiva degli apprendisti che uno schema di Fibonacci può utilizzare. È un limite, non una soluzione.
Il Problema Reale: La legge di ponderazione è una "componente consequenziale e in gran parte non progettata" dell'apprendimento ensemble. L'articolo sostiene che la regola di aggregazione dovrebbe essere stimata dai dati (ad esempio, tramite cross-validazione) piuttosto che essere assunta come uniforme o di Fibonacci.
Implicazione Pratica: Sebbene la ponderazione di Fibonacci sia un default interpretabile e privo di calibrazione, non è universalmente ottimale. La sua utilità dipende interamente dal compromesso bias-varianza specifico dell'ordine del dizionario e della distribuzione spettrale del segnale. L'articolo sottolinea che distinguere tra apprendisti di tipo "predittore" (dove la media è naturale) e di tipo "base" (dove la contrazione è superiore) è più importante della scelta di una specifica sequenza di ponderazione.

In sintesi, l'articolo inquadra l'ensemble di Fibonacci non come la scoperta di una legge universale, ma come una dimostrazione rigorosa dei limiti dell'aggregazione convessa e dell'importanza critica dell'ordine del dizionario e della selezione dei vincoli nel design degli ensemble.

Articoli simili