FactorEngine: A Program-level Knowledge-Infused Factor Mining Framework for Quantitative Investment

Il paper introduce FactorEngine, un framework di estrazione di fattori quantitativi che combina codice Turing-completo, agenti LLM e una base di conoscenza per generare segnali predittivi eseguibili, auditabili e più stabili rispetto ai metodi esistenti.

L'essenziale

Immagina il mercato azionario come un enorme oceano tempestoso. I trader sono come pescatori che cercano di catturare i "pesci d'oro" (i profitti), ma l'acqua è torbida, piena di onde imprevedibili e il pesce cambia comportamento ogni giorno.

Per anni, i pescatori hanno usato due tipi di reti:

1. Le reti manuali (Fattori Simbolici): Costruite a mano da esperti. Sono precise e facili da capire, ma richiedono anni di lavoro per costruirle e spesso si rompono quando il mare cambia.
2. Le reti magiche (Intelligenza Artificiale "Cassa Nera"): Reti neurali che imparano da sole. Sono potenti, ma nessuno sa come funzionano davvero, e spesso si "ingozzano" di pesce vecchio (dati passati) dimenticando che il mare è cambiato.

Ora, gli autori di questo articolo hanno creato FactorEngine (FE). Ecco come funziona, spiegato con una metafora semplice:

🏭 FactorEngine: La Fabbrica di Idee Intelligente

Immagina che FactorEngine non sia un semplice pescatore, ma una fabbrica di idee automatizzata che ha tre segreti magici per trovare i pesci d'oro:

1. Il "Libro di Ricette" Vivente (Bootstrapping)

Invece di iniziare da zero, la fabbrica legge milioni di rapporti finanziari (come i diari di bordo degli altri pescatori esperti).

• Il trucco: Usa un'intelligenza artificiale (un "chef robot") che legge questi rapporti, ne estrae le idee migliori e le trasforma immediatamente in codice eseguibile (ricette vere e proprie).
• L'analogia: È come se avessi un assistente che legge tutti i libri di cucina del mondo, prende le idee migliori, le scrive su un foglio e le trasforma istantaneamente in un piatto pronto da assaggiare, senza che tu debba cucinare nulla a mano.

2. La Danza tra il "Capo" e il "Tecnico" (Co-evoluzione Macro-Micro)

Qui sta la vera genialità. La fabbrica divide il lavoro in due ruoli distinti per non sprecare tempo:

• Il Capo (LLM - L'Intelligenza Creativa): Si occupa solo delle grandi idee. "Forse dovremmo misurare la velocità del vento invece della temperatura?" oppure "Proviamo a girare la ricetta al contrario!". Non perde tempo a misurare gli ingredienti.
• Il Tecnico (Ottimizzazione Bayesiana): È un robot super-veloce che si occupa solo dei dettagli. Una volta che il Capo ha un'idea, il Tecnico prova migliaia di combinazioni di ingredienti (parametri) in pochi secondi per trovare la dose perfetta.
• Perché è meglio: Prima, un'unica persona (o un'unica IA) doveva sia pensare all'idea che misurare gli ingredienti, perdendo tempo. Qui, il Capo pensa e il Tecnico esegue, rendendo tutto velocissimo.

3. Le Isole degli Esploratori (Multi-Island Evolution)

Immagina di avere due gruppi di esploratori (isole) che cercano il tesoro su due isole diverse.

• Ogni gruppo prova strade diverse.
• Ogni tanto, si scambiano i migliori esploratori trovati. Se un gruppo trova un sentiero segreto, lo condivide con l'altro.
• Il risultato: Si evita di rimanere bloccati in un vicolo cieco (un errore locale) e si esplorano molte più possibilità contemporaneamente.

🏆 I Risultati: Chi vince la gara?

Gli autori hanno fatto una gara contro i migliori pescatori esistenti (metodi tradizionali e altre IA) usando dati reali del mercato cinese (CSI300 e CSI500).

• Chi ha vinto? FactorEngine ha vinto in modo schiacciante.
• Perché?
  • Guadagna di più: Ha generato rendimenti annuali molto più alti (quasi il doppio rispetto ad alcuni concorrenti).
  • È più stabile: Quando il mercato si è calmato o diventato violento, i fattori di FactorEngine hanno continuato a funzionare, mentre gli altri hanno perso molto denaro.
  • È più vario: Ha trovato idee che gli altri non avevano nemmeno considerato, creando un "portafoglio" di strategie molto più ricco e meno ripetitivo.
  • È veloce: Ha bisogno di meno energia di calcolo e meno tempo per trovare queste soluzioni.

In sintesi

FactorEngine è come avere un squadra di geni che legge tutti i libri di finanza, inventa nuove strategie creative, e poi le testa con una velocità sovrumana, imparando dai propri errori e scambiandosi le idee migliori. Non cerca solo di indovinare il futuro, ma costruisce strumenti (fattori) che sono chiari, controllabili e pronti all'uso, superando sia i metodi manuali lenti che le "scatole nere" incomprensibili.

È il passaggio dal "cercare di indovinare" al "costruire un motore che impara a guidare da solo".

Sommario tecnico

1. Il Problema: Estrazione di Fattori Alpha

L'estrazione di fattori "alpha" (la scoperta automatica di segnali predittivi da dati di mercato rumorosi e non stazionari) rimane una sfida centrale nell'investimento quantitativo. Le approcci esistenti presentano limiti significativi:

• Metodi Simbolici: Basati su espressioni matematiche predefinite, offrono interpretabilità ma soffrono di una espressività limitata (spazi di ricerca ristretti) e dipendono fortemente da regole manuali, rendendoli fragili di fronte ai cambiamenti di regime di mercato.
• Metodi Neurali: Le reti neurali catturano pattern non lineari complessi ma spesso mancano di interpretabilità, sono soggette a overfitting e soffrono di scarsa adattabilità.
• Approcci basati su LLM recenti: Sebbene promettenti, spesso integrano male la conoscenza del dominio e soffrono di inefficienza computazionale a causa della sovrapposizione tra la generazione di logica (LLM) e l'ottimizzazione dei parametri (backtesting lento).

L'obiettivo è creare un framework che produca fattori eseguibili, auditabili, interpretabili e che mantenga un'efficienza computazionale scalabile.

2. Metodologia: FactorEngine (FE)

FactorEngine è un framework di scoperta di fattori a livello di programma che tratta i fattori come codice Turing-completo (Python) invece di semplici espressioni simboliche. L'architettura si basa su tre separazioni fondamentali per massimizzare efficienza e performance:

1. Separazione Logica vs. Parametri: La revisione della logica (idee) è affidata agli agenti LLM, mentre l'ottimizzazione dei parametri è gestita da algoritmi locali (Bayesian Search).
2. Separazione della Strategia di Ricerca: Ricerca direzionale guidata da LLM (macro) vs. ricerca iperparametrica automatizzata (micro).
3. Separazione delle Risorse: Uso degli LLM per la generazione del codice e risorse computazionali locali per l'esecuzione massiva del backtesting.

Il sistema opera attraverso tre moduli principali in un ciclo chiuso:

A. Modulo di Bootstrapping (Inizializzazione)

Trasforma la conoscenza non strutturata (report finanziari) in programmi eseguibili.

• Utilizza un sistema multi-agente per estrarre idee dai report, verificare la coerenza logica e generare pseudocodice.
• Un modulo di "Correttore" trasforma il pseudocodice in codice Python eseguibile, riparando errori sintattici (es. attributi mancanti).
• Questo crea un pool iniziale di fattori arricchito da conoscenza di dominio (knowledge-infused).

B. Modulo di Evoluzione (Il Cuore del Sistema)

Implementa un meccanismo di co-evoluzione macro-micro:

• Evoluzione Macro (Logica): Agenti LLM propongono modifiche strutturali al codice (mutazioni macro) basandosi su una "Catena di Esperienza" (Chain of Experience - CoE). La CoE include non solo i successi, ma anche i fallimenti e le traiettorie storiche, permettendo all'LLM di imparare dagli errori e rifinire la logica.
• Evoluzione Micro (Parametri): Una volta definita la logica, un'ottimizzazione Bayesiana (es. TPE, Gaussian Process) regola automaticamente i parametri (es. finestre temporali, fattori di decadimento) senza intervento dell'LLM.
• Selezione e Feedback: I programmi vengono valutati su dati storici. Le metriche di performance (IC, Sharpe) aggiornano i valori dei nodi in una struttura ad albero (simile a MCTS) per guidare la selezione dei candidati più promettenti.
• Isolotti Multipli (Multi-Island): Per evitare la convergenza prematura, il sistema esegue processi di evoluzione indipendenti che scambiano periodicamente i migliori programmi, mantenendo la diversità.

C. Modulo di Integrazione

Seleziona i fattori "élite" dal pool evoluto e li combina in un modello multi-fattore (es. LightGBM) per il backtesting finale, filtrando i candidati in base a metriche composite di fitness (IC, ICIR, Rank IC).

3. Contributi Chiave

1. Framework Iper-euristico a Livello di Programma: Trasforma il mining di fattori in un problema di evoluzione di programmi Turing-completi, permettendo flussi di controllo complessi e logica condizionale non possibili nei metodi simbolici tradizionali.
2. Co-evoluzione Macro-Micro: Decoupling efficace tra la scoperta di idee (LLM) e l'ottimizzazione dei parametri (Bayesian Search), risolvendo il collo di bottiglia computazionale e migliorando la qualità dei fattori.
3. Diversità Arricchita dalla Conoscenza: Un modulo di bootstrapping che converte report finanziari in codice, permettendo al sistema di sfruttare conoscenze economiche esplicite e razionali.
4. Apprendimento dalle Traiettorie: L'uso della "Chain of Experience" che include fallimenti e fluttuazioni temporanee, permettendo agli agenti di recuperare da cali di performance e orientare la ricerca verso direzioni più robuste.

4. Risultati Sperimentali

Il framework è stato testato su dati reali OHLCV (Open, High, Low, Close, Volume) dei mercati CSI300 e CSI500, confrontato con baseline come GPlearn, modelli neurali (LSTM, Transformer), e altri agenti basati su LLM (AlphaAgent, RD-Agent).

• Performance Predittiva: FactorEngine ha superato tutti i baseline. In particolare, la versione FE-report (inizializzata con report finanziari) ha raggiunto un IC (Information Coefficient) di 0.0474 su CSI300 (vs 0.0299 di Alpha158) e un ICIR di 0.3185.
• Performance di Portafoglio: Ha mostrato un rendimento annuale eccessivo (AR) del 18.99% su CSI300, con un drawdown massimo (MDD) ridotto al 12.61%.
• Stabilità: I fattori evoluti da FE hanno mostrato una minore decadenza (alpha decay) nel tempo rispetto agli altri metodi, mantenendo correlazioni positive anche in anni di mercato difficili (es. 2021-2024).
• Diversità: L'analisi tramite MDS ha rivelato che i fattori generati da FE hanno una dispersione spaziale maggiore (minore ridondanza) rispetto ad AlphaAgent e RD-Agent, offrendo segnali alfa più complementari.
• Efficienza: FactorEngine è significativamente più veloce (0.5 ore vs 48 ore di RD-Agent per 200 iterazioni) grazie all'uso di Polars per il calcolo e alla separazione delle risorse LLM/computazionali.

5. Significato e Implicazioni

FactorEngine rappresenta un passo avanti significativo nell'automazione della finanza quantitativa:

• Superamento dei Limiti Simbolici: Dimostra che l'uso di codice Turing-completo, guidato da LLM e ottimizzato localmente, supera i limiti degli spazi di ricerca predefiniti.
• Integrazione Conoscenza-Azione: Colma il divario tra la conoscenza teorica estratta dai report finanziari e la sua implementazione pratica in codice eseguibile.
• Scalabilità e Robustezza: Offre un framework computazionalmente efficiente che scala bene e produce fattori robusti contro i cambiamenti di regime di mercato.
• Generalizzabilità: Essendo un framework di ottimizzazione senza gradienti per spazi di ricerca discreti, la metodologia potrebbe essere applicata ad altri problemi di ottimizzazione "black-box" con valutazioni costose.

In sintesi, FactorEngine combina l'intelligenza semantica degli LLM con la precisione dell'ottimizzazione bayesiana e la potenza del calcolo parallelo, creando un ecosistema per la scoperta di fattori di investimento che è allo stesso tempo potente, interpretabile e scalabile.