Indistinguishable from Chance: Auditing LLM-Generated Trading Strategies Against Exposure-Matched Nulls

Nel mondo degli investimenti, la competenza più preziosa è sapere quando comprare e quando vendere. Questo si chiama market timing. Per decenni, gli investitori hanno cercato di costruire macchine in grado di prevedere questi momenti meglio di un essere umano, sperando di trasformare piccoli vantaggi in grandi profitti. L'ultimo strumento in questa ricerca è il grande modello linguistico, un tipo di intelligenza artificiale capace di scrivere codice informatico complesso e di spiegare la propria logica in frasi fluide. A questi modelli può essere chiesto di progettare una strategia di trading, scrivere il codice per eseguirla e persino produrre un rapporto che mostri quanto denaro avrebbe guadagnato in passato. La promessa è che chiunque, da un gestore di fondi professionista a un individuo curioso, potrebbe chiedere a un computer un piano vincente e ricevere una soluzione completa e pronta all'uso. Ma esiste un problema profondo e ben noto nel guardare al passato per predire il futuro. Una strategia può apparire brillante sulla carta semplicemente perché ha casualmente coinciso con schemi casuali nei dati, un errore noto come overfitting. Quando una strategia viene costruita da una macchina che non ha mai visto il mondo reale, il rischio è che non stia trovando un modello nascosto, ma stia semplicemente imitando la forma del rumore.

Un team di ricercatori si è posto l'obiettivo di testare se questi modelli di intelligenza artificiale possiedano effettivamente una qualche competenza nel prevedere il mercato, o se i loro impressionanti rapporti siano solo un'illusione convincente. Non hanno semplicemente chiesto ai modelli di scrivere codice; hanno costruito un rigoroso terreno di prova per vedere cosa accadeva quando quel codice incontrava dati di mercato reali. I ricercatori hanno chiesto a cinque diversi modelli di IA di creare strategie di trading per tre asset principali: l'indice azionario S&P 500, i futures sull'oro e la coppia di valute euro e dollaro statunitense. I modelli hanno generato quasi duecento strategie distinte, ognuna con il proprio insieme di regole su quando comprare e quando vendere. Per garantire che il test fosse equo, i ricercatori hanno eseguito ogni singola strategia in un ambiente digitale controllato che addebitava una piccola commissione per ogni operazione, imitando i costi reali di fare impresa. Hanno poi confrontato i risultati di questi piani generati dall'IA con un semplice benchmark: acquistare un asset e mantenerlo senza mai venderlo. Hanno anche confrontato le strategie dell'IA con un gruppo di controllo intelligente. Per ogni strategia dell'IA, hanno creato una versione "nulla" prendendo esattamente gli stessi periodi di tempo in cui l'IA decideva di mantenere una posizione, ma rimescolando tali periodi in modo casuale. Questo test ha rimosso la presunta capacità dell'IA di scegliere il momento giusto, lasciando solo il fatto che stava mantenendo l'asset per un certo periodo di tempo. Se l'IA fosse stata davvero abile, avrebbe dovuto superare questa versione rimescolata.

I risultati sono stati netti e coerenti. In tutto il campo, le strategie generate dall'intelligenza artificiale non sono riuscite a battere la semplice azione di mantenere l'asset. In media, le strategie dell'IA hanno perso denaro, fornendo una metrica di performance nota come rapporto di Sharpe negativa. Ciò significa che, dopo aver considerato il rischio assunto e i costi di negoziazione, l'investitore medio sarebbe stato meglio a non fare nulla piuttosto che seguire il consiglio dell'IA. Solo una minuscola frazione delle strategie, meno dell'otto per cento, è riuscita a superare l'approccio del buy-and-hold. Quando i ricercatori hanno approfondito l'analisi, hanno scoperto che i modelli di IA non stavano trovando alcuna abilità nascosta di timing. Le strategie non si sono comportate meglio delle versioni rimescolate e casuali di se stesse. In effetti, le strategie dell'IA erano statisticamente indistinguibili dal caso. Le poche volte in cui una strategia sembrava andare bene, non era perché il modello avesse imparato a prevedere il mercato, ma perché la strategia capitava di detenere l'asset più spesso quando il mercato era in rialzo. Questo è un bias verso l'essere "long", ovvero il possesso dell'asset, piuttosto che una competenza nello scegliere il momento giusto. Quando i ricercatori hanno rimosso questo bias confrontando le strategie con le loro controparti rimescolate, l'illusione della competenza è svanita completamente.

Forse la parte più rivelatrice dello studio è avvenuta quando i ricercatori hanno chiesto ai modelli di fare qualcosa che non possono effettivamente fare: eseguire un backtest e riportare i risultati senza che gli venissero forniti i dati. Ai modelli è stato chiesto di scrivere una strategia, calcolare la sua performance e comunicare all'utente i numeri finali. Nessuno dei modelli è stato in grado di farlo, perché non hanno la capacità di eseguire codice e analizzare numeri in tempo reale. Invece, hanno prodotto una simulazione di un rapporto. Alcuni modelli hanno stampato uno script che sembrava destinato a calcolare i numeri se qualcun altro lo avesse eseguito. Altri hanno semplicemente enunciato regole generali su cosa costituisca un buon risultato. Alcuni modelli sono andati oltre, fabbricando numeri specifici, presentando un blocco di testo che sembrava un rapporto completato ma che era interamente inventato. Questo comportamento evidenzia un divario pericoloso tra l'apparenza di competenza e la realtà della capacità. I modelli sono fluidi nel linguaggio della finanza e possono imitare la struttura di un'analisi professionale, ma non possono generare l'evidenza che tale analisi richiede.

Lo studio ha anche esaminato se l'utilizzo di un modello più grande e potente o la richiesta di una strategia più robusta cambiasse l'esito. Non è successo. Sebbene i modelli più grandi scrivessero codice più propenso a girare senza errori, e che prompt specifici cambiassero la frequenza con cui una strategia detiene un asset, nessuno dei due fattori ha migliorato la capacità di prevedere il mercato. I miglioramenti riguardavano esclusivamente l'esposizione, ovvero quanto tempo la strategia trascorreva nel mercato, e non la qualità delle decisioni prese. I ricercatori hanno anche scoperto che il loro processo di test doveva essere costantemente controllato per errori. In un caso, un errore di dati nel loro sistema aveva fatto apparire una strategia casuale come una vincitrice, un errore che è stato colto solo perché avevano inserito controlli per verificare il proprio lavoro. Questo auto-audit ha rafforzato la lezione centrale: un risultato che appare plausibile non è un risultato corretto finché non è stato verificato rispetto a uno standard che dimostri che il test possa effettivamente trovare un vincitore, se uno esiste.

Per l'investitore, il messaggio è chiaro. I modelli di intelligenza artificiale non sono attualmente capaci di generare strategie di trading che contengano una reale competenza. Producono strategie che sembrano complete e sicure di sé, ma quando testate contro dati reali, non si comportano meglio del caso, e spesso peggio del semplice mantenimento di un asset. I rapporti che generano, pieni di numeri specifici e grafici di performance, sono ipotesi, non prove. Finché una strategia non viene rieseguita su dati documentati e confrontata con un benchmark equo che tenga conto di quanto tempo trascorre nel mercato, deve essere considerata non provata. Il costo del ricorso a questi strumenti non è solo una mancata opportunità di battere il mercato, ma il potenziale rischio di perdere i rendimenti costanti che derivano dall'investimento passivo. I modelli hanno padroneggiato l'arte di sembrare esperti, ma non hanno ancora imparato come esserlo.