💰 quantitative finance

CLQT: A Closed-Loop, Cost-Aware, Strategy-Consistent Benchmark for Diagnostic Evaluation of LLM Portfolio-Management Agents

Il documento introduce CLQT, un benchmark a ciclo chiuso, consapevole dei costi e coerente con la strategia che sposta la valutazione degli agenti di gestione di portafoglio basati su LLM da un semplice ranking basato sui rendimenti a un framework diagnostico capace di isolare specifici fallimenti del ragionamento e misurare competenze durevoli attraverso un ciclo di trading verificabile e multistadio.

Autori originali: Bo Qu, Mingguang Chen

Pubblicato 2026-06-30

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Bo Qu, Mingguang Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assumere un team di robot consulenti finanziari per gestire i tuoi soldi. In passato, le persone testavano questi robot ponendo loro domande semplici come: "Qual è il prezzo del titolo Apple?" o vedendo chi guadagnava di più in un singolo trimestre.

Gli autori di questo articolo sostengono che questi vecchi test siano difettosi. Sono come giudicare uno chef esclusivamente in base alle calorie del suo piatto, senza assaggiarlo o controllare se abbia effettivamente seguito la ricetta. Un robot potrebbe guadagnare molto solo perché il mercato è salito in quel giorno, non perché sia davvero intelligente. Oppure, potrebbe imbrogliare "sbirciando" le notizie di domani.

Questo articolo introduce CLQT, un nuovo modo per testare questi agenti IA. Pensa a CLQT non come a una gara per vedere chi vince, ma come a uno strumento di diagnostica medica per l'IA. Invece di dare a un robot un singolo punteggio (come "Medaglia d'Oro"), gli fornisce un rapporto sanitario dettagliato con cinque parametri vitali specifici.

Ecco come funziona CLQT, utilizzando analogie semplici:

1. La regola del "Niente Imbrogli" (Il Cancello Temporale)

Immagina un test in cui agli studenti è permesso guardare la chiave delle risposte prima che l'esame inizi. È ciò che molti vecchi test facevano con l'IA; accidentalmente lasciavano che l'IA vedesse i dati futuri.
CLQT ha un rigoroso "Cancello Temporale" (Time Gate). È come un guardiano della sicurezza che controlla l'orologio. L'IA è autorizzata a usare solo le informazioni che esistevano prima di prendere la sua decisione. Se prova a sbirciare i prezzi delle azioni di domani, il test fallisce immediatamente. Questo assicura che l'IA stia effettivamente pensando, non stia solo ricordando.

2. Il controllo sanitario in cinque parti (La Scheda di Valutazione)

Invece di chiedere "Quanti soldi hai guadagnato?", CLQT pone cinque domande più profonde. Assegna all'IA un punteggio da 0 a 100 su ciascuna di esse:

Coerenza (Il test dello "Storyteller"): L'azione dell'IA corrisponde alla sua storia?
- Analogia: Immagina un conducente che dice: "Guiderò lentamente perché sta piovendo", ma poi schiaccia l'acceleratore. CLQT controlla se il ragionamento dell'IA corrisponde ai suoi scambi effettivi. L'articolo ha scoperto che molte IA raccontano una bellissima storia ma fanno qualcosa di completamente diverso.
Acuità (Il test del "Focus"): L'IA sa ignorare il rumore?
- Analogia: Immagina di cercare di ascoltare un amico che parla in uno stadio rumoroso e caotico. Alcune IA si distraggono con ogni rumore forte (salti di prezzo casuali) e dimenticano il segnale importante (trend reali). CLQT misura se l'IA riesce a concentrarsi sulle cose giuste.
Compostezza (Il test della "Calma"): L'IA va nel panico quando le cose si fanno instabili?
- Analogia: Quando il mercato azionario scende improvvisamente, un investitore calmo resta costante. Uno in panico vende tutto in modo frenetico. CLQT controlla se l'IA reagisce eccessivamente a piccoli sobbalzi o se rimane disciplinata.
Disciplina (Il test del "Seguace di Regole"): L'IA segue il piano?
- Analogia: Se dici a un robot "Compra solo magliette blu" e lui compra una rossa, manca di disciplina. CLQT controlla se l'IA rispetta le proprie regole e i propri limiti di budget senza bisogno che un essere umano gli urli contro.
Affidabilità (Il test della "Resistenza"): Il robot completa effettivamente il lavoro?
- Analogia: Alcuni robot iniziano un compito, si confondono, crashano o si arrendono a metà strada. CLQT conta quante volte l'IA completa con successo il suo intero ciclo di pensiero e azione senza interrompersi.

3. L'esperimento delle "Due Modalità"

I ricercatori hanno testato le IA in due diverse modalità di "personalità":

Modalità Strutturata: L'IA agisce come un comitato rigoroso. Deve seguire una checklist passo dopo passo (come la lista di controllo pre-volo di un pilota).
Modalità Autonoma: All'IA viene data piena libertà di fare ciò che ritiene migliore, senza alcuna checklist.

La scoperta sorprendente:
L'articolo ha scoperto che la "libertà" non rende sempre l'IA più intelligente.

Alcune IA (come quella chiamata DeepSeek) sono state terribili quando dotate di totale libertà, ma sono diventate eccellenti quando costrette a seguire una checklist.
Altre IA (come Claude) hanno in realtà performato meglio quando avevano totale libertà.
La lezione: Non puoi semplicemente dire "l'IA è buona" o "l'IA è cattiva". Devi sapere quale IA funziona meglio con quale stile di gestione.

4. "Mondo Reale" vs "Simulazione"

L'articolo ha eseguito una simulazione per un anno e anche un test "live" per due settimane utilizzando un broker reale (ma con soldi finti).

Il risultato: Il "controllo sanitario" ha funzionato perfettamente in entrambi i casi. Anche se l'IA non aveva mai visto i dati live prima d'ora, il test riusciva comunque a dirti se era calma, concentrata o affidabile.
Il "Gap": L'articolo ha trovato un divario costante tra ciò che l'IA diceva di voler fare e ciò che effettivamente faceva. Anche nel test live, le azioni dell'IA spesso non corrispondevano al suo ragionamento. Ciò suggerisce che l'IA è brava a "parlarne" ma a volte fatica a "farlo".

5. Perché questo è importante (La "Mappa" vs La "Classifica")

Gli autori dicono: "Smettetela di guardare la classifica."
I vecchi test cercavano di classificare le IA da 1 a 10. Questo articolo afferma che è inutile perché il mercato cambia. Un'IA che vince oggi potrebbe perdere domani.

Invece, CLQT fornisce una mappa dei limiti.

Ti dice: "Questa IA è ottima nel mantenere la calma ma scarsa nel seguire le regole."
Ti dice: "Questa IA è intelligente ma crasha se non le viene dato abbastanza tempo per pensare."

Riassunto

CLQT è un nuovo modo rigoroso per testare gli investitori IA. Impedisce loro di imbrogliare, li costringe a spiegare il proprio ragionamento e fornisce loro una scheda di valutazione dettagliata sulla personalità e sulle abitudini. Dimostra che fare soldi in una simulazione non significa che un'IA sia davvero intelligente; potrebbe essere solo fortunata. Il vero valore non è trovare il "vincitore", ma capire esattamente dove ogni IA è forte e dove è probabile che fallisca.

Riepilogo Tecnico: CLQT – Un Benchmark a Ciclo Chiuso, Consapevole dei Costi e Coerente con la Strategia per la Valutazione Diagnostica di Agenti LLM per la Gestione di Portafogli

1. Definizione del Problema

I benchmark attuali per gli agenti basati su Large Language Models (LLM) in ambito finanziario si sono spostati dalle risposte statiche a domande al trading sequenziale. Tuttavia, il paradigma di valutazione prevalente si basa su leaderboard che classificano gli agenti in base ai rendimenti (es. Sharpe ratio, rendimento cumulativo) su finestre temporali fisse. Gli autori sostengono che questo approccio sia fondamentalmente errato per la ricerca perché:

Dominanza del Mercato: I rendimenti sono spesso dominati dal percorso di mercato realizzato e dal profilo di rischio piuttosto che dalla qualità del ragionamento dell'agente.
Leakage e Alpha: L'apparentemente presente "alpha" spesso si dissolve quando viene controllato il leakage dei dati con sguardo in avanti (look-ahead), lasciando quasi esclusivamente un'esposizione passiva ai fattori.
Diagnosi Incompleta: Un singolo punteggio non certifica né la solidità del ragionamento, né la coerenza della strategia, né la durabilità di un vantaggio competitivo.
Infrastruttura Mancante: I benchmark esistenti non riescono a imporre simultaneamente la semantica dei dati point-in-time (PiT), modellare i costi realistici di transazione/finanziamento, valutare le decisioni a livello di portafoglio, misurare la coerenza della strategia tra i round, accumulare memoria strutturata e trattare l'orchestrazione degli strumenti come una capacità misurabile.

Il documento sostiene che il contributo duraturo di un benchmark non debba essere una classifica, ma uno strumento diagnostico che localizzi dove e perché il processo decisionale di un agente ha successo o fallisce.

2. Metodologia e Design del Sistema

2.1 Architettura Core: Il Ciclo Chiuso

CLQT è un ambiente a ciclo chiuso, consapevole dei costi e temporalmente vincolato. Opera su un ciclo a cinque fasi (raccolta, sintesi, costruzione, esecuzione, riflessione) seguendo la tradizione ragiona–agisci–rifletti:

Acquisizione dell'Intelligenza (IA): Raccoglie dati di mercato, notizie, macroeconomia e classi di attività.
Sintesi del Segnale Multi-Fonte (MSS): Produce segnali, valutazioni del rischio e decomposizioni dei fattori.
Costruzione del Portafoglio Consapevole del Mandato (MAPC): Propone e valida le allocazioni target rispetto ai mandati di investimento.
Esecuzione degli Ordini Ottimale per i Costi (COE): Genera ed esegue ordini con strategie di minimizzazione dei costi.
Attribuzione ed Estrazione delle Lezioni (ALE): Attribuisce le performance, estrae lezioni strutturate e aggiorna la memoria.

Il sistema supporta due Modalità di Skill:

Strutturata: Un comitato di sei agenti (Ricerca, Analista, PM, Risk Officer, Esecuzione, Riflessione) con sottoinsiemi di strumenti ristretti e workflow prescritti.
Autonoma: Un singolo agente che possiede l'intero pipeline con accesso completo agli strumenti e autonomia decisionale.

2.2 Sei Pilastri del Design

Hard TimeGate: Impone la semantica dei dati point-in-time. Non è permesso alcun accesso ai dati se timestamp > as_of_ts. Questo tratta il leakage come un precondizione fallita.
Modellazione dei Costi Istituzionali: Traccia il PnL a livello di posizione con base di costo media ponderata, costi di finanziamento giornalieri e quattro modelli di impatto sul mercato selezionabili (fisso, radice quadrata, Almgren–Chriss, strutturale).
Scoring della Coerenza della Strategia: Calcola un ConsistencyScore per ogni round basato su deriva dello stile, coerenza del turnover, aderenza al segnale e allineamento al mandato.
Memoria a Tre Livelli:
- Lavorativa: Osservazione corrente + round recenti.
- Episodica: Record evento-azione-risultato con decadimento.
- Semantica: Pattern cross-asset generalizzati.
- Include un passaggio di consolidamento per fondere i record e meccanismi di decadimento per simulare l'oblio.
Livello Strumentale Model-Context-Protocol (MCP): Gli agenti interagiscono tramite 19 strumenti quantitativi tipizzati (dati di mercato, strumenti quant, news, esecuzione). Ogni chiamata allo strumento è hashata, temporizzata e verificabile.
Sintesi Consapevole del Mandato: Un pipeline che riconcilia le proposte dell'ottimizzatore quantitativo con i sovrapposti tattici dell'agente, soggetto a vincoli e alla validazione del Risk Officer.

2.3 Integrità dei Dati e Tracciabilità (Audit Trail)

Catena di Hash a prova di manomissione: Ogni round emette un DecisionRound sigillato in una catena di hash. L'hash dell'osservazione e l'hash dell'azione sono collegati all'hash dell'azione del round precedente. Qualsiasi modifica post-hoc rompe la catena, consentendo la verifica da parte di terzi senza strumentazione aggiuntiva.
Controllo della Contaminazione: Utilizza i cutoff di addestramento dei modelli per filtrare le finestre di backtest e un track di broker live per la validazione dei dati post-cutoff.

3. Framework di Valutazione: Lo Scorecard a Cinque Assi (APM-CS)

Invece di un singolo metrica di rendimento, CLQT calcola uno scorecard di capacità a cinque assi derivato interamente dall'audit trail:

Coerenza (Coherence): Misura se l'allocazione scelta deriva dall'analisi dichiarata dall'agente.
- Metrica: 50% Accordo Segnale-Azione (match della direzione) + 50% Punteggio del Giudice LLM esterno (coerenza del ragionamento).
- Innovazione: Utilizza un LLM con capacità di ragionamento non-cohort (minimax-m3) come giudice per contrastare il bias di auto-preferenza.
Acuità (Acuity): Misura l'attenzione verso segnali informativi rispetto al rumore.
- Metrica: Correlazione tra le operazioni proposte e un composito informativo (momentum, earnings, macro) meno la correlazione con un distruttore di rumore della volatilità.
Compostezza (Composure): Misura la robustezza alla volatilità (evitando il churn).
- Metrica: Regressione del turnover rispetto alla volatilità del mercato (una pendenza minore è migliore) combinata con la coerenza della strategia.
Disciplina (Discipline): Misura l'autoregolazione rispetto ai mandati senza guardrail rigidi.
- Metrica: Tasso di round auto-vincolati rispetto alla dipendenza dal clipper MAPC.
Affidabilità (Reliability): Misura l'aderenza al protocollo e la robustezza operativa.
- Metrica: Tasso di completamento, tasso di fallimento del parsing e tasso di troncamento.

Aggregazione: Ogni asse è mappato su un percentile di coorte. Il composito APM-CS è la media di questi cinque percentili. Un agente "superiore" è definito come uno che mostra un dominio costante attraverso assi e sotto-periodi, un traguardo raramente raggiunto pulitamente.

4. Risultati Principali

4.1 Configurazione della Campagna

Coorte: 5 modelli (Qwen, Gemini, DeepSeek, GPT-5, Claude) in modalità Structured e Autonomous.
Durata: 26 round bi-settimanali (1 anno) per il backtest; 9 giorni per il paper trading con broker live.
Ablazione: 13 configurazioni incluse rimozioni di singoli moduli o cluster multi-modulo.

4.2 Risultati Primari

Capacità $\neq$ Risultato: Il "vincitore dello Sharpe" (Qwen-structured, Sharpe 9.82) è stato esposto come un artefatto di 5 round con un punteggio di Affidabilità di 0.19 (dovuto a troncamenti e limitazioni di frequenza). Il vero leader di capacità (DeepSeek-structured, APM-CS 72.4) aveva uno Sharpe di fascia media (2.96) ma un profilo bilanciato.
Effetti dello Scaffold: Le modalità Structured hanno generalmente migliorato i profili di capacità (specialmente Compostezza e Disciplina), ma l'entità varia per modello (es. DeepSeek ha visto un incremento di +36 APM-CS; GPT-5 un incremento di +1).
Deficit Nascosti:
- Affidabilità: Gemini-structured aveva un'Affidabilità di 0.61 nonostante uno Sharpe sano, a causa di persistenti fallimenti di parsing dello schema.
- Acuità: L'Acuità dell'intera coorte era debole (0.06–0.18), indicando che gli agenti faticavano a distinguere i segnali alpha dal rumore.
- Gap di Coerenza: Esiste un gap sistematico tra l'accordo meccanico segnale-azione (~~0.6) e il punteggio del giudice del ragionamento (~~0.28). Questo gap è persistito sia nel backtest che nei dati live (+0.33 vs +0.34), suggerendo un deficit fondamentale nel tradurre la conoscenza dichiarativa in azione procedurale.
Insight dall'Ablazione: La rimozione dei moduli (news, macro, memoria) non ha danneggiato significativamente i rendimenti nel regime di mercato benigno e crescente (tutte le ablazioni sono rimaste nella banda del rumore). Tuttavia, gli assi di capacità hanno rivelato una degradazione severa (es. l'Acuità è scesa a 0.02 quando lo stack informativo è stato rimosso).
Validazione del Live Track: Lo strumento ha misurato le stesse proprietà decisionali su dati live non visti. Il gap di coerenza è rimasto stabile e il live track ha esposto specifici modi di fallimento della modalità autonoma (comportamenti intermittenti di "hold" dovuti all'esaurimento del budget degli strumenti o fallimenti dello schema) che le modalità strutturate hanno invece prevenuto.

5. Significato e Rivendicazioni

Il documento sostiene che CLQT non sia una leaderboard ma uno strumento diagnostico. Il suo significato risiede in:

Separazione tra Risultato e Capacità: Dimostra che gli alti rendimenti possono essere spuri (guidati da regimi di mercato o artefatti) mentre bassi rendimenti possono mascherare un ragionamento robusto e disciplinato.
Processo sopra il Prodotto: Scorando il tracciato decisionale (Coerenza, Acuità, ecc.) anziché solo il PnL, identifica specifici modi di fallimento (es. deficit di "dichiarazione rispetto all'azione") che le metriche basate sui rendimenti perdono.
Auditabilità: La catena di hash a prova di manomissione consente a qualsiasi terzo di verificare che le metriche riportate siano esattamente quelle prodotte dal motore, senza strumentazione nascosta.
Diagnostica Generale degli Agenti: I cinque assi sono inquadrati come istanze finanziarie di capacità generali degli agenti (es. Coerenza come ragionamento a livello di sistema, Compostezza come robustezza alle perturbazioni), rendendo il benchmark applicabile ad agenti più ampi.
Classifica Modesta: Gli autori rifiutano esplicitamente di classificare i modelli, sostenendo che una classifica credibile richiederebbe un ordine di grandezza di modelli, regimi e corse in più rispetto a un singolo studio, fornendo invece una "mappa delle limitazioni" per la coorte valutata.

Il documento conclude che il "contributo duraturo" è una mappa durevole ed estendibile delle competenze e dei limiti degli agenti, piuttosto che un'istantanea di chi sta "vincendo" al momento.