Sintesi Tecnica: OpenPM – Valutazione Auditabile Punto-nel-Tempo per Agenti di Gestione del Portafoglio LLM

1. Definizione del Problema

Il documento affronta tre fallimenti critici nella valutazione attuale degli agenti di trading basati su Large Language Model (LLM), che spesso portano a risultati gonfiati o non implementabili:

1. Leakage Informativo (Information Leakage): Gli agenti accedono frequentemente a dati non disponibili al momento della decisione (ad esempio, osservazioni future o record con timestamp di evento anziché di disponibilità), creando un'abilità artificiale.
2. Esecuzione Ottimistica: I rendimenti riportati spesso ignorano i costi di trading (spread, slippage, turnover), presentando limiti superiori piuttosto che stime realistiche e implementabili.
3. Mandati Non Applicati: I vincoli di rischio in linguaggio naturale (ad esempio, "conservativo", "massimo 20 nomi") sono spesso trattati come preferenze deboli per una valutazione post-hoc, piuttosto che come vincoli rigidi applicati sul portafoglio eseguito.

Gli existing benchmark spesso non riescono a controllare questi problemi simultaneamente, mancando in particolare di un gating dei dati punto-nel-tempo (point-in-time - PIT) e di una rigorosa applicazione dei mandati.

2. Metodologia: Il Framework OpenPM

OpenPM è un framework di valutazione auditabile e punto-nel-tempo, progettato per trattare la valutazione credibile come un artefatto ingegneristico.

Principi di Design Core

• Ambiente Dati Punto-nel-Tempo (Point-in-Time): Il sistema impone un rigoroso "gate di disponibilità". Un record entra nello stato dell'agente al tempo di decisione $T$ solo se il suo ts_available $\le T$. Questo distingue tra tempo di evento e tempo di disponibilità (ad esempio, una comunicazione trimestrale è disponibile solo dopo l'accettazione da parte di EDGAR). L'ambiente copre un universo S&P 500 con osservazioni dello stato di mercato ogni 5 minuti.
• Applicazione dei Mandati: I mandati di rischio in linguaggio naturale vengono convertiti in vincoli tipizzati (ad esempio, peso massimo per nome, numero massimo di nomi). Fondamentalmente, questi sono imposti da un critico deterministico in-loop che proietta i pesi proposti dall'agente sull'insieme ammissibile prima dell'esecuzione, invece di limitarsi a valutare l'agente post-hoc.
• Esecuzione Consapevole dei Costi: I rendimenti sono calcolati utilizzando spread medi laterali (acquisto al prezzo ask, vendita al prezzo bid) senza modellazione dell'impatto sul mercato, fornendo una base di costo conservativa ma realistica.

Il Tiered Allocator (Agente di Riferimento)

Il documento introduce un'architettura di agente di riferimento per isolare componenti specifici della pipeline di trading:

1. Compilazione del Mandato: Converte il linguaggio naturale in vincoli tipizzati.
2. Liquidity Gate: Filtra l'universo per nomi scambiabili (ad esempio, i primi 50 per liquidità).
3. Analyst Tier: Sei analisti LLM paralleli valutano indipendentemente i candidati attraverso canali tipizzati (tecnico, regime, eventi, news, item 8-K, narrazioni 10-K/10-Q).
4. Constructor: Un separato LLM propone i pesi del portafoglio basandosi sui punteggi aggregati degli analisti e sugli spread, ma senza accesso ai prezzi grezzi o al punteggio composito.
5. Critico Deterministico: Proietta la proposta del constructor sull'insieme ammissibile (imponendo long-only, limiti di nome, limiti di liquidità).
6. Fill Simulator: Esegue le operazioni ai prezzi quotati.

Configurazione Sperimentale

• Dataset: Uno snapshot congelato e con hash del contenuto dell'S&P 500 (508 nomi) attivo tra il 19 febbraio 2026 e il 1 maggio 2026. La finestra di valutazione è dal 2 marzo 2026 al 1 maggio 2026 (44 giorni di trading).
• Strategia di Isolamento: Per isolare la capacità del "constructor", gli autori eseguono il tier degli analisti una sola volta per creare una "cattura congelata" delle evidenze. Questa stessa evidenza viene poi riprodotta su diversi modelli di constructor (gpt-5, Opus-4.7, DeepSeek-V3.2, Qwen3-Max, gpt-4o-mini) per determinare se il constructor aggiunge valore indipendentemente dalla qualità del segnale.
• Modalità: Gli esperimenti vengono eseguiti in modalità "once-then-hold" (singolo ribilanciamento) e modalità di ribilanciamento giornaliero.

3. Risultati Chiave

Il documento riporta scoperte strutturali piuttosto che affermazioni assolute di alpha, enfatizzando che i risultati sono limiti superiori su una singola finestra congelata.

Capacità del Constructor

• Guadagni Condizionali: Constructor più forti (ad esempio, gpt-5, Opus-4.7) mostrano guadagni modesti, dipendenti dal modello, rispetto all'equal-weighting (EW) dello stesso pool di candidati, ma solo quando il segnale dell'analista a monte è forte.
• Dominanza dell'Analista: La qualità del tier degli analisti è il driver primario delle performance. Quando la cattura dell'analista era debole (DeepSeek-V3.2), nessun constructor è riuscito a battere il baseline EW dello stesso pool. Quando la cattura era forte (gpt-5), la maggior parte dei constructor ha battuto l'EW.
• Sovrapposizione: I constructor forti ri-pesano in gran parte il roster EW (75–78% di sovrapposizione), invece di sostituirlo completamente. I constructor più deboli spesso divergono significativamente e performano peggio.

Costi e Turnover

• Il Turnover è il Driver dei Costi: Nel ribilanciamento giornaliero, il turnover diventa il fattore di costo dominante. I modelli ad alto turnover (ad esempio, Qwen3-Max, gpt-4o-mini) hanno visto i loro rendimenti netti scendere sotto il benchmark SPY a causa del drag dei costi, nonostante avessero rendimenti lordi simili a quelli dei modelli a basso turnover.
• La Disciplina Conta: Il pattern vincente consiste nel selezionare bene e operare con parsimonia. Il basso turnover da solo è insufficiente (gpt-5 aveva il turnover più basso ma è stato sottoperformante rispetto a SPY a causa di una scarsa selezione in quel regime specifico).

Compliance e Audit

• Aderenza al Mandato: Tutti i constructor hanno rispettato con successo i limiti numerici espliciti (ad esempio, peso massimo del 10%) nelle loro proposte grezze.
• Necessità del Critico: Il critico deterministico è stato essenziale per imporre i vincoli di liquidità (hard clips) che erano più stretti del mandato e invisibili al modello.
• Contaminazione: Tutte le esecuzioni hanno superato il certificato di contaminazione, confermando l'assenza di leakage di look-ahead.

4. Significato e Affermazioni

Il documento posiziona OpenPM non come un generatore di alpha validato, ma come uno strumento diagnostico per la comunità di trading LLM.

• Artefatto Ingegneristico: Inquadra la valutazione come un problema di ingegneria che richiede contratti di dati rigorosi, gating di disponibilità e livelli di enforcement deterministici.
• Onestà nelle Affermazioni: Gli autori dichiarano esplicitamente che tutti i rendimenti sono "limiti superiori su una singola finestra congelata senza impatto sul mercato, non alpha validato". L'obiettivo è mantenere oneste le affermazioni legando ogni numero riportato alle specifiche condizioni (fingerprint dei dati, modello di costo, mandato) che lo hanno prodotto.
• Insight Diagnostici: Il framework rivela che la "capacità di costruzione" è spesso una proxy della "qualità del segnale dell'analista". Il documento sostiene che la computazione dovrebbe essere prioritaria per il tier degli analisti, utilizzando il più economico constructor capace successivamente.
• Auditabilità: Generando artefatti come certificati di contaminazione, curve di sensibilità ai costi e report di aderenza ai vincoli per ogni esecuzione, OpenPM consente ai ricercatori di verificare che i risultati non siano artefatti di leakage dei dati o di assunzioni ottimistiche di esecuzione.

In sintesi, OpenPM dimostra che, sebbene gli LLM possano costruire portafogli che superano semplici baseline in condizioni specifiche, la loro performance è fortemente contingente alla qualità del segnale a monte ed è facilmente erosa dai costi di turnover. Il framework fornisce il rigore necessario per distinguere la reale abilità dagli artefatti di valutazione.