Riepilogo Tecnico: Moira – Apprendimento per Rinforzo Gerarchico Guidato dal Linguaggio per il Trading di Coppie

1. Formulazione del Problema

Il documento affronta la sfida del processo decisionale sequenziale in ambienti caratterizzati da struttura gerarchica, feedback ritardato e assegnazione del credito ambigua. Nello specifico, gli autori si concentrano sul trading di coppie, un dominio finanziario che combina naturalmente due scale temporali e semantiche distinte:

1. Astrazione di Alto Livello (Selezione della Coppia): Richiede un ragionamento semantico a lungo orizzonte per identificare coppie di attività con relazioni economiche o statistiche stabili.
2. Esecuzione di Basso Livello (Trading): Richiede un processo decisionale reattivo a breve orizzonte in condizioni di osservabilità parziale (rumore di mercato) per eseguire operazioni neutre rispetto al mercato.

La difficoltà principale risiede nell'assegnazione del credito: quando una strategia di trading fallisce, non è chiaro se l'errore derivi da un'astrazione di alto livello difettosa (scelta della coppia sbagliata), da un'esecuzione di basso livello subottimale (cattivo tempismo) o dall'interazione tra i due. Il tradizionale apprendimento per rinforzo (RL) end-to-end intreccia questi componenti, rendendo difficile isolare la fonte del fallimento. Inoltre, l'HRL (Apprendimento per Rinforzo Gerarchico) standard si basa spesso su astrazioni temporali rigide o assume distribuzioni di rumore fisse, limitando l'adattabilità quando le relazioni semantiche subiscono variazioni.

2. Metodologia: Framework Moira

Gli autori propongono Moira, un framework di apprendimento per rinforzo gerarchico guidato dal linguaggio. Invece di utilizzare il fine-tuning basato su gradienti o dati etichettati da esperti, Moira parametrizza sia il selettore di alto livello sia il trader di basso livello come Modelli Linguistici di Grande Dimensione (LLM) condizionati da prompt. Le politiche sono ottimizzate esclusivamente attraverso aggiornamenti dei prompt guidati da feedback testuale.

2.1 Design della Politica Gerarchica

Il framework separa esplicitamente la selezione dell'astrazione dall'esecuzione, allineando i loro programmi di adattamento alla disponibilità del feedback:

• Selettore di Alto Livello ($\pi_{sel}$): Opera a livello di episodio (ad esempio, mensile). Osserva statistiche aggregate dei prezzi e riassunti semantici (notizie, sentiment) per selezionare una coppia di attività $z$. Questa selezione rimane fissa per la durata dell'episodio.
• Trader di Basso Livello ($\pi_{tr}$): Opera a livello intra-episodio (ad esempio, giornaliero/settimanale). Condizionato dalla coppia fissa $z$, esegue azioni di trading basate sulla dinamica dello spread in tempo reale e su caratteristiche locali dei prezzi.

2.2 Ottimizzazione tramite Adattamento dei Prompt

Il sistema utilizza un processo di ottimizzazione testuale su due stadi per entrambi i livelli, evitando la discesa del gradiente sui pesi del modello:

1. Critica a Livello di Traiettoria (Stadio 1): Un LLM "Critico" analizza la traiettoria eseguita (osservazioni, azioni, ricompense) e genera un segnale di feedback in linguaggio naturale ($g_{text}$). Questo segnale identifica difetti nelle regole decisionali (ad esempio, "uscite premature" o "ignorare i catalizzatori delle notizie").
2. Aggiornamento del Prompt (Stadio 2): Un LLM "Aggiornatore" incorpora il feedback testuale nel prompt della politica corrente, generando un prompt aggiornato ($\theta^{(k)}$) per il successivo sotto-episodio o episodio.

Distinzione Chiave nei Programmi di Adattamento:

• Trader: Subisce aggiornamenti del prompt intra-episodio. Adatta le sue regole di esecuzione basandosi sul feedback a livello di traiettoria mentre il contesto della coppia rimane fisso.
• Selettore: Subisce aggiornamenti del prompt episodici. Riceve feedback ritardato e aggregato (rendimento cumulativo) dopo che il Trader ha completato il suo adattamento e l'esecuzione per l'episodio.

3. Contributi Chiave

1. Il Linguaggio come Interfaccia Semantica Condivisa: Il documento introduce un approccio innovativo in cui il linguaggio funge da interfaccia tra i livelli gerarchici. A differenza delle ricompense scalari, il feedback testuale permette un'attribuzione semantica esplicita, distinguendo tra errori di astrazione (scelta della coppia sbagliata) ed errori di esecuzione (cattivo tempismo).
2. Ottimizzazione Gerarchica Guidata dai Prompt: Gli autori dimostrano che gli LLM possono funzionare come politiche gerarchiche ottimizzate esclusivamente tramite aggiornamenti dei prompt. Ciò induce una separazione naturale delle scale temporali senza richiedere vincoli algoritmici complessi o fine-tuning basato su gradienti.
3. Disaccoppiamento di Astrazione ed Esecuzione: Fissando la selezione della coppia per un episodio mentre si permette al trader di adattarsi intra-episodio, il framework riduce la non stazionarietà tra i livelli e abilita un adattamento mirato in presenza di feedback ritardato.

4. Risultati Sperimentali

Il framework è stato valutato su dati storici del mercato azionario statunitense (10 azioni liquide) da gennaio a giugno 2025.

4.1 Confronto delle Prestazioni

Moira ha superato significativamente diverse linee di base:

• Linee di Base Statistiche: GGR (minimizzazione della distanza), Correlazione e Cointegrazione.
• Linea di Base RL: TRIALS (un framework RL standard).
• Linea di Base LLM Piatto: Un LLM non gerarchico che tenta di selezionare coppie ed eseguire operazioni simultaneamente.

Metriche Chiave (Moira vs Migliore Linea di Base):

• Rendimento Annualizzato (AR): Moira ha raggiunto il 59,11%, rispetto al 21,38% della migliore linea di base statistica (Correlazione/Cointegrazione) e rendimenti negativi per le altre.
• Rapporto di Sharpe (SR): Moira ha raggiunto 3,791, significativamente più alto della linea di base statistica (1,218) e dell'LLM piatto (-0,403).
• Drawdown Massimo (MDD): Moira ha mantenuto un basso 1,70%, rispetto al 5,11% della linea di base statistica e all'8,69% dell'LLM piatto.

4.2 Studi di Ablazione

Gli autori hanno condotto studi di ablazione per validare la necessità sia della decomposizione gerarchica sia dell'adattamento dei prompt:

• Moira-Selezione (Selettore LLM + Trader Statistico): Sostituire il trader LLM con uno statistico ha portato a rendimenti fortemente negativi (-17,10% AR), indicando che la selezione semantica delle coppie da sola è insufficiente senza un'esecuzione adattiva.
• Moira-Tuning (Selettore Statistico + Trader LLM): Utilizzare un selettore basato sulla correlazione con il trader LLM ottimizzato ha prodotto rendimenti positivi (17,63% AR) ma ha sottoperformato significativamente il modello Moira completo. Ciò evidenzia che un comportamento di trading statico non può sfruttare appieno le opportunità identificate dalla selezione semantica.
• Flat-LLM: L'approccio non gerarchico ha fallito nell'apprendimento, producendo rendimenti negativi e alta volatilità, confermando che l'ottimizzazione congiunta della selezione delle coppie e dell'esecuzione è troppo complessa per un singolo processo decisionale.

4.3 Dinamiche di Apprendimento

L'analisi delle curve di apprendimento ha mostrato che le prestazioni sono migliorate progressivamente con gli aggiornamenti dei prompt. I primi aggiornamenti hanno stabilito discipline di base (regole di ingresso/uscita), mentre gli aggiornamenti successivi hanno introdotto una gestione del rischio sofisticata (stop trailing, parziali prese di profitto), portando a curve di capitale più lisce e a drawdown ridotti.

5. Significato e Affermazioni

Il documento afferma che l'ottimizzazione della politica gerarchica guidata dal linguaggio offre un approccio principiato ai problemi di processo decisionale sequenziale in cui:

• Le astrazioni evolvono nel tempo.
• Il feedback è ritardato e aggregato.
• I segnali espliciti di assegnazione del credito non sono disponibili.

Gli autori sostengono che, utilizzando il linguaggio come rappresentazione della politica, il sistema può raggiungere un adattamento mirato a diverse scale temporali senza l'instabilità associata al fine-tuning basato su gradienti o la rigidità dell'HRL tradizionale. I risultati suggeriscono che gli LLM, quando strutturati gerarchicamente e ottimizzati tramite adattamento dei prompt, possono efficacemente disaccoppiare il ragionamento semantico dall'esecuzione tattica, portando a una presa di decisioni finanziarie robusta.

Limitazioni Riconosciute:
Gli autori notano che lo studio è limitato a un piccolo universo di attività (10 azioni) e a un regime di mercato specifico. Non affermano robustezza in caso di cambiamenti estremi di regime o condizioni avverse, e le proprietà teoriche del feedback testuale come segnale di ottimizzazione rimangono una questione aperta.