Mitigating Bias in Low-SNR Financial Reinforcement Learning via Quantum Representations

Sintesi Tecnica: Mitigazione del Bias nel Reinforcement Learning Finanziario a Basso SNR tramite Rappresentazioni Quantistiche

1. Definizione del Problema: La Trappola dell'Entropia Finanziaria

Il documento identifica un modo di guasto critico nell'applicazione del Reinforcement Learning (RL) a massima entropia, specificamente il Soft Actor-Critic (SAC), ai mercati finanziari. Gli ambienti finanziari sono caratterizzati da un rapporto segnale-rumore (SNR) intrinsecamente basso, dove segnali predittivi deboli sono sopraffatti dal rumore della microstruttura del mercato, dal sentiment e dagli shock di liquidità.

Nel classico RL off-policy, la "Trappola dell'Entropia Finanziaria" si verifica quando:

• Rappresentazioni dello Stato Rumorose: Rumore ad alta varianza e non strutturato contamina la rappresentazione dello stato fornita alla rete del critic.
• Amplificazione tramite Bootstrapping: Il meccanismo di aggiornamento di Bellman (bootstrapping) amplifica queste stime rumorose dei valori Q.
• Fallimento dell'Esplorazione Stocastica: L'esplorazione stocastica guidata dall'entropia, intesa per incoraggiare la diversità, segue involontariamente direzioni di aggiornamento dominate dal rumore piuttosto che dai deboli segnali predittivi.
• Risultato: Ciò crea un ciclo di auto-rinforzo in cui il rumore corrompe la stima del valore, portando a gradienti di policy instabili e a un grave degrado delle prestazioni fuori campione (out-of-sample).

Gli autori sostengono che le soluzioni esistenti siano insufficienti:

• Regolarizzazione sul lato output (es. clipped double-Q, ensemble di critic) interviene troppo tardi, dopo che il rumore ha già distorto la rappresentazione.
• Filtraggio sul lato input (es. filtri di Kalman, wavelet) è troppo rigido, spesso rimuovendo insieme al rumore anche preziosi segnali ad alta frequenza.

2. Metodologia: Architettura FPQC-SAC

Per affrontare questo problema, gli autori propongono FPQC-SAC, una variante "plug-and-play" di SAC che incorpora un Circuito Quantistico Parametrizzato (PQC) come collo di bottiglia strutturale nel front-end della rappresentazione, prima delle reti Actor e Critic.

Meccanismo Core:
Invece di filtrare gli input grezzi o tagliare i valori Q, il PQC mappa le osservazioni finanziarie ad alta varianza in uno spazio latente ipersferico complesso. L'architettura sfrutta due fenomeni quantistici per separare il segnale dal rumore:

1. Codifica della Fase Complessa (Preservazione del Segnale vs. Attenuazione della Diffusione):
   • Gli stati finanziari sono modellati come processi di diffusione di Itô ($dX_t = \mu dt + \sigma dW_t$).
   • Il PQC codifica questi stati in generatori unitari continui (tramite gate $R_x$).
   • Matematicamente, la deriva deterministica ($\mu$) viene preservata come una traslazione di fase direzionale, mentre la diffusione stocastica ($\sigma dW_t$) induce un fattore di decadimento esponenziale nell'aspettativa. Questo attenua naturalmente la varianza del rumore mantenendo l'informazione direzionale del segnale.
2. Interferenza Guidata dall'Entanglement:
   • Interferenza Distruttiva per il Rumore: L'entanglement CNOT circolare disperde il rumore isotropo e non strutturato in uno spazio di Hilbert ad alta dimensione. Al momento della misurazione (osservabili Pauli-Z), queste fasi casuali interferiscono distruttivamente e si cancellano statisticamente.
   • Interferenza Costruttiva per il Segnale: I gate di rotazione addestrabili allineano i segnali coerenti e temporalmente correlati (trend deboli) lungo direzioni di misurazione specifiche, permettendo loro di interferire costruttivamente.

Flusso dell'Architettura:

1. Pre-Net: Uno strato lineare classico comprime gli input in un vettore a 7 dimensioni (coerente con la topologia dei qubit).
2. Collo di Bottiglia PQC: Un circuito a 2 strati con 7 qubit, con entanglement circolare (CNOT) e rotazioni a singolo qubit.
3. Readout: Le caratteristiche latenti vengono estratte tramite i valori di aspettativa degli osservabili Pauli-Z.
4. Actor-Critic: Queste caratteristiche stabilizzate alimentano l'Actor stocastico e i Twin Critic. Una Media Mobile Esponenziale (EMA) dei parametri del PQC è utilizzata nella rete target per garantire che il target di Bellman sia valutato rigorosamente attraverso la lente dell'interferenza quantistica.

3. Contributi Chiave

• Identificazione della Trappola dell'Entropia Finanziaria: Il paper caratterizza teoricamente come il RL a massima entropia amplifichi il rumore a basso SNR in contesti finanziari, distinguendolo dalla standard sovrastima del bias.
• Proposta di FPQC-SAC: Un'architettura innovativa che utilizza un PQC non per l'accelerazione computazionale, ma come vincolo geometrico per decomporre strutturalmente la soppressione del rumore dalla ritenzione del segnale.
• Fondamento Teorico: Gli autori forniscono prove matematiche (tramite SDE di Itô e evoluzione unitaria) dimostrando che il PQC induce l'attenuazione della varianza attraverso la cancellazione della fase ipersferica, offrendo un'alternativa rigorosa ai metodi classici di bounding come Tanh o LayerNorm.
• Validazione Empirica: Backtesting estensivo su tre portafogli reali distinti (Benchmark, Defensive e High-Volatility Growth) che coprono 18 asset.

4. Risultati Sperimentali

Gli autori hanno valutato FPQC-SAC contro standard di DRL a controllo continuo (SAC, TD3, PPO, DDPG), varianti robuste (REDQ, TQC, CrossQ, DroQ) e strategie basate su regole.

• Guadagni di Performance:
  • FPQC-SAC ha ottenuto un guadagno relativo del 66,89% nel rendimento cumulativo rispetto allo standard SAC non vincolato.
  • Ha superato il miglior baseline di DRL a controllo continuo (CrossQ) di circa il 27% nel benchmark principale.
  • Nell'esperimento principale (portafoglio Tech & Market-Index), FPQC-SAC ha raggiunto un rendimento cumulativo del 195,32%, rispetto al 117,04% dello standard SAC.
• Metriche di Stabilità:
  • FPQC-SAC ha dimostrato la più bassa varianza della Differenza Temporale (TD) (0,54 rispetto a 0,76 per LayerNorm e 0,81 per Tanh).
  • Ha ottenuto il più piccolo Q-gap (0,0004), indicando una stima del valore altamente accurata.
  • Ha mostrato metriche risk-adjusted superiori (rapporti Sortino e Calmar), particolarmente in regimi di alta volatilità dove altri modelli hanno subito un "collasso strutturale".
• Studi di Ablazione:
  • Rimuovere l'entanglement (No-CNOT) o congelare i parametri addestrabili (Frozen-PQC) ha degradato significativamente le prestazioni, confermando che i guadagni derivano dall'effetto congiunto delle rotazioni addestrabili e della topologia entangled.
  • Una profondità ridotta ($L=2$) è risultata ottimale; circuiti più profondi ($L \ge 3$) hanno portato a una degradazione delle prestazioni, suggerendo che un'eccessiva espressività rischia di causare overfitting sul rumore stocastico.

5. Significato e Rivendicazioni

Il paper sostiene che FPQC-SAC rappresenti un cambio di paradigma nel RL finanziario. Invece di trattare i circuiti quantistici esclusivamente come acceleratori computazionali, gli autori dimostrano la loro utilità come vincoli geometrici robusti.

• Robustezza Strutturale: Il contributo primario è la dimostrazione che l'inserimento di un collo di bottiglia quantistico a livello di rappresentazione è più efficace della regolarizzazione a valle per stabilizzare l'apprendimento in ambienti a basso SNR.
• Generalizzabilità: Il metodo si è dimostrato efficace in diversi regimi di mercato (defensivi, benchmark e ad alta volatilità), mentre altri metodi (come CrossQ o DroQ) hanno faticato significativamente negli scenari "out-of-distribution" ad alta volatilità.
• Meccanismo: Il successo è attribuito alla capacità unica dell'interferenza quantistica di "dissipare" la varianza del rumore non strutturato preservando al contempo i deboli segnali predittivi strutturati, rompendo efficacemente il ciclo della Trappola dell'Entropia Finanziaria.

Gli autori concludono che questo approccio offre un meccanismo verificabile e teoricamente fondato per stabilizzare il RL off-policy in domini altamente stocastici, con codice open-source fornito per facilitare ulteriori ricerche.