Mitigating Bias in Low-SNR Financial Reinforcement Learning via Quantum Representations

Resumo Técnico: Mitigação de Viés em Aprendizado por Reforço Financeiro de Baixa Relação Sinal-Ruído via Representações Quânticas

1. Definição do Problema: A Armadilha da Entropia Financeira

O artigo identifica um modo de falha crítico na aplicação de Aprendizado por Reforço (RL) de entropia máxima, especificamente o Soft Actor-Critic (SAC), aos mercados financeiros. Os ambientes financeiros são caracterizados por uma Relação Sinal-Ruído (SNR) inerentemente baixa, onde sinais preditivos fracos são sobrecarregados por ruído de microestrutura de mercado, sentimento e choques de liquidez.

No RL off-policy padrão, a "Armadilha da Entropia Financeira" ocorre quando:

• Representações de Estado Ruidosas: Ruídos de alta variância e não estruturados contaminam a representação de estado alimentada na rede do crítico.
• Amplificação via Bootstrapping: O mecanismo de atualização de Bellman (bootstrapping) amplifica essas estimativas ruidosas de Q-value.
• Falha de Exploração Estocástica: A exploração estocástica impulsionada pela entropia, destinada a incentivar a diversidade, inadvertidamente segue direções de atualização dominadas pelo ruído em vez de sinais preditivos fracos.
• Resultado: Isso cria um ciclo de auto-reforço onde o ruído corrompe a estimação de valor, levando a gradientes de política instáveis e uma severa degradação do desempenho fora da amostra (out-of-sample).

Os autores argumentam que as soluções existentes são insuficientes:

• Regularização no lado da saída (ex: clipped double-Q, críticos de ensemble) intervém tarde demais, após o ruído já ter distorcido a representação.
• Filtragem no lado da entrada (ex: filtros de Kalman, wavelets) é muito rígida, muitas vezes removendo sinais de alta frequência valiosos junto com o ruído.

2. Metodologia: Arquitetura FPQC-SAC

Para enfrentar isso, os autores propõem o FPQC-SAC, uma variante plug-and-play do SAC que incorpora um Circuito Quântico Parametrizado (PQC) como um gargalo estrutural no front-end de representação, antes das redes Actor e Critic.

Mecanismo Central:
Em vez de filtrar entradas brutas ou limitar Q-values, o PQC mapeia observações financeiras de alta variância em um espaço latente hiperesférico complexo. A arquitetura utiliza dois fenômenos quânticos para separar o sinal do ruído:

1. Codificação de Fase Complexa (Preservação de Sinal vs. Atenuação de Difusão):
   • Estados financeiros são modelados como processos de difusão de Itô ($dX_t = \mu dt + \sigma dW_t$).
   • O PQC codifica esses estados em geradores unitários contínuos (via portas $R_x$).
   • Matematicamente, o drift determinístico ($\mu$) é preservado como uma translação de fase direcional, enquanto a difusão estocástica ($\sigma dW_t$) induz um fator de decaimento exponencial na expectativa. Isso atenua naturalmente a variância do ruído enquanto retém a informação direcional do sinal.
2. Interferência Impulsionada por Emaranhamento:
   • Interferência Destrutiva para o Ruído: O emaranhamento CNOT circular espalha o ruído isotrópico e não estruturado através de um espaço de Hilbert de alta dimensão. Na medição (observáveis Pauli-Z), essas fases aleatórias sofrem interferência destrutiva e se cancelam estatisticamente.
   • Interferência Construtiva para o Sinal: Portas de rotação treináveis alinham sinais coerentes e temporalmente correlacionados (tendências fracas) ao longo de direções de medição específicas, permitindo que eles sofram interferência construtiva.

Fluxo da Arquitetura:

1. Pre-Net: Uma camada linear clássica comprime as entradas para um vetor de 7 dimensões (correspondente à topologia de qubits).
2. Gargalo PQC: Um circuito de 2 camadas e 7 qubits com emaranhamento circular (CNOT) e rotações de qubit único.
3. Readout: As características latentes são extraídas via valores de expectativa de observáveis Pauli-Z.
4. Actor-Critic: Essas características estabilizadas alimentam o Actor estocástico e os Twin Critics. Uma Média Móvel Exponencial (EMA) dos parâmetros do PQC é usada na rede alvo para garantir que o alvo de Bellman seja avaliado estritamente através da lente de interferência quântica.

3. Principais Contribuições

• Identificação da Armadilha da Entropia Financeira: O artigo caracteriza teoricamente como o RL de entropia máxima amplifica o ruído de baixa SNR em configurações financeiras, distinguindo isso do viés de superestimação padrão.
• Proposta do FPQC-SAC: Uma arquitetura inovadora que utiliza um PQC não para aceleração computacional, mas como uma restrição geométrica para desacoplar estruturalmente a supressão de ruído da retenção de sinal.
• Fundamentação Teórica: Os autores fornecem provas matemáticas (via SDEs de Itô e evolução unitária) demonstrando que o PQC induz a atenuação de variância através do cancelamento de fase hiperesférico, oferecendo uma alternativa rigorosa aos métodos clássicos de limitação como Tanh ou LayerNorm.
• Validação Empírica: Backtesting extensivo em três carteiras distintas do mundo real (Benchmark, Defensiva e Crescimento de Alta Volatilidade) cobrindo 18 ativos.

4. Resultados Experimentais

Os autores avaliaram o FPQC-SAC contra baselines de DRL de controle contínuo padrão (SAC, TD3, PPO, DDPG), variantes robustas (REDQ, TQC, CrossQ, DroQ) e estratégias baseadas em regras.

• Ganhos de Desempenho:
  • O FPQC-SAC alcançou um ganho relativo de 66,89% em retorno cumulativo sobre o SAC padrão sem restrições.
  • Superou o melhor baseline de controle contínuo (CrossQ) em aproximadamente 27% no benchmark principal.
  • No experimento principal (carteira Tech & Market-Index), o FPQC-SAC alcançou um retorno cumulativo de 195,32%, comparado a 117,04% do SAC padrão.
• Métricas de Estabilidade:
  • O FPQC-SAC demonstrou a menor variância de Diferença Temporal (TD) (0,54 vs. 0,76 para LayerNorm e 0,81 para Tanh).
  • Alcançou o menor Q-gap (0,0004), indicando uma estimativa de valor altamente precisa.
  • Apresentou métricas de risco ajustado superiores (razões Sortino e Calmar), particularmente em regimes de alta volatilidade, onde outros modelos sofreram "colapso estrutural".
• Estudos de Ablação:
  • Remover o emaranhamento (No-CNOT) ou congelar parâmetros treináveis (Frozen-PQC) degradou significativamente o desempenho, confirmando que os ganhos derivam do efeito conjunto das rotações treináveis e da topologia emaranhada.
  • Uma profundidade rasa ($L=2$) foi considerada ideal; circuitos mais profundos ($L \ge 3$) levaram à degradação do desempenho, sugerindo que a expressividade excessiva corre o risco de overfitting ao ruído estocástico.

5. Significância e Alegações

O artigo afirma que o FPQC-SAC representa uma mudança de paradigma no RL financeiro. Em vez de tratar circuitos quânticos apenas como aceleradores computacionais, os autores demonstram sua utilidade como restrições geométricas robustas.

• Robustez Estrutural: A principal contribuição é a demonstração de que incorporar um gargalo quântico no nível da representação é mais eficaz do que a regularização downstream para estabilizar o aprendizado em ambientes de baixa SNR.
• Generalização: O método provou ser eficaz em diversos regimes de mercado (defensivos, benchmark e de alta volatilidade), enquanto outros métodos (como CrossQ ou DroQ) tiveram dificuldades significativas em cenários de alta volatilidade "fora da distribuição" (out-of-distribution).
• Mecanismo: O sucesso é atribuído à capacidade única da interferência quântica de "dissipar" a variância do ruído não estruturado enquanto preserva sinais preditivos fracos e estruturados, efetivamente quebrando o ciclo da Armadilha da Entropia Financeira.

Os autores concluem que esta abordagem oferece um mecanismo verificável e teoricamente fundamentado para estabilizar o RL off-policy em domínios altamente estocásticos, com código de código aberto fornecido para facilitar pesquisas futuras.