Mitigating Bias in Low-SNR Financial Reinforcement Learning via Quantum Representations

Resumen Técnico: Mitigación del Sesgo en el Aprendizaje por Refuerzo Financiero de Baja SNR mediante Representaciones Cuánticas

1. Planteamiento del Problema: La Trampa de la Entropía Financiera

El artículo identifica un modo de fallo crítico al aplicar el aprendizaje por refuerzo (RL) de máxima entropía, específicamente Soft Actor-Critic (SAC), a los mercados financieros. Los entornos financieros se caracterizan por una Relación Señal-Ruido (SNR) inherentemente baja, donde las señales predictivas débiles se ven abrumadas por el ruido de la microestructura del mercado, el sentimiento y los choques de liquidez.

En el RL off-policy estándar, la "Trampa de la Entropía Financiera" ocurre cuando:

• Representaciones de Estado Ruidosas: El ruido de alta varianza y no estructurado contamina la representación del estado que se introduce en la red del crítico.
• Amplificación vía Bootstrapping: El mecanismo de actualización de Bellman (bootstrapping) amplifica estas estimaciones ruidosas de los valores Q.
• Fallo de la Exploración Estocástica: La exploración estocástica impulsada por la entropía, destinada a fomentar la diversidad, sigue inadvertidamente direcciones de actualización dominadas por el ruido en lugar de seguir señales predictivas débiles.
• Resultado: Esto crea un bucle de retroalimentación donde el ruido corrompe la estimación del valor, lo que conduce a gradientes de política inestables y una severa degradación del rendimiento fuera de la muestra (out-of-sample).

Los autores argumentan que las soluciones existentes son insuficientes:

• La regularización en el lado de la salida (p. ej., doble-Q recortado, críticos de ensamble) interviene demasiado tarde, después de que el ruido ya ha distorsionado la representación.
• El filtrado en el lado de la entrada (p. ej., filtros de Kalman, wavelets) es demasiado rígido, eliminando a menudo señales de alta frecuencia valiosas junto con el ruido.

2. Metodología: Arquitectura FPQC-SAC

Para abordar esto, los autores proponen FPQC-SAC, una variante plug-and-play de SAC que incorpora un Circuito Cuántico Parametrizado (PQC) como un cuello de botella estructural en el front-end de la representación, antes de las redes Actor y Crítico.

Mecanismo Central:
En lugar de filtrar las entradas puras o recortar los valores Q, el PQC mapea las observaciones financieras de alta varianza en un espacio latente hiperesférico complejo. La arquitectura aprovecha dos fenómenos cuánticos para separar la señal del ruido:

1. Codificación de Fase Compleja (Preservación de Señal vs. Atenuación de Difusión):
   • Los estados financieros se modelan como procesos de difusión de Itô ($dX_t = \mu dt + \sigma dW_t$).
   • El PQC codifica estos estados en generadores unitarios continuos (mediante puertas $R_x$).
   • Matemáticamente, la deriva determinista ($\mu$) se preserva como una traslación de fase direccional, mientras que la difusión estocástica ($\sigma dW_t$) induce un factor de decaimiento exponencial en la esperanza. Esto atenúa naturalmente la varianza del ruido mientras retiene la información direccional de la señal.
2. Interferencia Impulsada por el Entrelazamiento:
   • Interferencia Destructiva para el Ruido: El entrelazamiento CNOT circular dispersa el ruido no estructurado e isotrópico a través de un espacio de Hilbert de alta dimensión. Tras la medición (observables de Pauli-Z), estas fases aleatorias interfieren destructivamente y se cancelan estadísticamente.
   • Interferencia Constructiva para la Señal: Las puertas de rotación entrenables alinean las señales coherentes y temporalmente correlacionadas (tendencias débiles) a lo largo de direcciones de medición específicas, permitiendo que interfieran constructivamente.

Flujo de la Arquitectura:

1. Pre-Net: Una capa lineal clásica comprime las entradas a un vector de 7 dimensiones (coincidiendo con la topología de los qubits).
2. Cuello de Botella PQC: Un circuito de 7 qubits con 2 capas, con entrelazamiento circular (CNOT) y rotaciones de un solo qubit.
3. Lectura (Readout): Las características latentes se extraen mediante los valores de esperanza de los observables de Pauli-Z.
4. Actor-Crítico: Estas características estabilizadas alimentan al Actor estocástico y a los Críticos Dobles (Twin Critics). Se utiliza una Media Móvil Exponencial (EMA) de los parámetros del PQC en la red objetivo para asegurar que el objetivo de Bellman se evalúe estrictamente a través de la lente de la interferencia cuántica.

3. Contribuciones Clave

• Identificación de la Trampa de la Entropía Financiera: El artículo caracteriza teóricamente cómo el RL de máxima entropía amplifica el ruido de baja SNR en entornos financieros, distinguiéndolo del sesgo de sobreestimación estándar.
• Propuesta de FPQC-SAC: Una arquitectura novedosa que utiliza un PQC no para aceleración computacional, sino como una restricción geométrica para desacoplar estructuralmente la supresión de ruido de la retención de señal.
• Fundamentación Teórica: Los autores proporcionan pruebas matemáticas (vía SDE de Itô y evolución unitaria) demostrando que el PQC induce la atenuación de la varianza mediante la cancelación de fase hiperesférica, ofreciendo una alternativa rigurosa a los métodos clásicos de acotación como Tanh o LayerNorm.
• Validación Empírica: Backtesting extensivo en tres carteras distintas del mundo real (Benchmark, Defensiva y de Alto Crecimiento de Volatilidad) que cubren 18 activos.

4. Resultados Experimentales

Los autores evaluaron FPQC-SAC contra baselines de DRL de control continuo estándar (SAC, TD3, PPO, DDPG), variantes robustas (REDQ, TQC, CrossQ, DroQ) y estrategias basadas en reglas.

• Ganancias de Rendimiento:
  • FPQC-SAC logró una ganancia relativa del 66.89% en el retorno acumulado sobre el SAC estándar sin restricciones.
  • Superó al mejor baseline de control continuo DRL (CrossQ) por aproximadamente un 27% en el benchmark principal.
  • En el experimento principal (cartera de Tecnología e Índice de Mercado), FPQC-SAC alcanzó un retorno acumulado del 195.32%, comparado con el 117.04% del SAC estándar.
• Métricas de Estabilidad:
  • FPQC-SAC demostró la menor varianza de la Diferencia Temporal (TD) (0.54 frente a 0.76 para LayerNorm y 0.81 para Tanh).
  • Logró el Q-gap más pequeño (0.0004), indicando una estimación de valor altamente precisa.
  • Mostró métricas ajustadas al riesgo superiores (ratios de Sortino y Calmar), particularmente en regímenes de alta volatilidad donde otros modelos sufrieron un "colapso estructural".
• Estudios de Ablación:
  • Eliminar el entrelazamiento (No-CNOT) o congelar los parámetros entrenables (Frozen-PQC) degradó significativamente el rendimiento, confirmando que las ganancias provienen del efecto conjunto de las rotaciones entrenables y la topología entrelazada.
  • Se encontró que una profundidad superficial ($L=2$) era óptima; los circuitos más profundos ($L \ge 3$) provocaron una degradación del rendimiento, sugiriendo que una expresividad excesiva conlleva el riesgo de sobreajustar el ruido estocástico.

5. Significado y Reivindicaciones

El artículo afirma que FPQC-SAC representa un cambio de paradigma en el RL financiero. En lugar de tratar los circuitos cuánticos únicamente como aceleradores computacionales, los autores demuestran su utilidad como restricciones geométricas robustas.

• Robustez Estructural: La contribución principal es la demostración de que incrustar un cuello de botella cuántico en el nivel de la representación es más efectivo que la regularización descendente para estabilizar el aprendizaje en entornos de baja SNR.
• Generalizabilidad: El método resultó efectivo en diversos regímenes de mercado (defensivos, benchmark y de alta volatilidad), mientras que otros métodos (como CrossQ o DroQ) tuvieron dificultades significativas en escenarios de alta volatilidad "fuera de la distribución" (out-of-distribution).
• Mecanismo: El éxito se atribuye a la capacidad única de la interferencia cuántica para "disipar" la varianza del ruido no estructurado mientras preserva las señales predictivas débiles y estructuradas, rompiendo efectivamente el ciclo de la Trampa de la Entropía Financiera.

Los autores concluyen que este enfoque ofrece un mecanismo verificable y teóricamente fundamentado para estabilizar el RL off-policy en dominios altamente estocásticos, proporcionando código de código abierto para facilitar la investigación posterior.