Resumen Técnico: CLaC @ FinMMEval 2026 Task 3

Definición del Problema

Este artículo aborda la Tarea 3 del laboratorio CLEF 2026 FinMMEval, un desafío que requiere el desarrollo de un agente de trading automatizado capaz de tomar decisiones diarias (Largo, Plano o Corto) para dos activos distintos: Bitcoin (BTC) y Tesla (TSLA). El agente debe sintetizar datos multimodales, incluyendo precios históricos de mercado, indicadores técnicos y artículos de noticias diarios, para maximizar métricas de rendimiento como el Retorno Acumulado (CR), el Ratio de Sharpe (SR) y la Reducción Máxima de la Cuenta (MDD). La dificultad central radica en navegar la compleja dinámica no lineal del mercado y adaptarse a los cambios de régimen (por ejemplo, la transición de mercados alcistas a bajistas) evitando el sobreajuste a los datos de entrenamiento históricos.

Metodología

1. Formulación del Proceso de Decisión de Markov (MDP)

El problema de trading se enmarca como un MDP de acción discreta $(\mathcal{S}, \mathcal{A}, \mathcal{R}, \mathcal{P}, \gamma)$:

• Espacio de Estados ($\mathcal{S}$): Un vector de 15 dimensiones que comprende:
  • Dinámica de Precios: Retornos logarítmicos.
  • Estado del Agente: Posición previa ($p_{t-1} \in \{-1, 0, 1\}$) para contabilizar los costes de transacción.
  • Codificaciones de Calendario: Representaciones cíclicas de seno/coseno para Día de la Semana, Día del Mes y Mes del Año para capturar la estacionalidad.
  • Indicadores Técnicos: EMA (10, 50) normalizada, RSI (14), MACD, Bandas de Bollinger y Cambio de Volumen Logarítmico.
  • Sentimiento: Una puntuación de sentimiento diario derivada de artículos de noticias.
• Espacio de Acciones ($\mathcal{A}$): Conjunto discreto $\{-1 \text{ (corto)}, 0 \text{ (plano)}, 1 \text{ (largo)}\}$.
• Función de Recompensa ($\mathcal{R}$): Utiliza una formulación de Recompensa Alpha (ver Contribuciones) en lugar del retorno bruto de la cartera.
• Dinámica de Transición: Se asume que es exógena (supuesto de tomador de precios), donde las acciones del agente no influyen en los precios del mercado.

2. Procesamiento de Datos e Ingeniería de Características

• Fuentes de Datos: Datos históricos de precio/volumen de Yahoo Finance (2010–2022 para TSLA; 2014–2022 para BTC) y artículos de noticias del conjunto de datos Financial News Multi-Source.
• Análisis de Sentimiento: El sentimiento de las noticias diarias se califica utilizando LLaMA 3.2 1B Instruct en un entorno zero-shot. Los artículos se truncan a las primeras 300 palabras (titular y entradilla) para centrarse en las señales principales. El modelo realiza una única pasada hacia adelante, extrayendo los logits para los tokens "positivo", "negativo" y "neutral". La puntuación de sentimiento se calcula como $P(\text{positivo}) - P(\text{negativo})$, acotada en $[-1, 1]$.
• Alineación Temporal: Para evitar el sesgo de anticipación (look-ahead bias), los artículos publicados después del cierre del mercado se desplazan al siguiente día de negociación para TSLA, mientras que para BTC (24/7) se anclan a las fechas del calendario UTC.
• Divisiones del Conjunto de Datos: Se utilizaron divisiones cronológicas: Entrenamiento (pre-2023), Validación (2023–2024, un periodo de mercado alcista) y Prueba (2025–2026, que contiene un mercado bajista para BTC).

3. Algoritmos de Aprendizaje por Refuerzo Profundo (DRL)

Se implementaron y compararon cuatro algoritmos:

1. Gradiente de Política (PG): Actor basado en LSTM con retornos de Monte Carlo y bono de entropía.
2. Optimización de Política Próxima (PPO): Actor-crítico basado en LSTM con objetivo de sustitución recortado y GAE.
3. Aprendizaje Q Profundo (DQL): Red feed-forward con actualizaciones de Double DQN y replay de experiencia.
4. Gradiente de Política Determinista Profundo (DDPG): Actor-crítico con espacio de acción continuo discretizado mediante umbrales ($\pm 0.33$) y ruido de Ornstein-Uhlenbeck para la exploración.

4. Estrategia de Entrenamiento

• Recompensa Alpha: La recompensa se define como el exceso de retorno sobre el mercado: $r_t = \log(V_t/V_{t-1}) - \log(c_t/c_{t-1})$. Esto incentiva superar a un baseline de compra y mantenimiento (buy-and-hold) en lugar de buscar el beneficio absoluto.
• Inicios de Episodio Aleatorios: Los episodios de entrenamiento comienzan en días aleatorios para evitar la memorización de secuencias fijas y mejorar la generalización.
  la optimización de hiperparámetros se realizó mediante Ray Tune con 180 ensayos por par algoritmo-activo.
• Selección de Modelos: Los modelos se seleccionaron basándose en el Ratio de Sharpe de Validación, aplicando la parada temprana (early stopping).

Contribuciones Clave

1. Representación de Estado Multimodal: El artículo demuestra que la combinación de indicadores técnicos, codificaciones de calendario cíclicas y puntuaciones de sentimiento derivadas de LLM crea una señal de estado efectiva para los agentes de DRL.
2. Formulación de la Recompensa Alpha: Los autores introducen y analizan una recompensa alpha que entrena a los agentes para maximizar el exceso de retorno sobre el mercado. Establecen tres propiedades teóricas:
   • Es igual al log-alpha de la estrategia cuando se suma a lo largo de un episodio.
   • Bajo supuestos de tomador de precios, comparte las mismas políticas óptimas que las recompensas de log-retorno bruto.
   • Actúa como una covariante de control reductora de la varianza, reduciendo significativamente la varianza del estimador de gradiente en entornos de alta volatilidad.
3. Comparación Algorítmica Exhaustiva: Una evaluación rigurosa de PG, PPO, DQL y DDPG con optimización de hiperparámetros revela que DDPG ofrece el rendimiento más robusto en ambos activos, resaltando al mismo tiempo la sensibilidad de la selección de modelos basada en validación ante los cambios de régimen de mercado.

Resultados

Rendimiento en TSLA (Periodo de Prueba)

• Baseline (Compra y Mantenimiento): 16.45% CR, SR 0.61.
• DDPG: Logró un 54.96% CR y un SR de 1.44, con la Reducción Máxima de la Cuenta (MDD) más baja de 19.20%.
• DQL: Logró un 52.62% CR y SR 1.38, pero con un MDD más alto (35.76%).
• PG y PPO: Rendimiento inferior al baseline o significativamente por debajo de los mejores modelos.

Rendimiento en BTC (Periodo de Prueba)

• Baseline (Compra y Mantenimiento): -34.27% CR, SR -0.87 (mercado bajista severo).
• DDPG: El único modelo en lograr un retorno positivo (1.58%) con un SR de 0.23 y MDD de 35.30%. Mitigó con éxito las pérdidas del mercado cambiando a posiciones planas/cortas durante las caídas.
• PG: Redujo las pérdidas a -14.53%, pero se mantuvo en negativo.
• DQL y PPO: Rendimiento significativamente inferior, con DQL alcanzando -23.22% y PPO -33.80%.

Brecha de Generalización

Se observó una significativa brecha de generalización entre validación y prueba, particularmente para BTC. El periodo de validación (2023–2024) fue un mercado alcista sostenido, lo que llevó a modelos como DQL (que tuvo el SR de validación más alto) a sobreajustarse al impulso alcista. En consecuencia, DQL no logró generalizarse a las condiciones de mercado bajista de la prueba, mientras que la arquitectura de espacio de acción continuo y actor-crítico de DDPG proporcionó una mejor adaptabilidad a los cambios de régimen.

Significado y Afirmaciones

El artículo afirma que la integración del análisis de sentimiento basado en LLM con el Aprendizaje por Refuerzo Profundo (DRL) es un enfoque viable para el trading algorítmico, siempre que se cumpla que:

1. Modelado de Recompensa (Reward Shaping): El uso de una recompensa alpha alinea el objetivo de entrenamiento con el objetivo competitivo de superar al mercado, reduando el sobreajuste a los movimientos de precios absolutos.
2. Selección de Algoritmos: DDPG demuestra una robustez superior en el manejo de cambios de régimen en comparación con los métodos recurrentes on-policy (PG, PPO) y los métodos de valor puramente off-policy (DQL), particularmente en entornos volátiles y bajistas.
3. Limitaciones de la Validación: El estudio destaca una limitación crítica en el ML financiero: la selección de modelos basada en una única ventana de validación (especialmente una que coincide con un mercado alcista) puede conducir a una mala generalización en mercados bajistas posteriores. Los autores señalan que, aunque se seleccionó DQL para la competición en vivo basándose en métricas de validación, DDPG resultó ser superior en el periodo de prueba real, subrayando la dificultad de adaptar políticas entrenadas en mercados alcistas a condiciones de mercado bajista.

Los autores concluyen que, si bien su sistema logró un rendimiento sustancialmente superior al baseline de compra y mantenimiento (especialmente en TSLA y en la preservación de capital en BTC), la brecha de generalización observada sugiere la necesidad de trabajos futuros que involucren validación cruzada de avance (walk-forward) y RL jerárquico para capturar mejor las estrategias dependientes del régimen.