Sentiment-Aware Stock Price Prediction with Transformer and LLM-Generated Formulaic Alpha

Este artículo presenta un marco innovador que integra un modelo de lenguaje grande (LLM) para generar alfas formulaicas basadas en sentimiento y datos históricos, las cuales, al ser utilizadas como características de entrada en modelos predictivos como Transformers, mejoran significativamente la precisión y la interpretabilidad de las predicciones de precios de acciones.

Lo esencial

¡Claro que sí! Imagina que el mercado de valores es como un océano gigante y tormentoso. Los barcos son las acciones de las empresas y los marineros son los inversores. El problema es que el océano cambia constantemente: a veces hay calma, a veces hay huracanes, y a veces el clima cambia de un minuto a otro.

Aquí te explico qué hace este estudio, usando una analogía sencilla:

1. El Problema: El "Mapa Viejo"

Antiguamente, los expertos financieros (los "capitanes" del mercado) intentaban predecir hacia dónde iría el barco dibujando sus propios mapas. Estos mapas eran fórmulas matemáticas llamadas "Alfas".

• El problema: Hacer estos mapas a mano era lento, costoso y, lo peor de todo, los mapas se volvían obsoletos muy rápido. Una vez que todos usaban el mismo mapa, dejaba de funcionar (esto se llama "desgaste del alfa"). Era como intentar navegar por un océano cambiante usando un mapa de papel de hace 10 años.

2. La Solución: Un "Copiloto Inteligente" (La IA)

Los autores de este paper proponen algo nuevo: en lugar de que un humano dibuje el mapa, usan un Inteligente Artificial (un LLM) para escribir las fórmulas por nosotros.

Imagina que tienes un copiloto robot superinteligente que:

1. Lee todo: Mira los precios de las acciones, los indicadores técnicos (como si el barco va rápido o lento) y, lo más importante, lee las noticias.
2. Conecta los puntos: No solo mira a la empresa objetivo (por ejemplo, Apple), sino que también mira a sus "vecinos" y rivales (como Google o Tesla). Si hay una noticia buena sobre Google, el copiloto sabe que podría afectar a Apple.
3. Escribe el mapa: El robot crea nuevas fórmulas matemáticas (los "Alfas") que combinan estos datos de formas que a un humano le costaría imaginar.

3. El Motor del Barco: El "Transformador"

Una vez que el robot escribe estas nuevas fórmulas, no las usa para navegar directamente. En su lugar, las entrega a un motor de navegación muy avanzado llamado Transformer.

• Piensa en el Transformer como un motor de coche de Fórmula 1 que es excelente recordando patrones a largo plazo.
• El motor toma las fórmulas creadas por el robot y las usa para predecir dónde estará el precio de la acción mañana.

4. ¿Por qué es especial? (La Analogía del "Sentimiento")

Lo más interesante es cómo el robot entiende el sentimiento.

• Sin IA: Un humano podría decir: "Si el precio sube, compra".
• Con IA: El robot dice: "El precio de Toyota está subiendo, pero las noticias sobre su rival BYD están muy negativas hoy, y además, el sentimiento de los proveedores de Toyota es optimista. Por lo tanto, la fórmula debe ser: Subida de precio + Sentimiento positivo de proveedores - Miedo por el rival".

El robot crea una mezcla única de ingredientes para cada empresa, algo que sería muy difícil de hacer manualmente.

5. Los Resultados: ¿Funcionó?

Los autores probaron esto con 5 empresas famosas (Apple, Toyota, Pepsi, etc.) y compararon su método con otros modelos tradicionales (como redes neuronales antiguas o árboles de decisión).

• El veredicto: El equipo "Robot + Motor de F1" (IA + Transformer) ganó la carrera.
• La magia: No solo fue más preciso, sino que el robot explicó por qué tomó esas decisiones. En lugar de dar un número mágico, dijo: "He creado esta fórmula porque combiné el volumen de ventas con el sentimiento de los competidores". Esto hace que los humanos confíen más en la predicción.

En resumen

Este paper es como decir: "Dejemos de dibujar mapas a mano en un océano que cambia cada segundo. En su lugar, usemos un copiloto de IA que lea todas las noticias del mundo, conecte a las empresas entre sí, escriba un mapa nuevo cada día y se lo entregue a un motor de navegación súper rápido para que lleguemos a nuestro destino (ganar dinero) con más seguridad."

Es una forma de usar la inteligencia artificial no solo para "adivinar", sino para crear nuevas herramientas de pensamiento que nos ayuden a entender el mercado de una manera más profunda y rápida.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Resumen Técnico: Predicción de Precios Accionarios Consciente del Sentimiento con Transformers y Alfas Formulaicas Generadas por LLM

1. Problema Abordado

El artículo identifica dos desafíos principales en la predicción de precios de acciones y la finanzas cuantitativa:

• Decaimiento de Alfa (Alpha Decay): Los factores de inversión ("alfas") diseñados manualmente por expertos tienden a perder su poder predictivo con el tiempo a medida que los mercados se adaptan y más traders explotan las mismas señales. El proceso tradicional de creación de alfas es lento, costoso y difícil de escalar.
• Complejidad de los Datos Financieros: Los modelos tradicionales (regresión, árboles de decisión) y las redes neuronales recurrentes (RNN/LSTM) a menudo luchan para capturar relaciones no lineales complejas y dependencias a largo plazo en series temporales financieras, especialmente cuando se utilizan solo características crudas. Además, la integración de datos no estructurados, como el sentimiento de noticias y las relaciones entre empresas, suele ser insuficiente o manual.

2. Metodología Propuesta

Los autores proponen un marco novedoso que integra un Modelo de Lenguaje Grande (LLM) basado en prompts con un modelo Transformer para la predicción de precios. El flujo de trabajo se divide en las siguientes etapas:

• Generación de Alfas Formulaicas con LLM:

  • Se utiliza el modelo DeepSeek-R1 (distilado en LLaMA-70B) para generar automáticamente fórmulas matemáticas (alfas) que combinan características técnicas, datos fundamentales y scores de sentimiento.
  • Entradas del LLM: Incluye características de acciones (Open, High, Low, Close, Volume), indicadores técnicos (SMA, EMA, RSI, MACD, etc.) y scores de sentimiento.
  • Sentimiento Consciente: Un componente clave es la inclusión del sentimiento no solo de la empresa objetivo, sino también de empresas relacionadas (socios comerciales, competidores, proveedores). Estas empresas relacionadas se identifican mediante Reconocimiento de Entidades Nombradas (NER) en artículos de noticias, basándose en la frecuencia de co-ocurrencia.
  • Salida: El LLM genera 5 fórmulas alfa por empresa, explicando su razonamiento lógico (ej. combinar momentum con divergencia de sentimiento entre competidores). Estas fórmulas se convierten en características de alto nivel.

• Modelo de Predicción (Transformer):

  • Las alfas generadas por el LLM se normalizan y se alimentan a un modelo Transformer (arquitectura codificador-decodificador).
  • El modelo utiliza una ventana deslizante de 5 días para predecir el precio de cierre del día siguiente.
  • Incorpora embeddings temporales (día, semana, mes) y convoluciones 1D para capturar patrones a corto y largo plazo.

• Comparativa y Validación:

  • Se comparan los resultados con otros modelos de Deep Learning (Informer, LSTM, TCN) y aprendizaje automático clásico (SVR, Random Forest, XGBoost).
  • Se evalúa el impacto de las alfas generadas por LLM frente a alfas generadas por herramientas automáticas (Featuretools) y alfas definidas por humanos (basadas en "101 Formulaic Alphas").
  • Se utiliza la prueba Diebold-Mariano (DM) con corrección HLN y ajuste Holm-Bonferroni para verificar la significancia estadística de las diferencias de rendimiento.

3. Contribuciones Clave

• Automatización de la Ingeniería de Características: Propone un método escalable para generar alfas adaptativos y diversos utilizando la capacidad de razonamiento de los LLM, mitigando el problema del decaimiento de alfas.
• Integración de Sentimiento Interempresarial: Demuestra que el sentimiento de empresas relacionadas (extraído mediante NER y filtrado por el LLM) es una señal predictiva valiosa que mejora la precisión del modelo.
• Interpretabilidad: A diferencia de las "cajas negras" de las redes neuronales profundas, las alfas generadas por LLM son fórmulas matemáticas legibles por humanos, lo que aumenta la transparencia y la confianza en las decisiones de inversión.
• Marco Híbrido: Establece una nueva arquitectura donde el LLM actúa como un ingeniero de características que alimenta a un Transformer, en lugar de usar el LLM directamente para la predicción numérica.

4. Resultados Experimentales

El estudio se realizó sobre 5 empresas (Apple, HSBC, Pepsi, Toyota, Tencent) con datos desde mayo de 2016 hasta mayo de 2024.

• Rendimiento Superior del Transformer con LLM: El modelo Transformer alimentado con alfas generadas por LLM obtuvo el Menor Error Cuadrático Medio (MSE) en la mayoría de los casos, superando consistentemente a LSTM, TCN, SVR y modelos de ensamble.
• Significancia Estadística: La prueba Diebold-Mariano confirmó que la superioridad del Transformer sobre los modelos base (como LSTM y TCN) es estadísticamente significativa ($p < 0.01$).
• Impacto del Sentimiento: La inclusión de datos de sentimiento (tanto de la empresa objetivo como de las relacionadas) redujo el MSE y la desviación estándar en comparación con modelos sin estas características, indicando mayor estabilidad y precisión.
• Comparación de Fuentes de Alfas:
  • LLM vs. Featuretools: Las alfas de LLM superaron a las generadas automáticamente por Featuretools, que a menudo producían características redundantes y poco interpretables.
  • LLM vs. Humanos: Las alfas definidas por humanos ("101 Formulaic Alphas") mostraron un rendimiento muy inferior (MSE significativamente más alto), lo que sugiere que los alfas estáticos sufren de un fuerte decaimiento y no se adaptan a las condiciones actuales del mercado tan bien como los generados dinámicamente por LLM.
• Estabilidad: El análisis de varianza mostró que las diferencias de rendimiento se deben principalmente a la elección del modelo (varianza entre modelos) y no al ruido aleatorio del entrenamiento, confirmando la robustez del enfoque.

5. Significado e Implicaciones

• Paradigma en Finanzas Cuantitativas: El trabajo sugiere un cambio de paradigma desde la ingeniería manual de características hacia la generación asistida por IA, permitiendo una exploración más rápida de ideas de trading y una adaptación continua a la evolución del mercado.
• Mejora en la Toma de Decisiones: Al proporcionar tanto predicciones precisas como el razonamiento lógico detrás de las señales (las fórmulas), el sistema apoya a los inversores y analistas en la evaluación de riesgos y la toma de decisiones informadas.
• Potencial de Generalización: Aunque el estudio se limitó a 5 empresas, la metodología es aplicable a cualquier activo financiero con datos de noticias y precios, ofreciendo una vía prometedora para combatir el decaimiento de alfas en la industria.

En conclusión, el artículo demuestra que combinar la capacidad de razonamiento contextual de los LLMs con la potencia de modelado de secuencias de los Transformers crea un sistema de predicción de precios más preciso, estable e interpretable que los enfoques tradicionales.