Can News Predict the Market? Limits of Zero-Shot Financial NLP and the Role of Explainable AI

Resumen Técnico: ¿Puede la actualidad predecir el mercado? Límites del NLP financiero zero-shot y el papel de la IA explicable

Planteamiento del problema
El artículo aborda el desafío no resuelto de si las noticias financieras pueden predecir de manera fiable los movimientos de corto plazo del mercado de valores utilizando Modelos de Lenguaje de Gran Escala (LLMs) sin un ajuste fino (fine-tuning) específico del dominio. Aunque las noticias financieras son una fuente primaria para interpretar el sentimiento del mercado, la conversión de estas en predicciones fiables se ve obstaculizada por el ruido de los datos, la duplicación entre medios, el lenguaje implícito y el complejo desalineamiento temporal entre la publicación de la noticia y la reacción del mercado. Los enfoques existentes suelen depender de modelos supervisados entrenados en conjuntos de datos etiquetados, que tienen dificultades para generalizar a través de cambios en los regímenes de mercado. Por el contrario, los enfoques zero-shot ofrecen flexibilidad, pero corren el riesgo de producir señales poco fiables debido a la sensibilidad de los prompts y a la falta de estructura temporal. Los autores investigan si un flujo de trabajo (pipeline) zero-shot estructurado y consciente del impacto puede superar estas limitaciones para proporcionar un soporte de decisiones confiable, incluso si la precisión predictiva bruta sigue siendo baja.

Metodología
Los autores proponen un flujo de trabajo de predicción zero-shot consciente del impacto que consta de cuatro etapas:

1. Adquisición de datos y alineación temporal:

   • Las noticias se recuperan mediante la API de Finnhub para empresas específicas y ventanas de predicción (1, 3, 5, 7, 14 y 31 días).
   • Se calcula un periodo de retrospectiva (lookback) dinámico para equilibrar la cobertura reciente frente a la información obsoleta.
   • Los artículos se mapean a sesiones de negociación de mercado específicas (hora del Este de EE. UU.), asegurando que los artículos publicados después del cierre del mercado se trasladen a la siguiente sesión válida para alinear los tiempos de reacción del mercado.

2. Preprocesamiento y filtrado de relevancia:

   • Desduplicación: La desduplicación basada en títulos retiene la versión más antigua o la más larga de una historia.
   • Coincidencia de entidades: Los artículos se filtran para asegurar que la empresa objetivo se mencione en el titular o en el cuerpo del texto.
   • Filtrado a nivel de oración: Un modelo de Inferencia de Lenguaje Natural (NLI) zero-shot (DeBERTa) filtra el texto de relleno (boilerplate), avisos legales y oraciones irrelevantes basadas en una hipótesis de relevancia.

3. Ponderación de artículos consciente del impacto:

   • Ponderación por recencia: Los artículos se ponderan según el número de días de negociación transcurridos, utilizando un parámetro de decaimiento ajustado para horizontes de predicción específicos.
   • Clasificación del horizonte de eventos: Un clasificador NLI zero-shot categoriza los artículos en nueve familias de eventos (p. ej., ganancias, fusiones y adquisiciones, acciones regulatorias). A cada familia se le asignan horizontes de impacto primarios y secundarios basados en la literatura de estudios de eventos.
   • Ponderación del horizonte: Una función de ponderación gaussiana alinea el tiempo de impacto esperado del artículo con la ventana de predicción.
   • Peso final: Un peso compuesto combina la recencia, la alineación del horizonte, la cobertura de la fuente (logarítmica) y un descuento para artículos que solo contienen el titular.

4. Predicción y explicabilidad:

   • Clasificación de sentimiento: Un modelo RoBERTa realiza la clasificación NLI zero-shot con hipótesis para "alcista" (bullish), "bajista" (bearish) y "neutral". A diferencia del softmax estándar, el modelo utiliza puntuaciones sigmoideas para tratar las etiquetas de forma independiente.
   • Mecanismo de abstención: Las predicciones se emiten solo si las puntuaciones superan los umbrales ajustados ($\tau_{pos}=0.56, \tau_{neg}=0.26$), lo que permite al sistema abstenerse cuando la evidencia es débil.
   • Marco de explicabilidad: El sistema genera explicaciones de múltiples capas que incluyen:
     • A nivel de token: Atribuciones LIME para las oraciones influyentes.
     • A nivel de artículo: Análisis de contribución contrastiva y análisis de conjunto de inversión (greedy flip-set) para probar la estabilidad de la predicción (eliminando artículos).
     • A nivel agregado: Banderas de calidad de evidencia (p. ej., evidencia delgada, concentración de peso, diversidad de fuentes) y resúmenes de lenguaje natural fundamentados generados por un LLM local.

Contribuciones clave

1. Desarrollo del flujo de trabajo: La creación de un flujo de trabajo de predicción zero-shot consciente del impacto que integra el filtrado de relevancia de la empresa, la ponderación de recencia, la ponderación del horizonte de impacto dependiente del evento y la predicción basada en abstención de tres vías.
2. Marco de explicabilidad: Un marco de múltiples capas que vincula las predicciones con las atribuciones a nivel de token, las contribuciones de los artículos, las comprobaciones de robustez (análisis de flip-set) y los razonamientos de lenguaje natural fundamentados.
3. Evaluación exhaustiva: Una evaluación sobre un conjunto de datos de 480 casos que cubre 20 empresas cotizadas en EE. UU. de cinco sectores y seis horizontes de predicción, comparando la configuración NLI zero-shot propuesta contra líneas base adaptadas al dominio (FinBERT, FinGPT) y de propósito general (Llama 3.1, Mistral 7B).
4. Hallazgos empíricos sobre los límites: Evidencia que demuestra que, si bien el NLP zero-shot tiene dificultades con la precisión direccional (particularmente para los movimientos negativos), la explicabilidad estructurada y los diagnósticos de calidad de la evidencia pueden distinguir eficazmente entre predicciones fiables e insuficientes.

Resultados

• Rendimiento predictivo: Ningún modelo, incluido el flujo de trabajo zero-shot propuesto, superó la línea base de la clase mayoritaria (48.4%) en precisión bruta en el conjunto de prueba (holdout set). Esto indica que la predicción de acciones a corto plazo basada únicamente en el sentimiento de las noticias sigue siendo sumamente difícil.
• Comparación de modelos: El flujo de trabajo de NLI basado en RoBERTa propuesto alcanzó el Macro-F1 más alto (0.3409) entre los modelos probados, superando a FinBERT, FinGPT y los LLMs generativos. Esto sugiere que la precisión del sentimiento en los benchmarks no se traduce directamente en la predicción de la trayectoria de las acciones a nivel de flujo de trabajo.
• Dificultidad de la clase negativa: Todos los modelos tuvieron dificultades significativas para predecir movimientos negativos. Los modelos basados en argmax identificaron solo 1 de 38 casos negativos, mientras que el modelo RoBERTa ajustado por umbral identificó 9. Los autores atribuyen esto a la débil relación entre el sentimiento del artículo y la dirección posterior del precio, ya que los retornos negativos suelen estar impulsados por condiciones de mercado más amplias o expectativas no cumplidas que no se capturan en el texto de la noticia.
• Variación por horizonte y sector: El rendimiento alcanzó su punto máximo en el horizonte de 3 días. El rendimiento por sector varió: las acciones de consumo mostraron una mayor precisión (debido principalmente a las predicciones neutrales) y el sector salud mostró la más baja, probablemente debido a la complejidad de los factores regulatorios y legales.
• Valor de la explicabilidad: La capa de explicabilidad proporcionó utilidad práctica. Los casos calificados como "ALTOS" en calidad de evidencia alcanzaron un 49.4% de precisión (ligeramente por encima de la línea base), mientras que los casos calificados como "BAJOS" descendieron al 26.3%. El análisis de flip-set reveló que el 10.4% de las predicciones eran frágiles (cambiaban tras eliminar un solo artículo), mientras que la mediana requería eliminar 10 artículos para cambiar la etiqueta.

Significancia y afirmaciones
El artículo concluye que el NLP financiero zero-shot no debe verse como una fuente autónoma y fiable de señales de negociación por sí sola, ya que no logra superar consistentemente a las líneas base simples en cuanto a precisión direccional. Sin embargo, los autores argumentan que el valor principal del NLP financiero zero-shot en entornos de alto riesgo reside en el soporte de decisiones transparente.

Al organizar la evidencia, cuantificar la alineación temporal, evaluar la robustez y proporcionar calificaciones de fiabilidad, el marco propuesto permite a los usuarios comprender cuándo y por qué una predicción puede ser fiable o no. El estudio destaca que, si bien el mapeo del sentimiento de las noticias hacia la dinámica de precios es estructuralmente limitado, la capacidad de exponer la evidencia subyacente y la incertidumbre a través de la IA explicable ofrece un valor práctico significativo para la gestión de riesgos y el análisis de inversiones.