Do VLMs Truly "Read" Candlesticks? A Multi-Scale Benchmark for Visual Stock Price Forecasting

Aquí presento un resumen técnico detallado del artículo "Do VLMs Truly 'Read' Candlesticks? A Multi-Scale Benchmark for Visual Stock Price Forecasting" (¿Leen realmente los VLM los gráficos de velas? Un punto de referencia multi-escala para la previsión visual de precios de acciones), traducido y estructurado en español.

Resumen Técnico: ¿Leen realmente los VLM los gráficos de velas?

1. Planteamiento del Problema

Los Modelos de Lenguaje y Visión (VLM, por sus siglas en inglés) están ganando tracción en la previsión de precios de acciones, pero existen limitaciones críticas en cómo se evalúa su capacidad real:

• Falta de atribución de capacidad: Los estudios anteriores utilizan conjuntos de datos multimodales complejos (texto + imágenes + tablas), lo que impide determinar si el modelo "entiende" los patrones visuales o simplemente depende de señales textuales.
• Ignorancia de la multi-escala temporal: Los analistas financieros profesionales integran múltiples escalas de tiempo (diaria para señales a corto plazo, semanal/mensual para tendencias macro). Sin embargo, la mayoría de los benchmarks actuales se basan en entradas de un solo periodo o tabulares, sin evaluar la capacidad de los VLM para sintetizar dinámicas de mercado a corto y largo plazo.
• Evaluación insuficiente: Las métricas tradicionales a menudo no capturan sesgos específicos, la sensibilidad a horizontes de predicción o la capacidad de razonamiento temporal.

2. Metodología

A. Construcción del Conjunto de Datos (Dataset)
Los autores crearon un nuevo conjunto de datos diseñado específicamente para aislar la comprensión visual:

• Fuente de datos: Datos históricos OHLCV (Apertura, Máximo, Mínimo, Cierre, Volumen) de acciones de los índices HS300 (China) y S&P 500 (EE. UU.) desde enero de 2015 hasta julio de 2025.
• Modo Visual: Se generaron gráficos de velas (candlesticks) en dos escalas de tiempo simultáneas para cada muestra: Diaria y Semanal.
  • Los gráficos incluyen medias móviles (MA5, MA20, MA90) y volumen.
  • Se limitó a 50 velas por gráfico para consistencia visual.
  • Eliminación de sesgo: Se eliminaron todas las señales textuales y tabulares; el modelo debe predecir basándose únicamente en la imagen del gráfico.
• Objetivo de predicción: Retorno futuro a 30 días ($r_{30}$), calculado como el cambio porcentual del precio de cierre.

B. Diseño de la Tarea y Prompting

• Entrada: Dos imágenes (Gráfico Diario + Gráfico Semanal) de la misma acción en la misma fecha.
• Salida: Un valor numérico continuo en el rango $[-0.5, 1.0]$ que representa el retorno esperado.
• Prompting: Se diseñó un prompt estructurado que define al modelo como un "analista de tendencias", instruyéndolo para analizar patrones de velas, cruces de medias móviles, volumen y la consistencia entre las escalas de tiempo, prohibiendo sesgos predeterminados.

C. Marco de Evaluación
Se empleó una evaluación multidimensional que combina:

1. Matriz de Confusión: Para analizar tasas de Verdaderos Positivos (TP), Falsos Positivos (FP), etc., y derivar métricas como Precisión, Recall y F1.
2. Coeficiente de Información (IC): Correlación lineal entre predicciones y retornos reales. Se incluyen IC medio, mediana, ICIR (ratio) y Rank IC (correlación de rangos).
3. Análisis de Sesgo: Medición de la desviación sistemática entre la distribución de predicciones y la realidad (optimismo vs. pesimismo).
4. Línea Base: Se comparó el rendimiento de los VLM contra un modelo XGBoost basado en características numéricas (tabular) para establecer un punto de referencia.

3. Contribuciones Clave

1. Primer Benchmark Multi-Escala Visual: Creación del primer dataset que obliga a los VLM a razonar sobre gráficos de velas en múltiples escalas de tiempo (diario/semanal) sin ayuda textual.
2. Marco de Evaluación Riguroso: Introducción de una metodología que combina diagnósticos de matriz de confusión con métricas temporales (IC) y análisis de sesgo, superando las métricas de precisión binaria simples.
3. Análisis de Atribución de Modalidad: Al eliminar el texto, el estudio demuestra qué parte del rendimiento se debe realmente a la comprensión visual de patrones financieros.

4. Resultados Experimentales

• Rendimiento General: La mayoría de los VLMs muestran un rendimiento mediocre en escenarios de mercado normales (lateralidad), pero funcionan bien en tendencias persistentes (alcistas o bajistas fuertes).
• Sesgos y Calibración:
  • Se observaron sesgos significativos entre modelos. Algunos (como Claude-Haiku) son más conservadores (alta precisión, bajo recall), mientras que otros (como GPT5mini) son más agresivos (alto recall, menor precisión).
  • Los modelos tienden a ser mejores identificando riesgos a la baja (mercados bajistas) que oportunidades alcistas.
• Sensibilidad Temporal (Hallazgo Crítico):
  • A pesar de que se les pidió predecir retornos a 30 días, los VLM mostraron una correlación (IC) significativamente mayor con los retornos a 5 días que con los de 30 días.
  • Esto sugiere que los VLM actuales capturan mejor las señales técnicas a corto plazo y tienen dificultades con el razonamiento temporal de largo plazo y la incertidumbre acumulada.
• Comparación con XGBoost:
  • XGBoost (Tabular): Mostró mayor estabilidad y un mejor rendimiento promedio en la clasificación general.
  • VLMs (Visuales): Aunque algunos VLMs tuvieron un IC medio similar o ligeramente inferior, mostraron una mediana de IC más alta y una mayor significancia estadística en ciertos casos. Esto indica que los VLMs tienen un "techo de rendimiento" más alto y son menos propensos a fallos extremos (riesgo de cola) cuando logran capturar patrones visuales complejos.
• Modelos Destacados:
  • Claude-sonnet-4-5 (thinking): Mejor rendimiento general en dirección y ranking.
  • Qwen: Equilibrio entre predicción de dirección y capacidad de ranking.
  • Gemini2.5-flash: Predicción de dirección más equilibrada.

5. Significado e Implicaciones

• Ventaja Estructural de la Representación Visual: El estudio sugiere que los gráficos de velas externalizan heurísticas técnicas refinadas durante siglos en una sintaxis visual. Los VLMs pueden transferir sus capacidades de reconocimiento de formas y atención jerárquica (entrenadas en imágenes naturales) a estos patrones financieros, superando la necesidad de que los modelos tabulares "descubran" inductivamente estas reglas a partir de vectores numéricos atomizados.
• Limitaciones Actuales: Los VLMs actuales no son herramientas de predicción de largo plazo fiables por sí solos debido a su incapacidad para razonar sobre horizontes temporales extendidos y su dependencia de patrones a corto plazo.
• Futuro de la Inversión: Los resultados apoyan el uso de VLMs como herramientas auxiliares para señales de trading a corto plazo o para la detección de riesgos, más que como motores principales para decisiones de inversión a largo plazo. La heterogeneidad de los sesgos entre modelos sugiere que los sistemas de ensamble (combinar varios modelos) podrían ofrecer mayor robustez.

En conclusión, el papel demuestra que, aunque los VLMs tienen un potencial visual superior para interpretar estructuras de mercado, aún carecen de la capacidad de razonamiento temporal profundo necesaria para la previsión financiera precisa a largo plazo, y su evaluación requiere métricas más sofisticadas que la simple precisión.