FinTradeBench: A Financial Reasoning Benchmark for LLMs

1. El Problema

La toma de decisiones financieras en el mundo real es un desafío complejo que requiere razonar sobre dos fuentes de información heterogéneas:

• Fundamentos de la empresa: Métricas contables derivadas de informes regulatorios (como los formularios 10-K y 10-Q de la SEC), que incluyen rentabilidad, apalancamiento y ratios de valoración.
• Señales de trading: Dinámicas de mercado derivadas de datos históricos de precios y volúmenes (OHLCV), que capturan el sentimiento de los inversores, la volatilidad, la inercia (momentum) y las tendencias.

Limitaciones actuales: Los benchmarks existentes de preguntas y respuestas financieras (como FinQA, TAT-QA o FinanceBench) se centran casi exclusivamente en el razonamiento numérico sobre documentos textuales y tablas contables. Rara vez evalúan la capacidad de los modelos para:

1. Razonar sobre señales de trading derivadas de series temporales.
2. Integrar simultáneamente fundamentos y dinámicas de mercado (razonamiento híbrido).
3. Manejar situaciones donde los fundamentos y el comportamiento del mercado entran en conflicto (ej. una acción que sube a pesar de malos resultados trimestrales debido a narrativas de mercado).

Los modelos de lenguaje actuales (LLMs) a menudo fallan al interpretar datos numéricos de mercado o al sintetizar estas dos fuentes dispares, lo que lleva a respuestas incorrectas en escenarios de inversión realistas.

2. Metodología

Los autores proponen FinTradeBench, un nuevo benchmark diseñado bajo un marco de "Calibración y luego Escalado" (Calibration-Then-Scaling).

A. Diseño del Benchmark

• Alcance: Cubre las 100 empresas del índice NASDAQ-100 durante una ventana histórica de 10 años (2015–2025).
• Fuentes de Datos:
  • Regulatorias: Extracción de fundamentos de informes 10-K/10-Q.
  • Trading: Datos diarios OHLCV para calcular señales técnicas (medias móviles, RSI, volatilidad, drawdown, etc.).
• Taxonomía de Preguntas: Se dividen en tres categorías para una evaluación granular:
  1. Enfocadas en Fundamentos (F-type): Razonamiento sobre métricas contables.
  2. Enfocadas en Trading (T-type): Razonamiento sobre señales de mercado y series temporales.
  3. Híbridas (FT-type): Requieren integrar ambas fuentes para responder (ej. "¿Es una buena oportunidad de compra la caída de Nvidia en julio 2025?").
• Generación de Datos:
  • Se crearon 150 preguntas "semilla" escritas por expertos con indicadores clave de oro (golden indicators).
  • Se utilizó un pipeline automatizado para escalar estas preguntas a 1,400 casos, variando empresas y periodos temporales.
  • Filtrado y Calibración: Se empleó un enfoque de "auto-filtrado" intra-modelo y un juez LLM (Claude Sonnet 4.5) calibrado contra expertos humanos para asegurar la precisión numérica y la coherencia lógica antes de la evaluación final.

B. Configuración Experimental

• Modelos Evaluados: 14 LLMs (desde modelos pequeños de 1.2B hasta grandes modelos propietarios de >100B).
• Condiciones de Evaluación:
  • Zero-shot (No-RAG): Sin acceso a documentos externos.
  • RAG (Retrieval-Augmented Generation): Con acceso a un motor de recuperación de doble vía (Dual-Track) que procesa textos no estructurados (informes SEC) y series temporales estructuradas por separado.
• Métricas: Precisión absoluta, Delta de recuperación (mejora/deterioro con RAG), F1 de Indicadores Dorados (extracción de métricas clave) y puntuaciones de profundidad de razonamiento.

3. Contribuciones Clave

1. FinTradeBench: El primer benchmark que evalúa explícitamente el razonamiento financiero sobre la interacción entre fundamentos corporativos y señales de trading, utilizando un marco unificado.
2. Marco de Evaluación Robusto: Implementación de un pipeline de calibración humano-LLM para garantizar la fiabilidad de las respuestas generadas y la alineación de los jueces automáticos con expertos financieros.
3. Análisis de RAG en Finanzas: Un estudio exhaustivo sobre cómo la recuperación de información (RAG) afecta el razonamiento financiero, revelando efectos paradójicos (mejora en textos, deterioro en datos numéricos).

4. Resultados Principales

Los resultados de la evaluación de 14 LLMs revelan patrones críticos:

• RAG Beneficia el Razonamiento de Fundamentos: Para preguntas basadas en textos (F-type), el RAG mejora significativamente la precisión (hasta un +37% en algunos modelos como R1-Distill-Qwen). La recuperación de informes SEC actúa como un ancla que activa conocimientos latentes y reduce alucinaciones.
• RAG Deteriora el Razonamiento de Trading: Para preguntas basadas en señales de trading (T-type), el RAG a menudo reduce el rendimiento (caídas de hasta un -19.7%). Los modelos luchan para interpretar tablas numéricas crudas y series temporales recuperadas, confundiendo la información en lugar de usarla para calcular indicadores técnicos.
• El Desafío Híbrido: Las preguntas híbridas (FT) presentan la mayor carga cognitiva. Los modelos con capacidades de razonamiento latente (como DeepSeek-R1 y sus versiones destiladas) superan a los modelos instruidos estándar, logrando mejoras masivas con RAG (hasta +55% en modelos medianos). Esto sugiere que la capacidad de "cadenas de pensamiento" (Chain-of-Thought) es crucial para reconciliar señales contradictorias.
• Efecto de Distracción: Aunque el RAG mejora la "integración fundamental", reduce drásticamente la precisión de los Indicadores Dorados (caída del 56.5% en F1) y la profundidad de razonamiento. Los modelos tienden a resumir el contexto recuperado en lugar de realizar el análisis analítico profundo requerido, especialmente cuando se les presentan tablas numéricas densas.
• Sensibilidad Arquitectónica: Modelos como LLaMA 3.3 sufrieron degradación generalizada con RAG, mientras que la familia Qwen y sus destilaciones mostraron mejoras significativas. Esto indica que la arquitectura y la mezcla de datos de pre-entrenamiento son más determinantes que el simple tamaño de los parámetros.

5. Significado e Impacto

• Avance en la Evaluación Financiera: FinTradeBench cierra la brecha entre la investigación de QA financiera (basada en texto) y la investigación cuantitativa (basada en datos de mercado), proporcionando un estándar para evaluar la "inteligencia financiera" real de los LLMs.
• Insights para el Desarrollo de RAG: El estudio demuestra que el RAG no es una solución universal para las finanzas. Mientras que funciona bien para datos textuales, requiere nuevas arquitecturas (ej. ejecución de código, pre-cálculo de indicadores) para manejar datos numéricos y series temporales sin causar distracción cognitiva en el modelo.
• Dirección Futura: Los hallazgos motivan la investigación en agentes financieros que puedan ejecutar herramientas de cálculo externo para procesar datos de mercado, en lugar de depender únicamente de la generación de texto basada en recuperación.
• Relevancia Práctica: El benchmark destaca que los modelos actuales no son fiables para la toma de decisiones de inversión automatizada sin supervisión humana, especialmente en escenarios donde los datos de mercado y los fundamentos entran en conflicto.

En resumen, el paper establece que, aunque los LLMs son competentes en el análisis de documentos financieros, aún carecen de la capacidad robusta para razonar sobre dinámicas de mercado complejas y datos numéricos, y que la simple adición de recuperación de información puede, paradójicamente, empeorar su rendimiento en tareas cuantitativas.