FinChain: A Symbolic Benchmark for Verifiable Chain-of-Thought Financial Reasoning

1. Enunciado del Problema

Si bien los Modelos de Lenguaje Grandes (LLM) han demostrado ser prometedores en el Procesamiento del Lenguaje Natural (NLP) financiero, los benchmarks actuales fracasan en gran medida al evaluar el razonamiento simbólico multi-paso con transparencia y verificabilidad.

• Limitaciones de los Benchmarks Existentes: Conjuntos de datos como FinQA y ConvFinQA se centran principalmente en respuestas numéricas finales. A menudo carecen de trazas de razonamiento intermedio estructuradas, lo que hace imposible verificar cómo un modelo llegó a una respuesta o distinguir entre un razonamiento genuino y la coincidencia de patrones superficial.
• La Brecha: Existe la necesidad de un benchmark que imponga un razonamiento de Cadena de Pensamiento (CoT) donde cada paso intermedio esté explícitamente definido, sea ejecutable y verificable por máquina frente a fórmulas financieras específicas del dominio.

2. Metodología

A. Construcción del Conjunto de Datos FINCHAIN

Los autores construyeron FINCHAIN, el primer benchmark simbólico para el razonamiento financiero, desde cero.

• Taxonomía: El conjunto de datos abarca 12 dominios financieros (por ejemplo, Finanzas Corporativas, Finanzas Cripto, Gestión de Riesgos) y 58 temas específicos.
• Plantillas Simbólicas: En lugar de texto estático, el conjunto de datos se genera utilizando plantillas simbólicas parametrizadas. Cada plantilla define:
  • Una pregunta en lenguaje natural con marcadores de posición variables (por ejemplo, principal, tasa, tiempo).
  • Un bloque de código Python ejecutable que calcula tanto los pasos intermedios como la respuesta final.
• Niveles de Dificultad: Para cada tema, se diseñan cinco plantillas en tres niveles de dificultad (Básico, Intermedio, Avanzado), incrementando el número de pasos de razonamiento y la complejidad lógica.
• Volumen de Datos: El benchmark consta de 2.900 casos de prueba (58 temas × 5 plantillas × 10 instancias cada una).
• Control de Calidad: Un proceso de validación riguroso que involucra a expertos financieros garantiza la precisión numérica, la consistencia de unidades y la corrección lógica. Las plantillas se estandarizan según las convenciones financieras de EE. UU.

B. CHAINEVAL: La Métrica de Evaluación

Para abordar la falta de verificación a nivel de paso, los autores proponen CHAINEVAL, una métrica de alineación dinámica que evalúa conjuntamente:

1. Correctitud de la Respuesta Final (FAC): Verifica si la salida final del modelo coincide con la verdad fundamental (dentro de una tolerancia del 5%, $\epsilon=0.05$, alineada con los umbrales de materialidad de la auditoría financiera).
2. Alineación de Pasos de Razonamiento: Utiliza Deformación Dinámica del Tiempo (DTW) para alinear la secuencia de razonamiento predicha con la secuencia de referencia estándar.
   • Puntuación con Puerta: Un paso se considera consistente solo si coincide tanto semánticamente (mediante la similitud del coseno del codificador de oraciones) como numéricamente (mediante la coincidencia de valores).
   • Fórmula: $CHAINEVAL = (1-\alpha) \cdot DTW_{Puerta} + \alpha \cdot FAC$, donde $\alpha=0.1$.
   • Validación: CHAINEVAL fue validado frente a juicios de expertos humanos, mostrando una correlación de Spearman de 0.655, superando significativamente a métricas tradicionales como ROUGE y BERTScore.

3. Contribuciones Clave

1. Primer Benchmark Simbólico Financiero: Introducción de FINCHAIN, un benchmark ejecutable y libre de contaminación que abarca 58 temas en 12 dominios, diseñado específicamente para el razonamiento CoT verificable.
2. Marco de Evaluación Novel: Propuesta de CHAINEVAL, una métrica que va más allá de la precisión de la respuesta final para evaluar la fidelidad y consistencia de los pasos de razonamiento intermedios utilizando DTW y mecanismos de puerta.
3. Evaluación Exhaustiva: Evaluación de 26 LLM líderes (incluyendo modelos propietarios de vanguardia, modelos específicos de finanzas, modelos mejorados en matemáticas y modelos de peso abierto de propósito general).
4. Insights Diagnósticos: Análisis detallado de errores que revela que incluso los modelos más avanzados luchan con el razonamiento simbólico complejo, y que la adaptación al dominio no garantiza capacidades de razonamiento robustas.

4. Resultados Experimentales

A. Visión General del Rendimiento del Modelo

• Liderazgo de Modelos de Vanguardia: Los modelos propietarios de vanguardia (por ejemplo, GPT-5, Gemini-2.5 Pro) lograron las puntuaciones CHAINEVAL más altas (aprox. 65–67%), indicando una mejor alineación en el razonamiento a nivel de paso.
• Limitaciones del Ajuste Fino:
  • Modelos Específicos de Finanzas: Modelos como Fin-o1 y Finance-Qwen tuvieron un rendimiento deficiente (puntuaciones CHAINEVAL de 34–41%), fallando a menudo en cadenas de razonamiento básicas.
  • Modelos Mejorados en Matemáticas: Modelos como Mathstral y Qwen-2.5-Math mostraron una mejora significativa (puntuaciones alrededor de 55–60%), lo que sugiere que el ajuste fino matemático se transfiere mejor al razonamiento financiero que el ajuste fino en dominios financieros estrechos.
• La Brecha "Respuesta vs. Razonamiento": Algunos modelos lograron una alta Correctitud de la Respuesta Final (FAC) pero bajas puntuaciones CHAINEVAL, lo que indica que adivinaron la respuesta correcta sin seguir una ruta de razonamiento válida.

B. Rendimiento a través de Dimensiones

• Dificultad: Todos los modelos mostraron degradación del rendimiento a medida que la dificultad aumentaba de Básico a Avanzado. Los modelos de vanguardia mantuvieron una estabilidad relativa, mientras que los modelos de peso abierto sufrieron caídas pronunciadas en tareas avanzadas.
• Varianza del Dominio: El rendimiento fue altamente dependiente del dominio. Por ejemplo, Mathstral destacó en dominios cuantitativos (Ratios Financieros) pero luchó en dominios regulatorios densos en texto, mientras que Fin-R1 mostró fortaleza en Gestión de Riesgos pero debilidad en tareas cuantitativas complejas.

C. Análisis de Errores

El análisis de 200 preguntas muestreadas reveló perfiles de error distintos:

• Modelos de Vanguardia (por ejemplo, GPT-5-mini): Los errores se concentraron en las categorías Computacional (aritmética) y Conceptual (mala aplicación de fórmulas). Raramente alucinaron o fallaron en el análisis sintáctico.
• Modelos Más Débiles (por ejemplo, Finance-Qwen): Exhibieron un perfil de error heterogéneo, incluyendo Alucinaciones significativas (introducción de variables no respaldadas), fallos de Análisis/Formato y errores conceptuales.

5. Significado y Trabajo Futuro

• IA Confiable: FINCHAIN proporciona una base para desarrollar sistemas de IA financiera interpretables y auditables, cruciales para la toma de decisiones de alto riesgo donde el razonamiento de "caja negra" es inaceptable.
• Dirección de Investigación: Los resultados sugieren que simplemente escalar modelos o ajustar finamente sobre texto financiero es insuficiente. El progreso futuro requiere supervisión estructurada y entrenamiento explícito en cadenas de razonamiento simbólico.
• Limitaciones y Trabajo Futuro: El conjunto de datos actual es sintético y centrado en inglés. El trabajo futuro apunta a incorporar documentos financieros del mundo real, extenderse a entornos multilingües y cerrar la brecha entre el razonamiento simbólico y la verificación factual.

Conclusión: FINCHAIN expone debilidades persistentes en los LLM actuales con respecto al razonamiento financiero multi-paso. Demuestra que, aunque los modelos de vanguardia son superiores, incluso ellos luchan con tareas simbólicas complejas, destacando la necesidad de nuevos paradigmas de entrenamiento que prioricen la fidelidad del razonamiento sobre la mera generación de respuestas.