Resumen Técnico: BankMathBench - Un Benchmark para el Razonamiento Numérico en Escenarios Bancarios

1. Planteamiento del Problema

Los modelos de lenguaje grandes (LLMs) basados en chatbots están siendo adoptados cada vez más en el sector financiero, especialmente en la banca digital, para atender consultas sobre productos como depósitos, ahorros y préstamos. Sin embargo, estos modelos presentan una baja precisión en cálculos bancarios fundamentales, tales como:

• Estimación de pagos totales.
• Comparación de productos con diferentes tasas de interés.
• Cálculo de intereses bajo condiciones de pago anticipado o retiro temprano.

Estas tareas requieren un razonamiento numérico de múltiples pasos y una comprensión contextual profunda de las condiciones específicas de los productos bancarios. Los LLMs existentes suelen cometer errores sistemáticos: malinterpretan tipos de productos, aplican condiciones incorrectamente o fallan en cálculos básicos que involucran exponentes y progresiones geométricas.

Brecha en los Benchmarks Existentes:

• Los conjuntos de datos matemáticos actuales (como GSM8K o MATH) se centran en problemas educativos básicos y no capturan las características específicas del dominio bancario.
• Los benchmarks financieros existentes (como FinQA o TAT-QA) se enfocan principalmente en la interpretación de estados financieros y análisis de valores, dejando subexplorados los escenarios cotidianos de banca minorista (depósitos, ahorros, préstamos personales).
• Como se demuestra en el artículo, incluso modelos especializados en matemáticas o finanzas y modelos propietarios avanzados (como GPT-4o o Claude 3.5) muestran un rendimiento muy pobre (a menudo <15% de precisión) en escenarios bancarios prácticos, especialmente a medida que aumenta la complejidad de la tarea.

2. Metodología: BankMathBench

Para abordar esta limitación, los autores proponen BankMathBench, un conjunto de datos específico del dominio diseñado para evaluar y mejorar el razonamiento numérico en escenarios bancarios reales.

Generación de Datos Automatizada

El dataset se generó mediante un pipeline automatizado que utiliza LLMs (GPT-4o y o1-mini) seguido de una verificación manual por profesionales bancarios. El proceso consta de tres etapas:

1. Generación de Preguntas: Se crean preguntas realistas basadas en productos bancarios (depósitos, ahorros, préstamos) con condiciones específicas (tasas, plazos, tipos de interés, impuestos).
2. Generación de Soluciones y Verificación: Se generan dos soluciones independientes (fórmulas matemáticas/LaTeX para niveles básicos; código Python ejecutable para niveles intermedios y avanzados). Solo se conservan los pares donde ambas soluciones coinciden, garantizando la precisión de la respuesta.
3. Generación de Razonamiento: Se crea un paso a paso que integra lenguaje natural y expresiones matemáticas, utilizando etiquetas estructuradas (<calc>, <result>, <answer>) para facilitar el entrenamiento y la integración de herramientas.

Estructura del Dataset

BankMathBench contiene 13,839 problemas en coreano e inglés, organizados en tres niveles de dificultad:

• Básico: Razonamiento sobre un solo producto (ej. calcular el monto final de un depósito con interés compuesto). Requiere operaciones aritméticas y progresiones.
• Intermedio: Comparación de múltiples productos (ej. ¿cuál es más rentable: un depósito a plazo fijo vs. un ahorro mensual?). Requiere calcular y comparar resultados de dos escenarios simultáneamente.
• Avanzado: Escenarios de múltiples condiciones complejas (ej. préstamos con tasas variables que cambian a mitad del plazo, retiros anticipados con penalizaciones, impuestos). Incluye condiciones opcionales como tasas preferenciales y tarifas de cancelación.

Validación

Todos los tripletes (pregunta-respuesta-razonamiento) fueron revisados por expertos bancarios con más de tres años de experiencia para asegurar la relevancia práctica, la lógica financiera y la consistencia de formato.

3. Contribuciones Clave

1. Primer Benchmark Específico para Banca Minorista: Llena el vacío entre los benchmarks matemáticos generales y los financieros corporativos, centrándose en las consultas de los clientes en sucursales bancarias.
2. Pipeline de Generación Reproducible: Ofrece un método automatizado para generar datos financieros de alta calidad que pueden adaptarse a diferentes contextos nacionales (cambio de monedas, impuestos, regulaciones).
3. Evaluación de Estrategias de Mejora: Proporciona una base sólida para evaluar no solo el rendimiento "zero-shot", sino también la eficacia del fine-tuning (ajuste fino) y la augmentación con herramientas (Tool-Augmented Fine-Tuning).

4. Resultados Experimentales

Los autores evaluaron una amplia gama de modelos (desde 1B hasta 8B de parámetros, incluyendo modelos abiertos como LLaMA, Qwen, DeepSeek y modelos cerrados como GPT-4o).

• Rendimiento Zero-Shot: Los modelos existentes mostraron un rendimiento muy bajo, especialmente en niveles intermedios y avanzados (a menudo <5% de precisión en niveles avanzados), confirmando la dificultad del dominio.
• Impacto del Fine-Tuning (SFT): El ajuste fino en BankMathBench mejoró significativamente la precisión.
  • En el nivel básico, los modelos mejoraron en promedio un 57.6%.
  • En el nivel intermedio, la mejora fue de 75.1%.
  • En el nivel avanzado, la mejora fue de 62.9%.
• Augmentación con Herramientas (Tool-Augmented SFT): La estrategia más efectiva consistió en entrenar a los modelos para generar fórmulas que luego son ejecutadas por calculadoras externas (Python).
  • Esto eliminó casi por completo los errores de cálculo aritmético.
  • Los modelos alcanzaron precisiones superiores al 80-90% en niveles básicos e intermedios, y mejoras masivas en niveles avanzados donde la integración de múltiples cálculos es crítica.
• Estabilidad: El fine-tuning redujo drásticamente la varianza en el rendimiento entre diferentes tamaños de modelos, estabilizando la capacidad de razonamiento incluso en modelos más pequeños.

5. Significado e Impacto

• Fiabilidad en Banca Digital: BankMathBench demuestra que es posible entrenar LLMs para realizar cálculos financieros precisos, lo cual es crucial para la confianza del cliente en asistentes de banca digital.
• Necesidad de Herramientas Externas: El estudio confirma que, aunque el fine-tuning mejora la generación de fórmulas y la lógica, la integración con herramientas de cálculo (calculadoras) es indispensable para lograr precisión numérica absoluta en tareas financieras complejas.
• Dirección Futura: El dataset sienta las bases para el desarrollo de modelos especializados en banca y fomenta la investigación en aprendizaje integrado con herramientas (Tool-Integrated Learning) para el razonamiento numérico robusto.

En conclusión, BankMathBench no solo identifica una brecha crítica en las capacidades actuales de los LLMs, sino que proporciona la herramienta y la metodología necesarias para cerrar esa brecha, permitiendo la creación de asistentes bancarios digitales que pueden ofrecer respuestas precisas y fundamentadas en cálculos reales.