🤖 machine learning

V-FiLLM: Verified Financial LLM Reasoning Benchmark

El artículo presenta V-FiLLM, un marco de referencia escalable que genera tareas de razonamiento financiero verificadas a partir de árboles de computación ejecutables para evaluar y mejorar la robustez y precisión de los LLM al manejar datos financieros complejos y estructurados.

Autores originales: Alicia Larsen, Victoire Laurent, Aulia Kharis Rakhamsari, Lara Turgut, Nino Antulov-Fantulin

Publicado 2026-08-12

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alicia Larsen, Victoire Laurent, Aulia Kharis Rakhamsari, Lara Turgut, Nino Antulov-Fantulin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente cómo ser un analista financiero. Quieres que observe una hoja de cálculo desordenada, encuentre los números correctos y haga algunos cálculos para decirte cuánto dinero ganó una empresa. Este es el mundo de los "Modelos de Lenguaje Extensos" (LLM): cerebros computacionales que son excelentes escribiendo historias y respondiendo preguntas, pero que a veces tropiezan cuando tienen que hacer matemáticas precisas o leer tablas complejas. Piensa en estos modelos como un estudiante brillante que puede escribir un ensayo hermoso sobre dinero, pero que podría sumar accidentalmente los números incorrectos si le pides que calcule un margen de beneficio. La gran pregunta que los investigadores se están haciendo es: ¿Podemos construir una prueba justa que muestre exactamente dónde se confunde este estudiante, sin que la prueba misma sea desordenada o injusta?

Aquí es donde entra en juego el artículo "V-FiLLM". Los investigadores crearon una prueba especial y súper organizada llamada "benchmark" (punto de referencia). En lugar de pedirle al robot que lea informes bancarios reales y desordenados (que podrían tener errores tipográficos o páginas faltantes), construyeron una fábrica que genera hojas de cálculo financieras falsas y perfectas. Luego, utilizan un "árbol de computación" —imagina un árbol genealógico, pero en lugar de ancestros, es un mapa de pasos matemáticos— para crear preguntas. Debido a que la matemática está integrada en el árbol, la respuesta está garantizada como correcta para cuando se escribe la pregunta. Esto les permite probar el cerebro del robot en pura lógica, sin que el robot se tropiece con una mala caligrafía o diseños confusos. Descubrieron que a medida que la matemática se vuelve más profunda (más pasos), el robot se vuelve mucho peor para responder, e incluso cambios diminutos en los números (como convertir un "0" en una "O") pueden hacer que colapse. Sin embargo, también demostraron que si le das al robot un poco de entrenamiento adicional sobre cómo mostrar su procedimiento paso a paso, mejora significamente.

Explicación del artículo

**El Problema: El "Escritorio Desordenado" vs. El "Laboratorio Limpio"
Imagina que estás tratando de enseñarle matemáticas a un niño. Si le entregas un recibo arrugado de un supermercado con la tinta emborronada y las esquinas rotas, y obtiene la respuesta incorrecta, no sabes si falló en matemáticas o si simplemente no pudo leer el recibo. Este es el problema con las pruebas existentes para la IA financiera. La mayoría de las pruebas anteriores utilizaban documentos reales, que están llenos de "ruido": números faltantes, formatos extraños y texto confuso. Esto hace difícil distinguir si la IA es mala razonando o simplemente mala leyendo.

Los autores de este artículo decidieron construir un "laboratorio limpio" en su lugar. Crearon V-FiLLM, un sistema que genera sus propias preguntas financieras desde cero. Comienzan con una hoja de cálculo sintética perfecta (como la pantalla de inventario de un videojuego) y construyen un "árbol de computación" para cada pregunta.

La analogía del Árbol: Piensa en una pregunta como una receta. Una pregunta simple es solo "¿Cuál es el precio de la manzana?" (Profundidad 0). Una pregunta más difícil es "¿Cuál es el precio de la manzana más el precio del plátano?" (Profundidad 1). Las preguntas más difíciles son como una receta de pastel complejo que requiere mezclar tres cuencos diferentes, hornearlos y luego combinar los resultados (Profundidad 4 o superior).
La Magia: Debido a que la computadora construye el árbol primero, conoce la respuesta antes de siquiera escribir la pregunta. Esto significa que cada uno de los elementos de la prueba tiene una "verdad fundamental" (ground truth) que es matemáticamente garantizada como correcta. No hay suposiciones humanas involucradas, y no hay "costo de etiquetado" (nadie tiene que sentarse allí a revisar las respuestas).

**El Descubrimiento: La Trampa de la "Profundidad"
Los investigadores utilizaron este laboratorio limpio para probar varios modelos de IA diferentes, incluyendo algunos muy famosos como Gemma, Llama y Qwen. Hicieron una pregunta simple: ¿Qué pasa cuando las matemáticas se vuelven más difíciles?

Descubrieron que el rendimiento de la IA cae en picada a medida que la "profundidad" del razonamiento aumenta.

La Caída: En preguntas simples (solo buscar un número), los mejores modelos acertaron casi todo (alrededor del 98%). Pero tan pronto como la pregunta requería 8 pasos de razonamiento (como una receta de pastel compleja), la precisión de algunos modelos se desplomó hasta tan solo el 26%.
El Giro Adversario: También intentaron "engañar" a los modelos alterando los datos de formas que no deberían importar. Por ejemplo, reemplazaron números con valores de "basura" o cambiaron las unidades (como intercambiar dólares por centavos). Descubrieron que la corrupción de caracteres tipo OCR (cambiar un "0" por una letra "O" o un "1" por una "l") era la forma más efectiva de romper los modelos. Cuando alteraron las unidades en documentos con apariencia real, la puntuación del mejor modelo cayó de casi el 100% a solo el 3.0%. Esto sugiere que los modelos están leyendo los números pero a menudo ignoran las etiquetas que les dicen qué significan esos números.

**La Solución: Enseñarle a la IA a "Mostrar su Procedimiento"
El artículo también probó una forma de solucionar estos problemas. Utilizaron una técnica llamada LoRA (Adaptación de Bajo Rango), que es como darle a la IA un manual de entrenamiento específico y ligero en lugar de reentrenar todo su cerebro.

El Método: Tomaron los "árboles de computación" y los convirtieron en explicaciones paso a paso de "Cadena de Pensamiento" (Chain-of-Thought). Solo utilizaron los ejemplos donde el razonamiento de la IA fue verificado como correcto.
El Resultado: Después de este entrenamiento dirigido, un modelo más pequeño (Qwen3-4B) mejoró su precisión del 81.1% al 85.6% en problemas nuevos y no vistos. También funcionó mejor en un conjunto de datos del mundo real llamado FinQA, superando a su versión original por 5 puntos porcentuales. Esto sugiere que enseñar a la IA a desglosar los problemas en pasos pequeños y verificados es una forma prometedora de hacerla más inteligente, sin necesidad de cantidades masivas de potencia de cómputo.

**El Veredicto
El artículo concluye que, si bien la IA está mejorando en el razonamiento financiero, todavía tiene dificultades significativas cuando la lógica es profunda o los datos son desordenados. La "profundidad" del razonamiento es el mayor obstáculo. Sin embargo, el nuevo benchmark que construyeron (V-FiLLM) ofrece a los investigadores una forma confiable de medir este progreso sin la confusión del ruido del mundo real. Los autores sugieren que, con más entrenamiento sobre cómo mostrar su procedimiento paso a paso, estos modelos podrían convertirse en asistentes financieros mucho más confiables, pero por ahora, son propensos a cometer errores tontos cuando las matemáticas se complican o los números se ven un poco extraños.

Resumen Técnico: V-FiLLM: Un Benchmark de Razonamiento de LLM Financiero Verificado

Planteamiento del Problema

Si bien los benchmarks existentes han avanzado en la evaluación de los Modelos de Lenguaje Extensos (LLMs) en STEM y razonamiento numérico general, el razonamiento financiero sobre datos tabulares estructurados sigue estando poco explorado. Los conjuntos de datos actuales de QA financiera (por ejemplo, FinQA, TAT-QA) dependen en gran medida de la anotación humana o de la extracción asistida por modelos a partir de documentos del mundo real. Este enfoque introduce limitaciones significativas:

Conflación de Ruido: Es difícil distinguir entre fallos de razonamiento genuinos y errores causados por ruido a nivel de fuente (irregularidades de formato, valores faltantes, frases ambiguas).
Escalabilidad y Control: Los benchmarks anotados manualmente son costosos de escalar y carecen de ejes de dificultad explícitos y controlables, lo que dificulta aislar modos de fallo específicos como la profundidad del razonamiento o la complejidad composicional.
Fiabilidad de la Verdad de Referencia (Ground Truth): La extracción heurística o el etiquetado manual pueden introducir errores en la verdad de referencia, complicando la evaluación del rendimiento del modelo.

Metodología

Los autores presentan V-FiLLM, un marco determinista para generar benchmarks de razonamiento financiero a partir de árboles de computación sintéticos y ejecutables, fundamentados en estructuras de tablas reales. El flujo de trabajo garantiza que las respuestas sean correctas por construcción, eliminando la necesidad de anotación manual y eliminando la tasa de error del generador.

1. Generación de Datos

Datos Financieros Sintéticos: El marco construye dos fuentes de datos: (a) informes 10-Q sintéticos que imitan informes de empresas reales, y (b) hojas financieras regularizadas con nombres de columnas y unidades consistentes para aislar el razonamiento del ruido de formato.
Átomos Tipados: Las celdas de las hojas de cálculo se descomponen en "átomos financieros tipados" que contienen valores numéricos y metadatos semánticos (concepto, empresa, año, unidad).
Árboles de Computación: Las preguntas se generan muestreando árboles binarios tipados donde las hojas son átomos financieros y los nodos internos son operaciones (suma, resta, multiplicación, razones, min/max/promedio).
- Complejidad Controlable: El marco controla explícitamente cuatro ejes:
  - Profundidad: El número de pasos de razonamiento (profundidad del árbol).
  - Amplitud: El número de subresultados paralelos requeridos (árboles balanceados).
  - Complejidad de Concepto: Inclusión de conceptos financieros derivados (por ejemplo, Utilidad Bruta, Ingreso Neto) almacenados como átomos especiales con fórmulas ejecutables ocultas.
  - Tamaño del Contexto: El número de entradas de la tabla relevantes.
Renderizado: Los árboles se renderizan en preguntas de lenguaje natural utilizando un procedimiento semántico de abajo hacia arriba. Para probar la robustez, el pipeline aplica un aumento de datos lingüísticos ligero (errores tipográficos, cambios de capitalización, variaciones de fraseo) mientras preserva el grafo de computación subyacente.

2. Extensiones del Benchmark

Evaluación de Multi-turno: Los problemas complejos de un solo turno se descomponen en turnos conversacionales, donde cada turno resuelve un nodo de la expresión del árbol. Esto permite aislar los errores aritméticos intermedios frente a los fallos de planificación composicional.
Robustez Adversaria: El framework perturba las tablas de entrada (dejando la pregunta/respuesta sin cambios) para simular fallos de pipeline del mundo real:
- Valores faltantes (celdas vacías).
- Valores basura (valores atípicos como -10^7 o "ERROR").
- Simulacros de OCR (sustitución de dígitos, por ejemplo, 0→O).
- Contaminación entre hojas (intercambio de filas entre empresas).
- Información distractora (texto irrelevante añadido a las preguntas).

3. Estrategia de Ajuste Fino (Fine-Tuning)

Los autores emplean Adaptación de Bajo Rango (LoRA) para realizar el ajuste fino de modelos de código abierto (específicamente Qwen3.5-4B) sobre trazas de Cadena de Pensamiento (CoT) verificadas. Solo se retienen para el entrenamiento aquellos ejemplos donde la CoT generada coincide con el valor de la verdad de referencia derivado del árbol de expresión (tasa de retención del 88%).

Resultados Clave

1. Rendimiento del Modelo y Profundidad de Razonamiento

Sensibilidad a la Profundidad: La precisión disminuye drásticamente a medida que aumenta la profundidad del razonamiento. En declaraciones simplificadas, la precisión de modelos como DeepSeek-v4-Flash cae de ~84% en 6 pasos a ~26% en 8 pasos. Gemma-31B muestra una mayor resiliencia pero también cae de 85% a 55% en el mismo rango.
Real vs. Simplificado: Los informes 10-Q reales son aproximadamente 20 puntos porcentuales más difíciles que las declaraciones simplificadas en profundidades de 3–4, debido a diseños desordenados y unidades mixtas.
Clasificación de Modelos: Gemma-31B supera consistentemente a modelos más grandes (por ejemplo, GPT-OSS-120B, Llama-3.3-70B) e iguala o supera a Qwen3.7-Plus, lo que sugiere que los datos de entrenamiento especializados y los mecanismos de parsing de tablas son más críticos que la escala de parámetros.

2. Evaluación Multi-turno

La descomposición de prompts complejos en subconsultas secuenciales mitiga significativamente la degradación del rendimiento.

Qwen3.5-9B mejoró de 55.2% (un solo turno) a 86.8% (multi-turno).
Llama-3.3-70B mejoró de 80.8% a 86.8%.
Esto sugiere que la descomposición de consultas reduce la carga de contexto requerida para el razonamiento de un solo paso.

3. Robustez Adversaria

Impacto General: Todos los modelos sufren caídas significativas de precisión bajo perturbaciones. Gemma-31B cae ~27 puntos en informes 10-Q, y DeepSeek-v4-Flash ~30 puntos.
Cambios de Unidad/Escala: Esta es la perturbación más destructiva. Cambiar las unidades o escalas hace que la precisión de Gemma-31B colapse al 3.0% en informes 10-Q, lo que indica que los modelos suelen leer números sin verificar las etiquetas de las unidades.
Ruido Combinado: Cuando se combinan todos los tipos de ruido, la precisión en documentos reales cae al 17–26%, lo que sugiere que la acumulación de errores degrada severamente el rendimiento.

4. Ajuste Fino LoRA

El ajuste fino de Qwen3.5-4B sobre trazas de CoT verificadas mejoró la precisión en problemas no vistos de 81.1% a 85.6%.
La mejor configuración (Rango $r=8$ , Escalamiento $\alpha=8$ , Dropout 0.10) mostró que la relación $\alpha/r$ es crítica; las configuraciones donde $\alpha/r \neq 1$ no lograron mejorar sobre la línea base.
En el dataset externo FinQA, el modelo ajustado con LoRA mejoró de 27/100 a 32/100 respuestas correctas, lo que sugiere que las ganancias no se deben puramente al sobreajuste (overfitting).

Significancia y Reivindicaciones

El artículo afirma proporcionar un benchmark reproducible y libre de anotación que permite la evaluación sistemática del razonamiento financiero composicional. Sus principales contribuciones son:

Aislamiento de Modos de Fallo: Al desacoplar la profundidad, la amplitud y la complejidad del dominio, V-FiLLM permite a los investigadores identificar exactamente dónde y por qué fallan los modelos (por ejemplo, distinguiendo entre errores aritméticos y fallos de planificación).
Escalabilidad: El framework genera elementos a cualquier escala sin costos de anotación, abordando el costo prohibitivo de escalar los benchmarks existentes.
Perspectivas de Robustez: El estudio destaca que la corrupción de caracteres tipo OCR y los cambios de unidad/escala representan desafíos mayores que los datos faltantes o los distractores, enfatizando la necesidad de una extracción numérica robusta en aplicaciones financieras.
Adaptación Dirigida: Los resultados sugieren que la adaptación ligera y dirigida (LoRA sobre trazas verificadas) es una dirección prometedora para mejorar el razonamiento composicional en QA financiera, aunque queda un margen significativo para tareas de razonamiento más profundo.

Los autores mantienen una postura modesta, reconociendo limitaciones como los recursos computacionales restringidos (que limitan el número de modelos probados y el tamaño del conjunto de evaluación del ajuste fino) y la potencial ambigüedad lingüística en las preguntas generadas a pesar de la corrección matemática de las respuestas. Posicionan a V-FiLLM como una herramienta fundacional para el trabajo futuro en entrenamiento guiado por verificadores y razonamiento entre múltiples documentos.