When Tables Go Crazy: Evaluating Multimodal Models on French Financial Documents

1. Planteamiento del Problema

Los modelos de lenguaje grandes (LLM) y los modelos de visión-linguaje (VLM) han demostrado un rendimiento excepcional en tareas de comprensión de texto, pero su fiabilidad en dominios especializados no ingleses (específicamente el francés) sigue siendo poco explorada. Este vacío es crítico en el sector financiero debido a:

• Complejidad de los documentos: Los prospectos de inversión, documentos de información clave (KID) y productos de inversión minorista (PRIIPs) combinan prosa legal densa, tablas numéricas complejas y gráficos visuales.
• Consecuencias de los errores: En aplicaciones regulatorias y de asesoramiento, las alucinaciones o errores de extracción (ej. porcentajes de comisiones) tienen consecuencias reales.
• Falta de recursos: La mayoría de los benchmarks existentes se centran en inglés o en documentos cortos, careciendo de conjuntos de datos multimodales a gran escala para documentos financieros franceses largos y estructurados.

2. Metodología: MULTIMODAL FINANCE EVAL

Los autores presentan MULTIMODAL FINANCE EVAL, el primer benchmark multimodal diseñado para evaluar la comprensión de documentos financieros en francés.

• Construcción del Dataset:

  • Fuente: 1,204 preguntas validadas por expertos, extraídas de prospectos reales, KIDs y PRIIPs de empresas de gestión de activos en los últimos 15 años.
  • Proceso de Generación: Se utilizó un enfoque semiautomático. Dos LLMs (GPT-4o y Gemini-2.0) generaron candidatos de preguntas y respuestas, que luego fueron revisados, corregidos y validados exhaustivamente por un experto humano en finanzas.
  • Categorización: El dataset cubre múltiples tipos de tareas:
    • Extracción de texto (501 preguntas).
    • Comprensión de tablas (488 preguntas).
    • Interpretación de gráficos (128 preguntas).
    • Diálogo conversacional de múltiples vueltas (65 preguntas).
    • Casos especiales (22 preguntas).
  • Modalidades: Incluye texto plano, tablas estructuradas, gráficos y contextos de longitud variable (desde párrafos cortos hasta documentos de varias páginas).

• Protocolo de Evaluación:

  • Modelos Evaluados: Se probaron 6 VLMs de código abierto de última generación, con tamaños que van desde 8B hasta 124B parámetros (familias Qwen, Gemma y Pixtral).
  • Método de Juicio: Dado el alto volumen de preguntas de respuesta abierta, se utilizó un protocolo "LLM-as-judge" (un LLM actúa como juez). Tres modelos juez independientes evaluaron las respuestas, y se consideró correcta aquella que obtuvo la mayoría de votos.
  • Escenarios: Se evaluaron tareas de un solo turno y tareas conversacionales de múltiples turnos para medir la propagación de errores.

3. Contribuciones Clave

1. Nuevo Benchmark: Creación de MULTIMODAL FINANCE EVAL, un conjunto de datos de 1,204 preguntas validadas por expertos para la evaluación multimodal en francés.
2. Evaluación Sistemática: Análisis exhaustivo de seis modelos VLMs de vanguardia, revelando disparidades significativas entre su rendimiento en texto/tablas frente a gráficos y diálogo.
3. Evidencia Empírica de Fallos: Demostración de que la propagación de errores en diálogos de múltiples turnos anula los beneficios de escalar el modelo, haciendo que la precisión colapse independientemente del tamaño de los parámetros.

4. Resultados Principales

Los resultados revelan una brecha clara entre tareas bien definidas y razonamiento interactivo complejo:

• Rendimiento General:
  • Texto: Alto rendimiento (89-90% de precisión) en la extracción de entidades y hechos explícitos.
  • Tablas: Rendimiento moderado-alto (52-86%), indicando que los modelos manejan bien datos estructurados cuando están explícitos.
  • Gráficos (Charts): Rendimiento débil (34-62%). Los modelos luchan para inferir tendencias, proporciones y comparaciones a partir de representaciones visuales, a pesar de que los gráficos simplifican la información para humanos.
• El Problema de la Conversación (Hallazgo Crítico):
  • En un escenario de "contexto dorado" (donde se proporcionan respuestas anteriores correctas), los modelos alcanzan un 63-86% de precisión.
  • En un escenario estándar (donde el modelo debe basarse en sus propias respuestas anteriores), la precisión cae drásticamente a un rango de 46-59%.
  • Conclusión: Una vez que el modelo comete un error temprano, el contexto se contamina y las respuestas subsiguientes se ven comprometidas. El aumento del tamaño del modelo (de 8B a 124B) no mitiga este problema, lo que sugiere que el fallo es estructural y no solo una cuestión de capacidad de razonamiento.

5. Significado e Implicaciones

• Fiabilidad en Escenarios de Alto Riesgo: Los resultados advierten que los VLMs actuales son efectivos para la extracción de información estática, pero son frágiles para el análisis financiero interactivo y multi-paso. No son fiables para aplicaciones de asesoramiento donde los errores se acumulan.
• Más allá del Escalado: Mejorar el rendimiento en finanzas no se logrará simplemente aumentando el número de parámetros. Se requieren avances en objetivos de entrenamiento, modelado de incertidumbre y mecanismos explícitos para la detección y corrección de errores en diálogos.
• Necesidad de Supervisión Humana: La generación automática de preguntas y la evaluación por LLMs tienen sesgos (ej. falta de diversidad léxica, distractores poco plausibles), reforzando la necesidad de validación humana experta en dominios críticos.
• Herramienta para la Investigación: El benchmark ofrece una base sólida para medir el progreso futuro y desarrollar modelos más robustos para la comprensión de documentos financieros en francés y, potencialmente, en otros idiomas.

En resumen, el artículo demuestra que, aunque la IA multimodal ha avanzado mucho, todavía no está lista para reemplazar el juicio humano en la interpretación interactiva de documentos financieros complejos debido a su incapacidad para mantener la coherencia lógica a lo largo de conversaciones y su dificultad con la interpretación gráfica.