FIND: Toward Multimodal Financial Reasoning and Question Answering for Indic Languages

Resumen Técnico: FIND: Hacia el Razonamiento y la Respuesta a Preguntas Financieras Multimodales para Idiomas Indic

Declaración del Problema
La toma de decisiones financieras en contextos multilingües, particularmente en la India, requiere un razonamiento numérico preciso fundamentado en diversas modalidades (texto, tablas, gráficos). Sin embargo, las evaluaciones existentes pasan por alto en gran medida este desafío de alto riesgo, centrándose principalmente en el inglés y careciendo de cobertura de idiomas indic, datos financieros multimodales y complejidad de razonamiento controlada. Los Modelos de Visión-Lenguaje (VLM) actuales a menudo luchan con el razonamiento híbrido, exhibiendo errores en la precisión numérica, inconsistencias en la fundamentación multimodal y una sobredependencia de pistas textuales mientras subutilizan las señales visuales financieras. Además, conjuntos de datos existentes como FinQA y TAT-QA son predominantemente centrados en el inglés y a menudo limitados a aritmética superficial o extracción tabular, fallando en evaluar el razonamiento complejo y consciente del dominio requerido para escenarios financieros realistas en idiomas regionales.

Metodología
Para abordar estas brechas, los autores introducen FinVQA, una evaluación de referencia multilingüe a gran escala, y FIND, un marco diseñado para un razonamiento financiero multimodal confiable.

• Curaduría del Conjunto de Datos FinVQA:

  • Fuente: Los datos se curan a partir de fuentes educativas autorizadas de la India, incluidos los libros de texto del Consejo Nacional de Investigación y Capacitación Educativa (NCERT) (Grados 9–12) y materiales profesionales de ICMAI–CMA.
  • Escala y Alcance: El conjunto de datos comprende 18.900 muestras en 14 dominios financieros (por ejemplo, Contabilidad Avanzada, Matemáticas Financieras, Tributación). Cubre seis idiomas: inglés, hindi, bengalí, maratí, gujarati y tamil.
  • Estructura: Las muestras se organizan en tres niveles de dificultad (fácil, moderado, difícil) y cuatro formatos de pregunta: opción múltiple, completar el espacio en blanco, emparejamiento de tablas y verdadero/falso.
  • Adaptación Multilingüe: Las instancias en inglés se tradujeron a cinco idiomas indic utilizando GPT-4O, validadas mediante similitud coseno de incrustaciones de oraciones y refinadas por hablantes nativos. Para muestras multimodales, se utilizó OCR (PaddleOCR) para extraer texto de imágenes, el cual luego se tradujo y volvió a renderizar en los cuadros delimitadores originales utilizando fuentes indic específicas para preservar la disposición.
  • Anotación: Una tubería que involucra a seis anotadores (cuatro junior, dos expertos senior en el dominio) garantizó la calidad. Los expertos senior anotaron muestras semilla y el acuerdo entre anotadores (Kappa de Fleiss) alcanzó 0.78.

• El Marco FIND:
  Los autores proponen una tubería experimental de tres etapas para evaluar y mejorar el razonamiento:

  1. Inferencia Zero-Shot: Evaluar VLMs preentrenados sin adaptación específica de la tarea para establecer líneas base.
  2. Decodificación Restringida: Implementar restricciones en tiempo de inferencia (usando VLLM) para restringir la salida a tokens de opciones de respuesta válidas (por ejemplo, A/B/C/D). Esto mitiga la inestabilidad de formato y la verbosidad mientras preserva el razonamiento interno. Se aplican restricciones de tokens específicas del idioma (por ejemplo, un solo token para inglés/hindi, hasta tres para bengalí/tamil).
  3. Ajuste Fino Supervisado (SFT): Ajustar finamente VLMs en el conjunto de datos utilizando supervisión solo de respuestas. Para garantizar la eficiencia de parámetros, los autores emplean Adaptación de Bajo Rango (LoRA) con rango $r=8$, actualizando solo las proyecciones de consulta, clave y valor en las capas de atención auto y cruzada. El modelo se entrena para generar la secuencia de respuesta correcta condicionada a la entrada.

Contribuciones Clave

1. Evaluación de Referencia FinVQA: La introducción de la primera evaluación de referencia multilingüe a gran escala para la respuesta a preguntas visuales financieras en contextos indic, con 18.900 muestras en 14 dominios y seis idiomas.
2. Marco FIND: Un marco consciente de restricciones que integra ajuste fino supervisado con decodificación estructurada para mejorar la fidelidad numérica, la alineación multimodal y la toma de decisiones estructurada.
3. Evaluación Exhaustiva: Una evaluación rigurosa de VLMs de última generación (Qwen2.5-VL, Qwen3-VL, Gemma-3) en diversas escalas de parámetros (3B a 32B) y regímenes de entrenamiento (zero-shot, decodificación restringida, SFT).

Resultados Experimentales

• Jerarquía de Rendimiento: El rendimiento del modelo está fuertemente gobernado por la escala y el régimen de entrenamiento. Los modelos a gran escala (por ejemplo, Qwen3-VL-32B, Gemma-3-27B) superan significativamente a sus contrapartes más pequeñas.
• Impacto del SFT: El Ajuste Fino Supervisado ejerce la influencia más fuerte en el rendimiento, generando ganancias sustanciales sobre las líneas base zero-shot, particularmente para idiomas indic. Por ejemplo, el SFT mejoró la precisión en maratí para Qwen3-VL-4B del 26.2% (zero-shot) al 47.8%.
• Rol de la Decodificación Restringida: Si bien la decodificación restringida ayuda a la validez estructural, proporciona ganancias modestas en comparación con el SFT. Sin embargo, combinar SFT con decodificación restringida produce los resultados más robustos.
• Tendencias Lingüísticas: El hindi y el bengalí generalmente alcanzan las precisiones más altas, reflejando una mejor disponibilidad de recursos. El tamil sigue siendo el más desafiante debido a la distancia tipológica y la complejidad del script, aunque el SFT aún proporciona mejoras consistentes.
• Evaluación Humana: Las evaluaciones humanas revelan que, si bien el cumplimiento del formato es alcanzable en escalas de computación más bajas, el razonamiento financiero de alta fidelidad (comprensión del dominio, interpretación de problemas, corrección matemática) depende estrictamente de la capacidad. Los modelos grandes (27B–32B) se acercan al rendimiento casi máximo (puntuaciones de 0.9–1.0), mientras que los modelos más pequeños (3B–4B) luchan con la coherencia lógica y la fundamentación visual.
• Análisis de Errores: Los modelos pequeños fallan frecuentemente en la fundamentación visual y la consistencia lógica. Los modelos intermedios (7B–12B) muestran un análisis sintáctico mejorado pero sufren de una ejecución matemática frágil. Solo los modelos a gran escala (27B–32B) demuestran una ejecución robusta y de extremo a extremo de tareas visuales-matemáticas.

Significado y Afirmaciones
El artículo postula que el razonamiento financiero confiable y de alto riesgo en entornos multilingües requiere una combinación de capacidad de modelo a gran escala, alineación supervisada con datos específicos del dominio y restricciones estrictas de salida. Los autores afirman que FIND y FinVQA establecen un paradigma de evaluación riguroso para el razonamiento financiero multimodal, destacando que los modelos actuales a menudo exhiben "fluidez sin corrección". Enfatizan que, si bien la decodificación consciente de restricciones mejora el cumplimiento del formato, no garantiza la precisión del razonamiento, subrayando la necesidad de supervisión humana y las limitaciones de los modelos actuales en la toma de decisiones financieras prescriptivas. El trabajo sirve como un paso fundamental hacia la reducción de la brecha en las herramientas de alfabetización financiera para hablantes de idiomas indic, aunque los autores reconocen limitaciones en cuanto a la diversidad de muestras (derivadas de fuentes traducidas) y la exclusión de líneas base de código cerrado debido a restricciones de recursos.