🤖 AI

AgentFinVQA: A Deployable Multi-Agent Pipeline for Auditable Financial Chart QA

AgentFinVQA es un pipeline multiagente desplegable para la respuesta de preguntas sobre gráficos financieros audibles que logra una precisión de vanguardia en el benchmark FinMME, al tiempo que garantiza la residencia de datos y proporciona verificación trazable para entornos regulados.

Autores originales: Aravind Narayanan, Shaina Raza

Publicado 2026-06-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Aravind Narayanan, Shaina Raza

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un analista financiero intentando leer un gráfico complejo para responder a una pregunta como: "¿Qué años tuvieron ventas entre $10k y$ 25k?".

Si le haces la pregunta a una IA estándar (un modelo de "zero-shot"), es como pedirle a un pasante brillante pero impaciente que eche un vistazo al gráfico y grite la respuesta. Podría acertar, pero también podría adivinar, alucinar números o pasar por alto un pequeño detalle. Peor aún, no tienes ni idea de cómo llegó a la respuesta, y si se equivoca, no puedes demostrarlo. En el mundo financiero, donde las reglas son estrictas y los datos son sensibles, no puedes simplemente confiar en la respuesta de una "caja negra". Necesitas conocer los pasos, y no puedes enviar los datos privados de tus clientes a la computadora de un extraño.

AgentFinVQA es la solución que los autores construyeron. Piensa en esto no como un único genio, sino como una línea de ensamblaje de una fábrica especializada para responder preguntas sobre gráficos. En lugar de que una sola persona haga todo, el trabajo se divide en un equipo de especialistas, cada uno con un trabajo específico, y cada uno de los pasos se registra en un "recibo" permanente (llamado Model Evaluation Packet o Paquete de Evaluación del Modelo) para que puedas auditar exactamente qué sucedió.

Así es como funciona su "fábrica", paso a paso:

El Planificador (El Arquitecto): Antes de que nadie vea el gráfico, este agente de solo texto lee la pregunta y las opciones de opción múltiple. Aún no ve la imagen. Crea una lista de verificación: "Bien, necesitamos revisar los colores, mirar los años y comparar las barras". Le dice al equipo exactamente qué buscar.
El Lector OCR (El Escriba): Este agente observa el gráfico y lee solo el texto (títulos, etiquetas de los ejes, números). Lo anota en una lista ordenada. Esto evita que los siguientes pasos lean mal una etiqueta borrosa.
El Localizador de Leyendas (El Traductor): Los gráficos suelen usar colores (línea roja, barra azul) para representar diferentes cosas. Este agente vincula los colores con sus nombres (por ejemplo, "Rojo = Ventas 2023"). Crea un mapa para que nadie confunda los colores más adelante.
La Herramienta de Área de Color (La Cinta Métrica): Para gráficos complicados como gráficos de pastel o de barras apiladas, adivinar los tamaños a ojo es difícil. Esta no es una IA inteligente; es una calculadora simple y básica. Literalmente cuenta los píxeles de un color específico para dar una medida exacta. Es como usar una regla en lugar de adivinar con los ojos.
El Agente de Visión (El Inspector): Ahora, el agente principal mira el gráfico con la lista de verificación, la lista de texto, el mapa de colores y las mediciones de píxeles. Une todo para redactar una respuesta.
El Verificador (El Gerente de Control de Calidad): Este es el paso más importante para la confianza. Un segundo agente independiente observa la respuesta redactada y el gráfico nuevamente. Se pregunta: "¿Coincide esto realmente con los datos?".
- Si está de acuerdo, dice "Confirmado".
- Si no está de acuerdo, dice "Revisar".
- Crucialmente, el sistema registra una "puntuación de confianza". Si el gerente tiene dudas, marca la respuesta para que un humano la revise. Esto permite que las empresas enfoquen sus revisores humanos solo en las respuestas que probablemente estén mal, ahorrando tiempo.

¿Por qué es esto algo importante?

Es Auditable: Debido a que cada paso se registra en ese "recibo" (el MEP), puedes mirar atrás y decir: "Ah, el sistema falló porque confundió la línea roja con la azul". Sabes exactamente por qué.
Es Privado: Puedes ejecutar toda esta fábrica en tus propias computadoras (on-premise) utilizando software de código abierto. Nunca tienes que enviar los gráficos secretos de tus clientes a la nube de una gran empresa tecnológica.
Es Preciso: Los autores probaron esto en un conjunto de datos de gráficos financieros muy exigente llamado FinMME.
- Al utilizar una IA comercial de primer nivel (Gemini-3), su fábrica obtuvo un 7.68% más de respuestas correctas que simplemente preguntarle directamente a la IA.
- Cuando usaron una IA gratuita y de código abierto (Qwen) ejecutándose en sus propios servidores, obtuvieron un 4.84% más de respuestas correctas.
- El "Gerente de Control de Calidad" (Verificador) fue muy bueno detectando errores: cuando decía "Confirmado", la respuesta era correcta el 68.2% de las veces. Cuando decía "Revisar", la respuesta original solía estar equivocada.

¿Qué no funcionó perfectamente?

Los autores admiten que el sistema no es mágico. Aproximadamente dos tercios de los errores ocurrieron porque:

La IA malinterpretó la pregunta (por ejemplo, pensando que "el más alto" significaba "el más bajo").
Se confundió con la leyenda (mezclando qué color correspondía a qué año).
Leyó mal un número a pesar de haber encontrado el lugar correcto en el gráfico.

Curiosamente, el "Gerente de Control de Calidad" no fue muy bueno detectando este tipo de errores específicos. Esto le indica a los autores exactamente qué es lo que deben arreglar a continuación.

En resumen: AgentFinVQA convierte la suposición arriesgada y opaca de una IA en un proceso de fábrica transparente y paso a paso. Demuestra que puedes tener alta precisión, total privacidad y un rastro de papel claro, todo al mismo tiempo, que es exactamente lo que las instituciones financieras necesitan para confiar en la IA con sus datos.

Resumen Técnico: AgentFinVQA

Planteamiento del Problema

El cuestionamiento de preguntas (QA) sobre gráficos financieros en entornos regulados enfrenta una tríada de desafíos que las soluciones existentes no logran abordar simultáneamente:

Auditabilidad: Los profesionales requieren visibilidad en el razonamiento para confiar en las respuestas, pero los agentes actuales suelen ser "cajas negras" opacas.
Residencia de Datos: Muchas instituciones financieras no pueden transmitir datos sensibles de clientes a proveedores de API externos, lo que requiere un despliegue en las instalaciones (on-premise).
Precisión vs. Transparencia: Los sistemas existentes priorizan la precisión bruta utilizando APIs propietarias (careciendo de pistas de auditoría) o dependen de modelos de segmentación y ajuste fino (fine-tuning) locales que son difíciles de desplegar y auditar.

Los marcos de agentes actuales suelen depender de herramientas de visión computacional locales para manipular imágenes o requieren un ajuste fino pesado sobre conjuntos de datos anotados, lo que crea barreras de entrada para los sectores regulados. Existe una brecha para un sistema que sea exclusivamente basado en prompting (sin segmentación local ni ajuste fino específico para la tarea), totalmente auditable y desplegable en modelos de pesos abiertos (open-weight) sin una pérdida significativa de precisión.

Metodología: El Pipeline AgentFinVQA

Los autores proponen AgentFinVQA, un pipeline multi-agente que descompone el QA de gráficos en etapas secuenciales y trazables. El sistema opera sobre una imagen de un gráfico financiero ( $c$ ), una pregunta en lenguaje natural ( $q$ ) y opciones de selección múltiple opcionales ( $O$ ).

Arquitectura Central

El pipeline ejecuta las etapas en un orden fijo: Plan $\rightarrow$ OCR $\rightarrow$ Ground $\rightarrow$ Colour-Area $\rightarrow$ Inspect $\rightarrow$ Verify. Cada etapa escribe las entradas, salidas y trazas de herramientas en un Paquete de Evaluación del Modelo (MEP), un artefacto JSON portátil que permite una auditabilidad completa y la atribución de errores post-hoc.

Planner (Planificador): Un LLM puramente de texto analiza la pregunta y las opciones de selección múltiple (sin ver la imagen) para generar un plan de inspección estructurado en JSON. Clasifica el tipo de pregunta e instruye al agente de visión subsiguiente sobre cómo manejar consultas de selección única frente a las de selección múltiple.
OCR Reader (Lector OCR): Una llamada a un Modelo de Lenguaje de Visión (VLM) enfocado transcribe todo el texto visible (etiquetas de ejes, marcas de graduación, leyendas, anotaciones) en metadatos estructurados. Esto evita que el agente de visión lea erróneamente el texto posteriormente.
Legend Grounder (Vinculación de Leyenda): Una llamada dirigida a un VLM mapea las entradas de la leyenda con propiedades visuales (descripciones de color, RGB aproximado, estilo de línea). Este mapa se inyecta en el prompt de visión como evidencia explícita, con una comprobación de cumplimiento que asegura que el agente de visión haga referencia a estas etiquetas.
Colour-Area Tool (Herramienta de Color-Área): Una etapa determinista basada en reglas de conteo de píxeles (usando OpenCV) que se activa para gráficos de barras/tarta/donas con palabras clave de comparación. Aplica máscaras de color HSV basadas en el mapa de la leyenda para contar píxeles por serie, proporcionando una "pista de etiqueta dominante" al agente de visión. Esta etapa no requiere GPU ni modelos entrenados.
Vision Agent (Agente de Visión): Un agente orquestado (usando CrewAI) ejecuta el plan de inspección utilizando la imagen del gráfico, los metadatos de OCR, el mapa de la leyenda y las pistas de color-área. Produce una respuesta provisional y puntuaciones de confianza por cada opción. Un mecanismo de "reintento de elección forzada" gestiona la sobre-negativa en selección múltiple.
Verifier (Verificador): Una llamada independiente a un VLM audita la respuesta provisional contra la imagen del gráfico. Emite un veredicto de CONFIRM (Confirmar) o REVISE (Revisar) con un puntaje de confianza auto-reportado. Una puerta de confianza (umbral de 0.75) evita que las revisiones de baja confianza sobrescriban las salidas de visión de alta calidad.

Flexibilidad de Despliegue

El sistema utiliza una abstracción de backend configurable. Soporta APIs propietarias (ej. Gemini-3 Flash) y modelos de pesos abiertos servidos localmente (ej. Qwen3.6-27B-FP8 vía vLLM). Esto permite a las instituciones ejecutar todo el pipeline en sus propias instalaciones en una sola GPU A100, asegurando que los datos nunca salgan de su infraestructura.

Contribuciones Clave

Pipeline AgentFinVQA: Un marco multi-agente basado únicamente en prompting que descompone el QA de gráficos en pasos especializados, registrando cada acción en un MEP trazable para una auditabilidad completa.
Viabilidad de Pesos Abiertos: Evidencia empírica de que las ganancias de precisión de la descomposición agéntica se transfieren de los backbones propietarios a los modelos de pesos abiertos servidos localmente, apoyando el despliegue interno con un compromiso de precisión moderado.
Enrutamiento Basado en Confianza: El veredicto del verificador sirve como una señal práctica de confianza. Las respuestas marcadas como "Revisadas" se señalan para revisión humana, mientras que las respuestas "Confirmadas" se tratan con menor prioridad, optimizando el flujo de trabajo de intervención humana.

Resultados

Evaluado en el benchmark FinMME (~11,000 muestras), AgentFinVQA demuestra mejoras significativas sobre las líneas base de zero-shot emparejadas con el modelo:

Proprietary Backbone (Gemini-3 Flash):
- Precisión Media: 71.24% frente a 63.56% (Zero-shot).
- Mejora: +7.68 puntos porcentuales (pp).
- Precisión en MCQ: +8.1 pp.
- Significancia Estadística: McNemar $p \approx 1.1 \times 10^{-16}$ .
Open-Weight Backbone (Qwen3.6-27B-FP8, Local):
- Precisión Media: 66.52% frente a 61.68% (Zero-shot).
- Mejora: +4.84 pp.
- Precisión en MCQ: +5.3 pp.
- Significancia Estadística: McNemar $p \approx 3.0 \times 10^{-6}$ .
- Nota: El modelo de pesos abiertos no mostró una ganancia fiable en preguntas abiertas (-1.0 pp), lo que sugiere un costo de precisión moderado para los tipos de preguntas más difíciles en entornos locales.

Análisis de Errores y Utilidad del Verificador

Modos de Fallo: Aproximadamente dos tercios de los fallos derivan de malentendidos de la pregunta, confusión de la leyenda y errores de extracción.
Rendimiento del Verificador: El verificador identifica eficazmente los errores en algunas categorías, pero es menos efectivo al detectar malentendidos de la pregunta y confusión de la leyenda.
Señal de Enrutamiento: Las respuestas marcadas como "Confirmadas" por el verificador alcanzaron un 68.2% de precisión exacta, en comparación con el 55.6% de las respuestas "Revisadas". Esto sugiere que el verificador puede enrutar con éxito el ~19% de las salidas que tienen mayor probabilidad de estar erróneas hacia los analistas humanos, mientras que el ~81% restante puede confiarse con mayor seguridad.

Significancia y Reivindicaciones

El artículo sostiene que el QA de gráficos financieros auditable y en las instalaciones es práctico. Demuestra que:

La descomposición agéntica mejora la precisión significativamente sobre las líneas base de zero-shot sin requerir modelos de visión computacional locales o ajuste fino específico para la tarea.
Estas ganancias no dependen de APIs propietarias; persisten con modelos de pesos abiertos servidos localmente, permitiendo la residencia total de los datos.
La integración de un verificador proporciona un mecanismo para el "enrutamiento de revisión humana basado en la confianza", ofreciendo un compromiso pragmático entre la automatización y la auditabilidad adecuado para entornos financieros regulados.

Los autores reconocen limitaciones, incluyendo la falta de pruebas de generalización entre conjuntos de datos (solo se usó FinMME), el costo de precisión moderado en preguntas abiertas para modelos de pesos abiertos, y el hecho de que la confianza del verificador es auto-reportada en lugar de calibrada. También señalan que el valor de la herramienta de color-área es primordialmente arquitectónico (fundamentación determinista y traza de auditoría) más que un aumento en la precisión agregada, ya que se activa solo en el 5% del conjunto de datos.