SAFE-Cascade: Cost-Adaptive Vision-Language Routing for Chart Question Answering

Resumen Técnico: SAFE-Cascade

Planteamiento del Problema
Los modelos de visión y lenguaje (VLM) han demostrado capacidades sólidas en el cuestionamiento de gráficos (ChartQA); sin embargo, invocar un VLM completo para cada consulta suele ser computacionalmente costoso e innecesario. Muchas preguntas sobre gráficos pueden resolverse mediante la extracción de texto por Reconocimiento Óptico de Caracteres (OCR) combinada con un razonamiento lingüístico ligero, sin requerir un anclaje visual profundo. El problema central abordado es cómo enrutar dinámicamente las consultas entre una vía de bajo costo basada solo en texto y una vía de alto costo basada en VLM para optimizar los costos de inferencia manteniendo la precisión de las respuestas.

Metodología
SAFE-Cascade es un sistema interactivo y adaptativo al costo diseñado para enrutar consultas de ChartQA basándose en la necesidad estimada de inferencia visual. El sistema opera a través de un flujo de trabajo de cuatro etapas:

1. Extracción de OCR: Al recibir una imagen de un gráfico y una pregunta en lenguaje natural, el sistema primero extrae texto, fragmentos de diseño (layout) y tokens utilizando Azure Document Intelligence.
2. Respuesta Solo de Texto: Un Modelo de Lenguaje Grande (LLM) que procesa solo texto (específicamente gpt-5-mini) procesa la pregunta y el texto de OCR extraído para generar una respuesta provisional.
3. Enrutamiento Aprendido: Un clasificador de Bosque Aleatorio (Random Forest) actúa como enrutador. Analiza características en tiempo de inferencia —incluyendo longitud/densidad de OCR, longitud de la pregunta, indicadores numéricos/de comparación, solapamiento entre pregunta y OCR, longitud de la respuesta de texto e indicadores de respuestas desconocidas o vacías— para estimar una probabilidad de escalamiento ($p_{esc}$).
4. Escalamiento Condicional: Si $p_{esc}$ supera un umbral configurable ($\theta$), el sistema escala la consulta a un VLM (específicamente gemini-2.5-flash-image), el cual procesa la imagen original y la pregunta. De lo contrario, la respuesta de solo texto se acepta como definitiva.

El sistema está implementado como un servicio modular con una interfaz de Streamlit transparente. Expone todo el proceso de decisión al usuario, mostrando la evidencia de OCR, la respuesta provisional de texto, la probabilidad de enrutamiento, la decisión final y el costo/latencia estimados.

Contribuciones Clave
El artículo describe cuatro contribuciones primarias:

• Sistema de Chart QA Adaptativo al Costo: Una arquitectura novedosa que enruta selectivamente entre el razonamiento de OCR más texto y el razonamiento de VLM completo, en lugar de recurrir por defecto a este último.
• Interfaz de Enrutamiento Transparente: A diferencia del enrutamiento de "caja negra", SAFE-Cascade visualiza la evidencia (fragmentos de OCR), la respuesta provisional, la confianza del enrutador y el resultado final, permitiendo a los usuarios inspeccionar por qué se invocó o no una vía visual.
• Frontera Operativa Interactiva: El sistema incluye un control deslizante de umbral que permite a los usuarios explorar interactivamente la compensación entre precisión y costo (tasa de invocación de VLM) en tiempo real.
• Validación con Datos No Vistos: El sistema se valida en una división de retención (held-out split) del conjunto de datos ChartQA, demostrando que el enrutamiento aprendido puede igualar el rendimiento de un VLM completo reduciendo significativamente las llamadas al VLM.

Resultos
Evaluado en una división de prueba de 375 ejemplos del conjunto de datos ChartQA-2500:

• Precisión: SAFE-Cascade (con un umbral $\theta=0.3$) logró una precisión unificada del 69.1%. Esto es estadísticamente comparable a la línea base de VLM completo, que alcanzó un 67.7% de precisión (los intervalos de confianza se solapan).
• Eficiencia: El sistema redujo la invocación de VLM en un 26.9% (del 100% al 73.1%) y redujo los costos de inferencia estimados en un 9.3% en comparación con la línea base de VLM completo.
• Rendimiento del Enrutamiento: El enrutador logró una puntuación F1 de escalamiento de 84.2%, con un 87.4% de exhaustividad (recall) y un 81.3% de precisión (precision). El principal modo de falla identificado fue el "escalamiento omitido" (5.9%), donde el sistema aceptó una respuesta de texto incorrecta que el VLM habría corregido.
• Sensibilidad del Umbral: Un barrido de umbrales reveló que disminuir el umbral aumenta el uso de VLM y preserva la precisión, mientras que aumentarlo reduce los costos pero incrementa significativamente la tasa de escalamientos omitidos (por ejemplo, con $\theta=0.7$, los escalamientos omitidos aumentan al 27.2%).

Significancia y Reivindicaciones
Los autores posicionan a SAFE-Cascade no meramente como una mejora de rendimiento sobre modelos existentes, sino como un marco transparente y ajustable para la inferencia multimodal. El artículo afirma que el sistema demuestra con éxito cómo el enrutamiento selectivo de modalidades puede hacer que los sistemas de conocimiento sean más conscientes del costo e interpretables.

Los autores plantean sus resultados con modestia: no afirman una mejora estadísticamente significativa en la precisión sobre la línea base de VLM completo. En su lugar, interpretan el sistema como uno que iguala el rendimiento del VLM completo mientras logra reducciones sustanciales de costos. La significancia radica en la capacidad de exponer la "frontera de costo-precisión" a los usuarios, permitiendo a los profesionales ajustar el comportamiento del sistema basándose en restricciones específicas de presupuesto o latencia. El trabajo destaca que la principal ganancia proviene de aprender cuándo la vía de texto es insuficiente, en lugar de simplemente añadir OCR o usar reglas heurísticas.

Limitaciones
El artículo reconoce varias limitaciones: la validación se restringe actualmente al conjunto de datos ChartQA; los valores de latencia son estimaciones en lugar de tiempos de producción medidos; el enrutador es secuencial (post-texto) en lugar de especulativo; y las estimaciones de costo se basan en precios configurados en lugar de facturación real. Se sugiere para trabajos futuros la validación en otros dominios (por ejemplo, DocVQA) y la exploración de estrategias de pre-enrutamiento o ejecución paralela.