SAFE-Cascade: Cost-Adaptive Vision-Language Routing for Chart Question Answering

Resumo Técnico: SAFE-Cascade

Definição do Problema
Modelos de visão-linguagem (VLMs) demonstraram capacidades robustas em questionamento de gráficos (ChartQA), contudo, invocar um VLM completo para cada consulta é frequentemente dispendioso computacionalmente e desnecessário. Muitas perguntas sobre gráficos podem ser resolvidas utilizando a extração de texto via Reconhecimento Óptico de Caracteres (OCR) combinada com raciocínio linguístico leve, sem exigir um embasamento visual profundo. O problema central abordado é como rotear dinamicamente as consultas entre um caminho de baixo custo baseado apenas em texto e um caminho de alto custo via VLM para otimizar os custos de inferência mantendo a precisão da resposta.

Metodologia
O SAFE-Cascade é um sistema interativo e adaptável ao custo, projetado para rotear consultas de Chart QA com base na necessidade estimada de inferência visual. O sistema opera através de um pipeline de quatro estágios:

1. Extração de OCR: Ao receber uma imagem de gráfico e uma pergunta em linguagem natural, o sistema primeiro extrai texto, fragmentos de layout e tokens usando o Azure Document Intelligence.
2. Resposta Apenas de Texto: Um Modelo de Linguagem de Grande Escala apenas de texto (especificamente o gpt-5-mini) processa a pergunta e o texto OCR extraído para gerar uma resposta provisória.
3. Roteamento Aprendido: Um classificador Random Forest atua como um roteador. Ele analisa características de tempo de inferência — incluindo comprimento/densidade do OCR, comprimento da pergunta, flags numéricos/de comparação, sobreposição pergunta-OCR, comprimento da resposta de texto e indicadores de respostas desconhecidas ou vazias — para estimar uma probabilidade de escalonamento ($p_{esc}$).
4. Escalonamento Condicional: Se $p_{esc}$ exceder um limiar configurável ($\theta$), o sistema escala a consulta para um VLM (especificamente o gemini-2.5-flash-image), que processa a imagem original e a pergunta. Caso contrário, a resposta apenas de texto é aceita como final.

O sistema é implementado como um serviço modular com uma interface Streamlit transparente. Ele expõe todo o processo de decisão ao usuário, exibindo evidências de OCR, a resposta de texto provisória, a confiança do roteamento, a decisão final e o custo/latência estimados.

Principais Contribuições
O artigo delineia quatro contribuições primárias:

• Sistema de Chart QA Adaptável ao Custo: Uma arquitetura inovadora que roteia seletivamente entre o raciocínio de OCR mais texto e o raciocínio de VLM completo, em vez de adotar este último por padrão.
• Interface de Roteamento Transparente: Diferente do roteamento de "caixa preta", o SAFE-Cascade visualiza a evidência (fragmentos de OCR), a resposta provisória, a confiança do roteador e o resultado final, permitindo que os usuários inspecionem por que um caminho visual foi ou não invocado.
• Interface Operacional Interativa: O sistema inclui um controle deslizante de limiar que permite aos usuários explorar interativamente o equilíbrio entre precisão e custo (taxa de invocação do VLM) em tempo real.
• Validação em Conjunto Excluído: O sistema é validado em uma divisão de teste excluída (held-out split) do benchmark ChartQA, demonstrando que o roteamento aprendido pode igualar o desempenho de um VLM completo enquanto reduz significativamente as chamadas de VLM.

Resultados
Avaliado em uma divisão de teste de 375 exemplos do conjunto de dados ChartQA-2500:

• Precisão: O SAFE-Cascade (com limiar $\theta=0.3$) alcançou 69,1% de precisão unificada. Isso é estatisticamente comparável à linha de base do VLM completo, que alcançou 67,7% de precisão (os intervalos de confiança se sobrepõem).
• Eficiência: O sistema reduziu a invocação de VLM em 26,9% (de 100% para 73,1%) e reduziu os custos de inferência estimados em 9,3% em comparação com a linha de base do VLM completo.
• Desempenho do Roteamento: O roteador alcançou um F1 score de escalonamento de 84,2%, com 87,4% de recall e 81,3% de precisão. O principal modo de falha identificado foi o "escalonamento perdido" (5,9%), onde o sistema aceitou uma resposta de texto incorreta que o VLM teria corrigido.
• Sensibilidade do Limiar: Uma varredura de limiar revelou que reduzir o limiar aumenta o uso de VLM e preserva a precisão, enquanto aumentar o limiar reduz os custos, mas aumenta significativamente a taxa de escalonamentos perdidos (ex: em $\theta=0.7$, os escalonamentos perdidos sobem para 27,2%).

Significância e Alegações
Os autores posicionam o SAFE-Cascade não meramente como uma melhoria de desempenho sobre modelos existentes, mas como um framework transparente e ajustável para inferência multimodal. O artigo alega que o sistema demonstra com sucesso como o roteamento seletivo de modalidade pode tornar os sistemas de conhecimento mais conscientes de custo e interpretáveis.

Os autores formulam seus resultados de forma modesta: eles não alegam uma melhoria estatisticamente significativa de precisão sobre a linha de base do VLM completo. Em vez disso, interpretam o sistema como algo que iguala o desempenho do VLM completo enquanto alcança reduções substanciais de custo. A significância reside na capacidade de expor a "fronteira custo-precisão" aos usuários, permitindo que profissionais ajustem o comportamento do sistema com base em restrições específicas de orçamento ou latência. O trabalho destaca que o ganho principal vem de aprender quando o caminho de texto é insuficiente, em vez de simplesmente adicionar OCR ou usar regras heurísticas.

Limitações
O artigo reconhece várias limitações: a validação é atualmente restrita ao conjunto de dados ChartQA; os valores de latência são estimativas e não tempos de produção medidos; o roteador é sequencial (pós-texto) em vez de especulativo; e as estimativas de custo baseiam-se em preços configurados, não em faturamento real. Sugere-se para trabalhos futuros a validação em múltiplos domínios (ex: DocVQA) e a exploração de estratégias de pré-roteamento ou execução paralela.