Resumo Técnico: AgentFinVQA

Declaração do Problema

O questionamento de perguntas (QA) sobre gráficos financeiros em ambientes regulados enfrenta uma tríade de desafios que as soluções existentes não conseguem abordar simultaneamente:

1. Auditabilidade: Profissionais exigem visibilidade do raciocínio para confiar nas respostas, mas os agentes atuais são frequentemente "caixas pretas" opacas.
2. Residência de Dados: Muitas instituições financeiras não podem transmitir dados sensíveis de clientes para provedores de API externos, o que exige implantação on-premise.
3. Precisão vs. Transparência: Os sistemas existentes ou priorizam a precisão bruta usando APIs proprietárias (carecendo de trilhas de auditoria) ou dependem de modelos de segmentação e ajuste fino locais que são difíceis de implantar e auditar.

Os frameworks agênticos atuais muitas vezes dependem de ferramentas locais de visão computacional para manipular imagens ou exigem um ajuste fino pesado em conjuntos de dados anotados, criando barreiras de entrada para setores regulados. Existe uma lacuna para um sistema que seja apenas baseado em prompting (sem segmentação local ou ajuste fino específico para tarefas), totalmente auditável e implantável em modelos de pesos abertos sem perda significativa de precisão.

Metodologia: O Pipeline AgentFinVQA

Os autores propõem o AgentFinVQA, um pipeline multi-agente que decompõe o QA de gráficos em estágios sequenciais e rastreáveis. O sistema opera sobre uma imagem de gráfico financeiro ($c$), uma pergunta em linguagem natural ($q$) e opções de múltipla escolha opcionais ($O$).

Arquitetura Central

O pipeline executa os estágios em uma ordem fixa: Plan $\rightarrow$ OCR $\rightarrow$ Ground $\rightarrow$ Colour-Area $\rightarrow$ Inspect $\rightarrow$ Verify. Cada estágio escreve entradas, saídas e traços de ferramentas em um Model Evaluation Packet (MEP), um artefato JSON portátil que permite total auditabilidade e atribuição de erro post-hoc.

1. Planner (Planejador): Um LLM apenas de texto analisa a pergunta e as opções de MCQ (múltipla escolha) (sem ver a imagem) para gerar um plano de inspeção estruturado em JSON. Ele classifica o tipo de pergunta e instrui o agente de visão subsequente sobre como lidar com consultas de seleção única vs. seleção múltipla.
2. OCR Reader (Leitor de OCR): Uma chamada de Modelo de Linguagem de Visão (VLM) focada transcreve todo o texto visível (rótulos de eixos, marcas de escala, legendas, anotações) em metadados estruturados. Isso evita que o agente de visão leia o texto incorretamente mais tarde.
3. Legend Grounder (Fundamentação de Legenda): Uma chamada de VLM direcionada mapeia as entradas da legenda para propriedades visuais (descrições de cores, RGB aproximado, estilo de linha). Este mapa é injetado no prompt de visão como evidência explícita, com uma verificação de conformidade que garante que o agente de visão referencie esses rótulos.
4. Colour-Area Tool (Ferramenta de Cor-Área): Um estágio determinístico de contagem de pixels baseado em regras (usando OpenCV) que é ativado para gráficos de barras/pizza/donut com palavras-chave de comparação. Ele aplica máscaras de cor HSV baseadas no mapa da legenda para contar pixels por série, fornecendo uma "dica de rótulo dominante" ao agente de visão. Este estágio não requer GPU ou modelos treinados.
5. Vision Agent (Agente de Visão): Um agente orquestrado (usando CrewAI) executa o plano de inspeção usando a imagem do gráfico, metadados de OCR, mapa de legenda e dicas de cor-área. Ele produz uma resposta rascunho e pontuações de confiança por escolha. Um mecanismo de "tentativa de escolha forçada" lida com a recusa excessiva em MCQs.
6. Verifier (Verificador): Uma chamada de VLM independente audita o rascunho da resposta contra a imagem do gráfico. Ele emite um veredito de CONFIRM (Confirmar) ou REVISE (Revisar) com uma pontuação de confiança autorrelatada. Um portão de confiança (limiar de 0.75) impede que revisões de baixa confiança sobreponham saídas de visão de alta qualidade.

Flexibilidade de Implantação

O sistema utiliza uma abstração de backend configurável. Ele suporta APIs proprietárias (ex: Gemini-3 Flash) e modelos de pesos abertos servidos localmente (ex: Qwen3.6-27B-FP8 via vLLM). Isso permite que as instituições executem todo o pipeline on-premise em uma única GPU A100, garantindo que os dados nunca deixem sua infraestrutura.

Principais Contribuições

1. Pipeline AgentFinVQA: Um framework multi-agente baseado apenas em prompting que decompõe o QA de gráficos em etapas especializadas, registrando cada ação em um MEP rastreável para total auditabilidade.
2. Viabilidade de Pesos Abertos: Evidência empírica de que os ganhos de precisão da decomposição agêntica se transferem dos backbones proprietários para modelos de pesos abertos servidos localmente, apoiando a implantação interna com um modesto compromisso de precisão.
3. Roteamento Baseado em Confiança: O veredito do verificador serve como um sinal prático de confiança. Respostas marcadas como "Revisadas" são sinalizadas para revisão humana, enquanto respostas "Confirmadas" são tratadas como menor prioridade, otimizando o fluxo de trabalho humano no loop (human-in-the-loop).

Resultados

Avaliado no benchmark FinMME (~11.000 amostras), o AgentFinVQA demonstra melhorias significativas sobre as linhas de base zero-shot correspondentes ao modelo:

• Proprietary Backbone (Gemini-3 Flash):
  • Precisão Média: 71,24% vs. 63,56% (Zero-shot).
  • Melhoria: +7,68 pontos percentuais (pp).
  • Precisão de MCQ: +8,1 pp.
  • Significância Estatística: McNemar $p \approx 1,1 \times 10^{-16}$.
• Open-Weight Backbone (Qwen3.6-27B-FP8, Local):
  • Precisão Média: 66,52% vs. 61,68% (Zero-shot).
  • Melhoria: +4,84 pp.
  • Precisão de MCQ: +5,3 pp.
  • Significância Estatística: McNemar $p \approx 3,0 \times 10^{-6}$.
  • Nota: O modelo de peso aberto não mostrou ganho confiável em perguntas abertas (-1,0 pp), sugerindo um modesto custo de precisão para os tipos de perguntas mais difíceis em configurações on-premise.

Análise de Erros e Utilidade do Verificador

• Modos de Falha: Aproximadamente dois terços das falhas derivam de compreensão equivocada da pergunta, confusão de legenda e erros de extração.
• Desempenho do Verificador: O verificador identifica efetivamente erros em algumas categorias, mas é menos eficaz na detecção de incompreensões de perguntas e confusões de legenda.
• Sinal de Roteamento: Respostas marcadas como "Confirmadas" pelo verificador alcançaram 68,2% de precisão exata, comparado a 55,6% para respostas "Revisadas". Isso sugere que o verificador pode rotear com sucesso as ~19% das saídas que têm maior probabilidade de estarem erradas para analistas humanos, enquanto as outras ~81% podem ser confiadas com maior segurança.

Significância e Alegações

O artigo afirma que o QA de gráficos financeiros auditável e on-premise é prático. Ele demonstra que:

• A decomposição agêntica melhora a precisão significativamente em relação às linhas de base zero-shot sem exigir modelos de visão computacional locais ou ajuste fino específico para tarefas.
• Esses ganhos não dependem de APIs proprietárias; eles persistem com modelos de pesos abertos servidos localmente, permitindo a residência total dos dados.
• A integração de um verificador fornece um mecanismo para "roteamento de revisão humana baseado em confiança", oferecendo um compromisso pragmático entre automação e auditabilidade adequado para ambientes financeiros regulados.

Os autores reconhecem limitações, incluindo a falta de testes de generalização entre datasets (apenas o FinMME foi usado), o modesto custo de precisão em perguntas abertas para modelos de pesos abertos e o fato de a confiança do verificador ser autorrelatada e não calibrada. Eles observam que o valor da ferramenta de cor-área é primariamente arquitetural (fundamentação determinística e rastro de auditoria) em vez de um aumento agregado de precisão, já que ela é ativada em apenas 5% do conjunto de dados.