PyFi: Toward Pyramid-like Financial Image Understanding for VLMs via Adversarial Agents

Título: PyFi: Rumo à Compreensão de Imagens Financeiras em Formato de Pirâmide para Modelos de Linguagem e Visão (VLMs) via Agentes Adversariais

1. Problema

Os Modelos de Linguagem e Visão (VLMs) demonstraram capacidades notáveis em raciocínio passo a passo (Chain-of-Thought) em domínios gerais e científicos. No entanto, sua aplicação no domínio financeiro permanece limitada devido a desafios específicos:

• Escassez de Dados de Alta Qualidade: A criação de conjuntos de dados de avaliação e fine-tuning para finanças exige um alto nível de expertise e conhecimento de domínio. Os métodos atuais dependem de anotação manual (custosa e difícil de escalar) ou de síntese automática por modelos grandes, que frequentemente introduzem alucinações, erros factuais e vieses acumulados.
• Falta de Estrutura Hierárquica: As avaliações existentes geralmente tratam o raciocínio financeiro como uma tarefa única, sem decompor o problema em níveis cognitivos progressivos (da percepção visual básica à tomada de decisão complexa).
• Dificuldade de Interpretação: É difícil diagnosticar em qual etapa do raciocínio um VLM falha (ex: falha na extração de dados vs. falha na lógica financeira), dificultando a melhoria direcionada dos modelos.

2. Metodologia

O artigo propõe o PyFi, um framework inovador composto por um dataset sintetizado e um mecanismo de geração adversarial.

A. Dataset PyFi-600K

O núcleo da proposta é o PyFi-600K, um conjunto de dados massivo contendo 600.000 pares de pergunta-resposta organizados em uma estrutura de pirâmide de 6 níveis de cognição financeira:

1. Percepção (PP): Identificação básica de elementos visuais (eixos, cores, legendas).
2. Extração de Dados (DE): Conversão de informações visuais em dados quantitativos/categóricos.
3. Análise de Cálculo (CA): Realização de operações aritméticas básicas e estatísticas.
4. Reconhecimento de Padrões (PR): Identificação de tendências e formas nos dados.
5. Raciocínio Lógico (LR): Integração de padrões com conhecimento financeiro para inferências causais.
6. Suporte à Decisão (DS): Formulação de recomendações ou políticas baseadas na análise completa.

Cada amostra é parte de uma cadeia de perguntas (question chains), onde uma pergunta complexa de nível superior (ex: Nível 6) é resolvida respondendo sequencialmente a sub-perguntas de níveis inferiores. O dataset cobre 17 temas financeiros e 11 tipos de gráficos.

B. Mecanismo de Geração: PyFi-adv

Para superar a necessidade de anotação humana, os autores desenvolveram o PyFi-adv, um mecanismo de agentes adversariais baseado no paradigma de Busca em Árvore de Monte Carlo (MCTS):

• Agente Desafiador (Challenger): Gera perguntas progressivamente mais difíceis para testar os limites do solver.
• Agente Solucionador (Solver): Tenta responder às perguntas utilizando conhecimento financeiro.
• Dinâmica Adversarial: Os agentes competem dentro do MCTS. O desafiador cria novos nós (perguntas) baseados nas respostas do solucionador, aumentando a complexidade até atingir o nível de decisão (Nível 6).
• Atribuição de Recompensa: Uma vez que a cadeia atinge o topo e a resposta final é validada (via consenso de múltiplos LLMs), a recompensa é propagada de volta (backpropagation) para todas as etapas da cadeia, atribuindo pontuações de precisão a cada passo do raciocínio. Isso permite a supervisão de processo (process supervision).

3. Contribuições Principais

1. PyFi-600K: O primeiro dataset financeiro em larga escala (600k amostras) com anotações passo a passo, estruturado hierarquicamente e gerado automaticamente sem anotação humana direta.
2. Mecanismo PyFi-adv: A primeira aplicação de agentes adversariais em MCTS para síntese de dados financeiros, permitindo a criação escalável de curricula de aprendizado (do simples ao complexo).
3. Avaliação Granular e Diagnóstica: Capacidade de avaliar VLMs em 6 níveis de capacidade cognitiva, permitindo identificar exatamente onde os modelos falham (ex: se o erro ocorre na extração de dados ou no raciocínio lógico).
4. Supervisão de Processo: Introdução de pontuações de recompensa para cada etapa do raciocínio, facilitando o treinamento de Modelos de Recompensa de Processo (PRMs) para verificação de passos.

4. Resultados Experimentais

Os autores realizaram extensos experimentos com 15 VLMs pré-treinados (incluindo GPT-4.1, Claude-opus, GLM-4.5V, Qwen, etc.) e realizaram fine-tuning em modelos Qwen2.5-VL (3B e 7B).

• Desempenho dos Modelos Pré-treinados:

  • Houve um declínio acentuado na precisão à medida que a complexidade aumentava. A precisão média caiu de 71,80% no Nível 1 (Percepção) para apenas 32,95% no Nível 6 (Suporte à Decisão).
  • Mesmo os modelos mais avançados (como GLM-4.5V) tiveram queda significativa em tarefas de decisão financeira.
  • Análise de Erros: A Análise de Cálculo (CA) foi identificada como o principal gargalo e causa de falha na tomada de decisão final.

• Impacto do Fine-Tuning com Cadeias de Perguntas:

  • Modelos ajustados (PyFi-QwenVL) mostraram melhorias significativas ao aprender a decompor problemas complexos em sub-perguntas.
  • Ganhos de Precisão:
    • O modelo Qwen2.5-VL-3B teve um aumento de 19,52% na precisão média.
    • O modelo Qwen2.5-VL-7B teve um aumento de 8,06%.
  • O modelo 3B ajustado superou modelos muito maiores (como o Qwen-72B) em tarefas específicas de Reconhecimento de Padrões e Raciocínio Lógico, demonstrando que a estrutura de dados é mais crítica que apenas o tamanho do modelo.

• Interpretabilidade: O uso de cadeias de perguntas permitiu rastrear erros. Por exemplo, se um modelo falha na decisão final, é possível identificar se a raiz do erro foi uma extração incorreta de dados (Nível 2) ou um cálculo errado (Nível 3).

5. Significância e Impacto

• Avanço no Domínio Financeiro: O PyFi preenche uma lacuna crítica ao fornecer um benchmark escalável e de alta qualidade para VLMs financeiros, superando as limitações de dados sintéticos anteriores (alucinações) e manuais (custo).
• Mudança de Paradigma na Avaliação: Move a avaliação de "resposta correta/errada" para uma análise de processo de raciocínio, permitindo entender a "caixa preta" dos modelos em tarefas financeiras complexas.
• Escalabilidade: Demonstra que é possível criar datasets de treinamento massivos e de alta qualidade para domínios especializados sem depender de anotação humana contínua, utilizando agentes adversariais.
• Aplicabilidade Prática: Os resultados sugerem que, para aplicações financeiras reais (onde a precisão é vital), os modelos devem ser treinados para raciocinar passo a passo, validando cada etapa (percepção, cálculo, lógica) antes de chegar a uma conclusão, reduzindo alucinações e aumentando a confiabilidade.

Em resumo, o PyFi estabelece um novo padrão para a compreensão de imagens financeiras, provando que uma abordagem hierárquica e adversarial pode transformar a capacidade de VLMs de lidar com problemas financeiros complexos e críticos.