💬 NLP

CURV: Enhancing Chart Understanding Through Curriculum Visual Grounded Reasoning

O artigo apresenta o CURV, um framework de aprendizagem por currículo pareado com o conjunto de dados CCQA, que aprimora o questionamento de gráficos através do treinamento de modelos multimodais para realizar raciocínio visual fundamentado, intrínseco e de múltiplas etapas, resultando em melhorias significativas de desempenho em vários benchmarks.

Autores originais: Xuehang Guo, Pingyue Zhang, Ruiyi Zhang, Zhenhailong Wang, Hanrui Lyu, Heng Ji, Tong Sun, Qingyun Wang, Manling Li

Publicado 2026-08-05

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Xuehang Guo, Pingyue Zhang, Ruiyi Zhang, Zhenhailong Wang, Hanrui Lyu, Heng Ji, Tong Sun, Qingyun Wang, Manling Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um quebra-cabeça complexo, mas em vez de apenas olhar para a imagem na caixa, você tem que descobrir a imagem enquanto o monta. Este é o dilema diário dos Modelos de Linguagem de Grande Escala Multimodais (MLLMs) — programas de computador superinteligentes que conseguem ler texto e observar imagens ao mesmo tempo. No momento, esses programas são como alunos brilhantes que conseguem ler um livro de matemática perfeitamente, mas ficam confusos quando solicitados a resolver um problema em um quadro branco porque não conseguem focar direito nos números certos. Eles frequentemente misturam o que veem com o que pensam, levando a respostas que parecem lógicas, mas que estão totalmente erradas porque leram mal um gráfico ou perderam um detalhe minúsculo. Cientistas tentaram corrigir isso fornecendo aos computadores "materiais de referência" ou pedindo que eles expliquem seus passos em voz alta (um método chamado Cadeia de Pensamento ou Chain-of-Thought), mas os computadores ainda lutam para conectar seu pensamento diretamente à evidência visual em tempo real. Eles precisam aprender a olhar, pensar e olhar novamente, tudo em um único movimento fluido, exatamente como um humano faz.

Apresentamos o CURV, um novo método de treinamento projetado para ensinar esses modelos de IA a se tornarem melhores detetives visuais. Pense no CURV como um "sistema de níveis de videogame" para o aprendizado. Em vez de jogar um computador diretamente na batalha mais difícil contra um chefe, o CURV começa no "Nível 1", onde ele aprende a ler gráficos simples e a apontar para os números corretos. À medida que melhora, ele desbloqueia o "Nível 2", onde precisa combinar duas informações e, finalmente, o "Nível 3", onde tem que equilibrar vários gráficos ao mesmo tempo. O ingrediente secreto é que, em cada etapa do caminho, o modelo é forçado a apontar fisamente para a parte da imagem sobre a qual está falando. É como ensinar uma criança a fazer matemática fazendo-a tocar nas maçãs sobre a mesa antes que ela possa dizer "cinco".

Os pesquisadores por trás deste artigo, o CURV, descobriram que esse treinamento passo a passo de "olhar-então-pensar" faz maravilhas. Eles criaram um novo conjunto de dados massivo chamado CCQA (Curriculum Chart Question Answering) para servir como campo de treinamento. Este conjunto de dados é construído como uma escada, com perguntas tornando-se progressivamente mais difíceis, desde o simples "qual é este número?" até o complexo "compare estes dois gráficos e diga-me a diferença". Ao treinar nesta escada, os modelos aprenderam a internalizar a habilidade de fundamentar seu raciocínio no que realmente estão vendo. Os resultados foram impressionantes: os modelos treinados com o CURV melhoraram sua precisão em até 20,50% em seus testes de treinamento. Mais importante ainda, eles não ficaram bons apenas nas perguntas de prática; eles ficaram melhores em gráficos do mundo real que nunca tinham visto antes, melhorando em até 12,30%, e até melhoraram em outros tipos de enigmas visuais, como problemas matemáticos, em até 10,20%.

O artigo sugere que a chave para esse sucesso não é apenas dar mais dados à IA, mas mudar como ela aprende. Os pesquisadores argumentam que os métodos anteriores falharam porque tratavam o ver e o pensar como tarefas separadas. O CURV prova que, ao tecer ambos juntos — fazendo o modelo mudar constantemente seu foco visual para corresponder aos seus passos lógicos — constrói-se um cérebro mais forte e confiável para entender gráficos. No entanto, os autores também observam uma peculiaridade engraçada: embora forçar o modelo a "apontar" para a imagem durante o treinamento o torne mais inteligente, forçá-lo a "apontar" em voz alta durante o teste final às vezes o faz tropeçar, provavelmente porque ele fica confuso com o próprio ato de apontar. Isso sugere que a melhor abordagem é ensinar o modelo a olhar e pensar juntos até que se torne um hábito natural, para que ele não precise mais parar e apontar para obter a resposta correta. Em última análise, o CURV mostra que, se você ensinar a IA a decompor grandes problemas em pequenos passos visuais, ela pode aprender a entender os dados do mundo de forma muito mais semelhante a um humano.

Resumo Técnico: CURV - Aprimorando a Compreensão de Gráficos através do Raciocínio Visual Baseado em Currículo

Definição do Problema

O Questionamento de Gráficos (CQA - Chart Question Answering) exige que Modelos de Linguagem de Grande Escala Multimodais (MLLMs) integrem compreensão visual com raciocínio lógico. No entanto, os MLLMs atuais lutam para obter uma ancoragem visual precisa e cadeias de raciocínio coerentes. Uma análise preliminar revela que os modelos existentes sofrem de três limitações fundamentais:

Decomposição: Incapacidade de decompor problemas complexos em cadeias de raciocínio coerentes, frequentemente produzindo etapas intermediárias inconsistentes.
Raciocínio Visual Intercalado: Falha em ancorar precisamente os passos individuais de raciocínio na entrada visual (ex: leitura incorreta de valores de gráficos ou atenção a regiões incorretas).
Composição: Dificuldade em integrar o raciocínio lógico com a ancoragem visual ao longo de múltiplos passos, levando a uma desconexão entre percepção, raciocínio e conclusão.

Embora o prompting de Cadeia de Pensamento (CoT) extrínseco e pistas visuais melhorem o desempenho, os modelos carecem de capacidades de raciocínio visual ancorado intrínsecas. Sem suporte externo, os MLLMs frequentemente falham em alinhar seu raciocínio com a evidência visual, resultando em erros mesmo quando a informação necessária está presente.

Metodologia: O Framework CURV

Os autores propõem o CURV, um framework de aprendizado por currículo projetado para internalizar o prompting de CoT extrínseco e a orientação visual em capacidades intrínsecas. A abordagem central reformula o CQA como um processo de raciocínio visual ancorado em múltiplas etapas, onde cada etapa acopla o raciocínio lógico com a ancoragem visual dinâmica.

1. Reformulação do Problema

Em vez de um mapeamento direto $f_\theta: (I, Q) \to A$ , o CURV decompõe a tarefa em uma cadeia progressiva estruturada:
$f_\theta: (I, Q) \to \{(R_1, V_1), (R_2, V_2), \dots, (R_T, V_T)\} \to A$
Onde $R_t$ é o $t$ -ésimo passo de raciocínio e $V_t$ é a região visual que ancora esse passo.

2. Treinamento de Currículo em Duas Etapas

O CURV utiliza um paradigma de treinamento de duas etapas para desenvolver essas capacidades:

Etapa I: Ancoragem Visual (RV): O modelo aprende a estabelecer correspondências multimodais entre fluxos de raciocínio e focos visuais. Ele prevê o foco visual $V_t$ que ancora o passo de raciocínio $R_t$ na imagem $I$ . O objetivo é minimizar a perda de ancoragem ( $L_V$ ) entre os focos visuais previstos e os reais (ground-truth).
Etapa II: Raciocínio Visual Intercalado (RVA): Construindo sobre a Etapa I, o modelo aprende a utilizar proativamente a ancoragem visual como feedback. Em cada etapa, o foco visual previsto é aplicado à imagem de entrada para construir um estado visual ancorado $I_t$ , que é então usado como entrada adicional para o próximo passo de raciocínio. Isso permite que o modelo desloque dinamicamente a atenção visual em alinhamento com o raciocínio lógico em evolução. O objetivo de treinamento equilibra a supervisão de raciocínio, a perda de ancoragem e a previsão da resposta final.

3. Estratégias de Ancoragem Visual

Para facilitar o deslocamento do foco dinâmico, o framework implementa três estratégias de ancoragem:

Aplicada (Applied): Sobreposições de realce semitransparentes nas regiões relevantes.
Enquadrada (Boxed): Bordas retangulares vermelhas ao redor das regiões de foco.
Recortada (Cropped): Sub-regiões com zoom apresentadas ao lado do gráfico completo.

4. Design de Currículo

O framework utiliza uma progressão sistemática de dificuldade de tarefa:

Profundidade de Raciocínio ( $D$ ): Definida pelo número de funções lógicas aninhadas necessárias (ex: $f_1(f_2(...(x)))$ ).
Complexidade Visual: Progride de gráficos de plot único para composições de múltiplos plots.
Níveis de Currículo:
- Nível 1: Raciocínio fundamental de operação única ( $D=1$ ).
- Nível 2: Raciocínio de múltiplas operações em gráficos únicos ( $D \ge 2$ ).
- Nível 3: Raciocínio complexo através de múltiplos subplots ( $D \ge 3$ ), envolvendo localização e compreensão relacional.

Principais Contribuições

Framework CURV: Um framework de aprendizado por currículo que desenvolve capacidades intrínsecas de raciocínio visual ao deslocar progressivamente a atenção visual ao longo das cadeias de raciocínio, transitando de tarefas básicas para raciocínio aninhado complexo.
Dataset CCQA: Um dataset escalável de Questionamento de Gráficos por Currículo (CCQA) sintético. Ele apresenta três níveis progressivos de currículo, suporta quatro modos de geração e inclui diversos tipos de gráficos (barras, histograma, dispersão, linha, mapa de calor, pizza, radar) através de 30 categorias de domínio. O dataset é construído usando geração baseada em templates para garantir precisão e cobertura sistemática de padrões de raciocínio.
Estratégias de Ancoragem Visual: A introdução e avaliação de três distintas estratégias de ancoragem (Aplicada, Enquadrada, Recortada) para controlar a granularidade e representação do foco visual durante o raciocínio.
Validação Empírica: Experimentos abrangentes demonstrando que intercalar o raciocínio com a ancoragem visual fornece um alinhamento passo a passo entre percepção e lógica, levando a melhorias significativas em tipos de gráficos, níveis de complexidade e domínios.

Resultados Experimentais

Experimentos foram conduzidos no CCQA, benchmarks de gráficos do mundo real (ChartQA, ChartMuseum, CharXiv, ChartQA-Pro) e tarefas de raciocínio multimodal fora do domínio (MathVista, MMMU-Pro).

Desempenho no CCQA: Modelos ajustados com CURV alcançaram até 20,92% de melhoria absoluta sobre os baselines no treinamento de duas etapas. A melhor configuração (CURV@Applied com Qwen2.5-VL-7B) superou seu modelo base em 15,65% e ultrapassou o GPT-4o em 12,22%.
Generalização: Modelos treinados em gráficos de plot único generalizaram efetivamente para gráficos de múltiplos plots (Nível 3), mostrando melhorias de até 7,10%.
Benchmarks do Mundo Real: O CURV demonstrou forte generalização para benchmarks de compreensão de gráficos do mundo real, com melhorias de ≥1,20% em quatro datasets.
Raciocínio Fora do Domínio: O framework melhorou o desempenho em tarefas de raciocínio multimodal fora do domínio em até 10,20%, validando que os benefícios advêm da melhoria na ancoragem da estrutura visual, e não de adaptação específica à tarefa.
Paradigmas de Treinamento: A abordagem é compatível com Ajuste Fino Supervisionado (SFT), Aprendizado por Reforço (RL) e sua combinação. Combinar SFT e RL gerou os maiores ganhos (até 17,04%), embora o SFT sozinho tenha oferecido uma relação desempenho-eficiência mais favorável.

Significância e Alegações

O artigo afirma que o CURV estabelece uma base para o desenvolvimento de capacidades de raciocínio visual autossuficientes em MLLMs. Ao internalizar o processo cognitivo humano de decompor tarefas, intercalar a ancoragem visual e compor soluções, o CURV vai além da dependência de assistência extrínseca.

As principais descobertas destacadas pelos autores incluem:

Intrínseco vs. Extrínseco: Embora a ancoragem visual explícita durante a inferência possa às vezes degradar o desempenho devido ao acúmulo de erros, usar a ancoragem visual como um sinal de treinamento internaliza efetivamente a capacidade de focar em componentes relevantes da imagem, melhorando o desempenho mesmo em modos de geração de resposta direta.
Aprendizado Fundamental: Treinar nos níveis fundamentais (Nível 1 + 2) produz os ganhos mais consistentes e substanciais em todos os níveis de dificuldade, enquanto depender apenas de dados de alta complexidade (Nível 3) pode degradar as habilidades de raciocínio fundamental.
Ancoragem Visual como Ponte: A ancoragem visual serve como uma ponte intermediária integral entre visão e raciocínio, em vez de apenas um objetivo de predição terminal. Estratégias de ancoragem explícitas (particularmente o realce "Aplicado") provaram ser mais eficazes do que métodos implícitos.

O trabalho sugere que intercalar estritamente o raciocínio com a ancoragem visual dinâmica é um mecanismo crítico para aumentar a compreensão de gráficos e as capacidades gerais de raciocínio multimodal.