CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving

O artigo apresenta o CogFlow, um novo framework de três estágios inspirado na cognição humana que supera as limitações atuais na resolução de problemas matemáticos visuais ao integrar explicitamente a percepção, a internalização de conhecimento e o raciocínio, utilizando recompensas visuais sinérgicas, um modelo de recompensa para internalização e otimização de política com portão visual, apoiado pelo novo conjunto de dados MathCog.

O essencial

Imagine que você está tentando resolver um problema de matemática complexo olhando para um desenho geométrico. Para um computador (especificamente uma Inteligência Artificial), isso é como tentar montar um quebra-cabeça enquanto está de cabeça para baixo e com os olhos vendados.

O artigo "COGFLOW" apresenta uma nova maneira de ensinar essas IAs a "pensar" melhor, inspirada em como o cérebro humano funciona. Vamos usar uma analogia simples para entender como isso funciona:

A Analogia do "Arquiteto, o Tradutor e o Engenheiro"

Antes do COGFLOW, as IAs tentavam fazer tudo de uma vez só ou em duas etapas desconectadas. O resultado? Elas viam o desenho, mas depois "alucinavam" (inventavam fatos) ou esqueciam o que viram enquanto tentavam resolver a matemática. Era como um arquiteto que desenha uma casa bonita, mas o engenheiro que constrói usa materiais diferentes e a casa desaba.

O COGFLOW divide o processo em três etapas claras, como se fosse uma equipe de três especialistas trabalhando em sequência:

1. O Olho Atento (Percepção)

• O que é: É a fase de apenas "olhar" para o desenho.
• O problema antigo: A IA via o desenho, mas às vezes confundia um círculo com um quadrado ou não sabia onde estava o centro exato.
• A solução do COGFLOW: Eles criaram um sistema de "recompensas duplas" (chamado Synergistic Visual Rewards).
  • Imagine que a IA é um aluno fazendo um exercício de geometria. O professor (o sistema de recompensa) não só verifica se a resposta final está certa, mas mede com uma régua se os pontos desenhados estão no lugar certo (precisão matemática) e se o desenho geral parece com o original (estilo e layout).
  • Isso força a IA a ser extremamente precisa ao "ver" os pontos, linhas e círculos antes de tentar qualquer cálculo.

2. O Tradutor Sábio (Internalização de Conhecimento)

• O que é: Esta é a parte mais nova e genial do COGFLOW. É o momento em que a IA para de apenas "ver" e começa a "entender" o que vê.
• A analogia: Imagine que você vê um triângulo.
  • Sem internalização: A IA diz "Vejo um triângulo".
  • Com internalização: A IA pensa: "Ah, vejo um triângulo, e como um dos lados é o diâmetro de um círculo, eu sei que o ângulo oposto é obrigatoriamente 90 graus". Ela transforma a imagem bruta em uma regra lógica.
• O problema antigo: Muitas IAs viam o desenho, mas no momento de raciocinar, esqueciam essa regra ou inventavam uma nova que não existia no desenho.
• A solução: O COGFLOW usa um "Treinador de Realidade" (Knowledge Internalization Reward). Ele pune a IA se ela tentar usar uma regra matemática que não foi "internalizada" (confirmada) pelo que ela viu no desenho. É como se o professor dissesse: "Você não pode usar essa fórmula porque não viu o ângulo reto no desenho!". Isso evita que a IA "alucine" fatos.

3. O Engenheiro Preciso (Raciocínio)

• O que é: A fase final de calcular a resposta.
• O problema antigo: Mesmo com uma boa visão, a IA podia se perder em um raciocínio longo e confuso, tomando atalhos que pareciam lógicos, mas estavam errados.
• A solução: Eles criaram um "Portão Visual" (Visual Gate).
  • Imagine que a IA tenta resolver o problema 3 vezes. O "Portão" olha para a primeira tentativa de "ver" o desenho. Se a visão estiver ruim (pontos errados), o portão bloqueia aquela tentativa e pede para a IA tentar de novo, até que a visão esteja perfeita.
  • Só quando a visão está aprovada, a IA pode prosseguir para o raciocínio matemático. Isso garante que o engenheiro (raciocínio) nunca trabalhe com materiais defeituosos (visão errada).

O Resultado: O "Super-Atleta" da Matemática Visual

Além de criar esse método, os autores criaram um novo "livro de exercícios" chamado MATHCOG, com mais de 120.000 problemas onde cada passo (o que foi visto, o que foi entendido e o que foi calculado) está anotado com perfeição.

Por que isso importa?
Testes mostraram que o COGFLOW (mesmo sendo um modelo menor) consegue resolver problemas visuais de matemática melhor do que gigantes da tecnologia (como o GPT-4o ou Claude), que são muito maiores e mais caros.

Em resumo:
O COGFLOW ensina a IA a não ter pressa. Ele diz: "Primeiro, veja com precisão cirúrgica. Depois, traduza o que você viu em regras lógicas sólidas. Só então, e apenas então, resolva o problema." É como transformar uma criança que chuta as respostas em um matemático que segue o método científico.

Resumo técnico

Título: COGFLOW: Unindo Percepção e Raciocínio através da Internalização de Conhecimento para Resolução de Problemas Matemáticos Visuais

1. O Problema

Os Grandes Modelos de Linguagem Multimodais (MLLMs) têm avançado rapidamente, mas ainda enfrentam dificuldades significativas na resolução de problemas matemáticos visuais (como geometria e gráficos algébricos). O artigo identifica duas falhas principais nas abordagens existentes:

• Falta de Integração Fiel: Embora muitos trabalhos recentes reconheçam que a percepção visual é um gargalo e tentem melhorar a extração de informações visuais, eles ignoram se essas informações extraídas são fielmente integradas e utilizadas no processo de raciocínio subsequente.
• Desvio de Raciocínio (Reasoning Drift): Modelos que separam percepção e raciocínio (pipelines desacoplados) ou que usam raciocínio de um único passo frequentemente produzem cadeias de raciocínio que parecem coerentes linguisticamente, mas que contradizem a evidência visual subjacente. O modelo "esquece" ou distorce o que viu ao tentar deduzir a resposta.

2. Metodologia: COGFLOW

O COGFLOW é um framework de três estágios inspirado na cognição humana, projetado para simular o fluxo hierárquico de raciocínio: Percepção ⇒ Internalização ⇒ Raciocínio. O objetivo é garantir que o raciocínio seja ancorado na percepção visual correta.

O framework opera em duas fases principais: Fine-Tuning Supervisionado (SFT) e Otimização por Reforço (RL), utilizando o conjunto de dados MATHCOG.

Os três componentes principais do framework são:

1. Recompensas Visuais Sinérgicas (Synergistic Visual Rewards - SynVRs):

   • Objetivo: Melhorar a percepção em espaços paramétricos e semânticos.
   • Mecanismo: Combina duas recompensas complementares:
     • Visual Parameterized Reward (VPR): Converte informações visuais estruturadas (pontos, linhas, círculos) em expressões paramétricas (ex: equações de retas e círculos) e calcula a distância euclidiana no espaço de parâmetros para garantir fidelidade geométrica local.
     • Visual Semantic Reward (VSR): Renderiza a resposta prevista como uma imagem e compara com a imagem real usando um codificador FG-CLIP congelado. Mede a similaridade cosinual no espaço semântico para garantir coerência global de estilo e layout.
   • Resultado: Garante que a extração de informações visuais seja precisa e coerente.

2. Recompensa de Internalização de Conhecimento (Knowledge Internalization Reward - IntlzR):

   • Objetivo: Prevenir o "desvio de raciocínio" e garantir que os sinais visuais extraídos sejam transformados em representações de conhecimento estruturadas antes do raciocínio lógico.
   • Mecanismo: Um modelo de recompensa treinado para avaliar se a cadeia de raciocínio permanece fiel à representação visual internalizada.
   • Estratégia de Treino: Utiliza pares positivos e negativos. Os negativos são gerados injetando cinco tipos de erros comuns: (1) omitir ou vincular incorretamente primitivas; (2) introduzir fatos inexistentes; (3) contradizer restrições geométricas; (4) invocar teoremas externos de forma inadequada; (5) referir-se inconsistentemente a elementos estabelecidos.
   • Otimização: Usa Softmax-DPO para treinar o modelo a distinguir entre raciocínios ancorados e não ancorados.

3. Otimização de Política com Portão Visual (Visual-Gated Policy Optimization - VGPO):

   • Objetivo: Estabilizar o raciocínio de múltiplos passos e evitar que o modelo siga trajetórias de percepção de baixa qualidade.
   • Mecanismo: Introduz um "portão visual" que avalia a qualidade da percepção antes de permitir a geração da trajetória de raciocínio.
     • Se a percepção inicial não atingir um limiar de qualidade (baseado nas recompensas SynVRs), o modelo regenera a percepção.
     • Apenas trajetórias de percepção de alta qualidade são usadas para gerar o raciocínio subsequente.
   • Vantagem: Isso força o modelo a "ver corretamente" antes de "pensar", reduzindo a propagação de erros de percepção para o raciocínio.

3. Contribuições Principais

• Novo Framework Cognitivo: Propõe o COGFLOW, que explicitamente modela a etapa de "internalização de conhecimento" (transformar percepção bruta em conhecimento estruturado), preenchendo a lacuna entre percepção e raciocínio que existia em trabalhos anteriores.
• Mecanismos de Recompensa Inovadores: Desenvolveu as SynVRs para percepção precisa e a IntlzR para garantir a fidelidade do raciocínio em relação ao visual.
• Algoritmo VGPO: Introduziu uma estratégia de otimização com portão visual que filtra ativamente trajetórias de percepção ruins, estabilizando o treinamento de RL.
• Dataset MATHCOG: Criou um novo conjunto de dados com mais de 120.000 amostras de alta qualidade, com anotações desentrelaçadas de percepção (Watching) e raciocínio (Thinking), incluindo pares positivos/negativos para treinar a internalização.

4. Resultados Experimentais

O COGFLOW foi avaliado em vários benchmarks padrão de raciocínio matemático visual (FlowVerse, MathVerse, MathVista, WeMath, LogicVista, DynaMath).

• Desempenho Geral: O modelo COGFLOW-7B superou consistentemente todos os modelos de código aberto de tamanho comparável e alcançou desempenho igual ou superior a modelos proprietários fechados muito maiores (como GPT-4o, Gemini-2.5-pro e Claude-3.5-Sonnet).
  • Exemplo no FlowVerse: 66.0% de precisão (vs. 50.7% do VLM-R1-7B e 56.9% do GPT-4o).
  • Exemplo no MathVista: 76.8% de precisão (superando o Doubao-pro-1.5 em subconjuntos específicos e superando o GPT-4o).
• Qualidade do Raciocínio: O modelo não apenas acertou mais respostas finais, mas também produziu cadeias de raciocínio (CoT) mais coerentes e fiéis às imagens, com menos "alucinações" geométricas.
• Análise de Erros: A análise mostrou reduções significativas em erros de percepção, erros de internalização e erros de raciocínio em comparação com baselines de estado da arte. O componente VGPO foi identificado como o mais influente para a estabilidade do raciocínio de longo prazo.

5. Significado e Impacto

O trabalho é significativo porque muda o paradigma de como os MLLMs abordam problemas visuais complexos:

1. Mudança de Foco: Em vez de apenas melhorar a extração de características visuais, o COGFLOW foca na integração dessas características no processo de raciocínio.
2. Solução para o "Desvio de Raciocínio": Oferece uma solução técnica robusta para o problema onde modelos geram textos que parecem lógicos, mas são geometricamente impossíveis.
3. Escalabilidade: Demonstra que uma arquitetura inspirada na cognição humana, combinada com RL e recompensas específicas, permite que modelos de 7B de parâmetros rivalizem com modelos muito maiores e fechados.
4. Reprodutibilidade: A liberação do dataset MATHCOG e do código facilita o avanço futuro na pesquisa de raciocínio multimodal.

Em resumo, o COGFLOW estabelece um novo estado da arte ao tratar a resolução de problemas matemáticos visuais como um processo cognitivo hierárquico, onde a percepção precisa, a internalização fiel e o raciocínio ancorado são otimizados em conjunto.