See Further, Think Deeper: Advancing VLM's Reasoning Ability with Low-level Visual Cues and Reflection

1. Declaração do Problema

Embora os Modelos Visão-Linguagem (VLMs) tenham melhorado significativamente com Aprendizado por Reforço (RL), os métodos existentes enfrentam duas limitações críticas em tarefas complexas de raciocínio visual:

• Negligência de Informações Visuais de Baixo Nível: Os modelos atuais frequentemente dependem de compreensão semântica de alto nível, perdendo características visuais finas (por exemplo, bordas, mudanças sutis de cor, detalhes de textura) cruciais para tarefas como detecção de anomalias. O raciocínio baseado apenas em texto leva a erros quando os detalhes visuais são ambíguos.
• Falta de Feedback Visual Eficaz (Raciocínio em Malha Aberta): A maioria dos VLMs opera de maneira em malha aberta, onde o processo de raciocínio é linear ("Raciocínio $\to$ Resposta"). Uma vez gerada uma resposta, o modelo não a reexamina contra a evidência visual. Há uma falta de um mecanismo em malha fechada onde o modelo possa verificar suas próprias previsões usando feedback visual para corrigir erros.

2. Metodologia: O Framework ForeSight

Os autores propõem o ForeSight, um framework unificado de raciocínio intercalado multimodal impulsionado por RL. Ele permite que os VLMs "Vejam Mais Longe" (por meio de ferramentas de baixo nível) e "Pensem Mais Profundamente" (por meio de reflexão visual).

A. Componentes Principais

1. Ferramentas Visuais de Baixo Nível:
   O framework integra um conjunto de ferramentas fundamentais de processamento de imagem que o modelo pode invocar autonomamente durante o processo de Cadeia de Pensamento (CoT):

   • Ferramenta Canny: Detecta bordas para esclarecer limites de objetos e contornos estruturais.
   • Ferramenta Zoom-In (ROI): Permite que o modelo foque em regiões específicas para extrair detalhes finos quando o contexto global é insuficiente.
   • Ferramenta Cor: Aumenta o contraste de cor para distinguir objetos com base em matiz ou saturação.
   • Mecanismo: O modelo decide dinamicamente quando e qual ferramenta usar com base no estado atual de raciocínio, em vez de usar um pipeline fixo.

2. Reflexão Visual Baseada em Máscara:
   Para transformar o raciocínio de malha aberta para malha fechada, o ForeSight introduz um mecanismo de reflexão:

   • Após gerar uma resposta preliminar (incluindo uma caixa delimitadora e descrição de caracteres), o modelo cria uma máscara cobrindo a região prevista na imagem original.
   • A imagem mascarada (mostrando apenas as partes não mascaradas) é realimentada no modelo.
   • O modelo analisa a área não mascarada para verificar se o objeto previsto é verdadeiramente único em comparação com o restante. Se inconsistências forem encontradas, o modelo refina iterativamente sua resposta.
   • Isso cria um ciclo: Raciocínio $\to$ Resposta Preliminar $\to$ Feedback Visual (Máscara) $\to$ Reflexão $\to$ Resposta Final.

B. Estratégia de Treinamento

O framework emprega um pipeline de treinamento em duas etapas baseado em Otimização de Política Relativa em Grupo (GRPO):

1. Etapa 1: Ajuste Fino Supervisionado (SFT) e Início Frio:
   • Um novo conjunto de dados, CG-SalBench, é construído com base no conjunto de dados SalBench. Ele contém tarefas "Odd-One-Out" (O Diferente) que exigem localização precisa de caixas delimitadoras e identificação de caracteres.
   • Os dados são partitionados em subconjuntos "sem ferramentas" e "dependentes de ferramentas" com base no desempenho do modelo.
   • Um modelo maior (Qwen2.5-VL-72B) gera anotações de alta qualidade de CoT com uso de ferramentas e traços de reflexão, que são limpas para formar um conjunto de dados de início frio para o modelo de 7B.
2. Etapa 2: Aprendizado por Reforço (RL):
   • O modelo é otimizado usando uma função de recompensa composta que inclui:
     • Consistência de Formato: Garantindo saída estruturada.
     • Recompensa IoU: Maximizando a sobreposição da caixa delimitadora com a verdade fundamental.
     • Recompensa F1: Melhorando a precisão da identificação de caracteres.
     • Recompensa de Ferramenta: Incentivando a invocação correta de ferramentas e penalizando o uso excessivo ou formatos inválidos.
     • Recompensa de Verificação: Alinhando a lógica de reflexão (por exemplo, se a resposta preliminar estiver errada, a reflexão deve identificar o erro).

3. Principais Contribuições

• Raciocínio Visual em Malha Fechada: Primeiro a introduzir reflexão baseada em feedback visual no raciocínio de VLMs, migrando de malha aberta para um processo em malha fechada de auto-correção.
• Integração de Visual de Baixo Nível: Propõe um mecanismo impulsionado por RL para a invocação autônoma de ferramentas visuais de baixo nível (Canny, Zoom, Cor), permitindo que os modelos "vejam" ativamente detalhes que anteriormente ignoravam.
• Novo Benchmark (CG-SalBench): Introduz um conjunto de dados especializado para avaliar a fundamentação "Odd-One-Out" e a identificação de caracteres, preenchendo a lacuna entre tarefas de saliência visual sintéticas e do mundo real.
• Eficiência sobre Escala: Demonstra que um modelo de 7 bilhões de parâmetros (ForeSight-7B) pode superar modelos muito maiores (por exemplo, 72B) e modelos SOTA de código fechado através de uma arquitetura de raciocínio superior, em vez de apenas escalonamento de parâmetros.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark CG-SalBench e em tarefas gerais de VQA (MME, MMBench).

• Desempenho no CG-SalBench:
  • O ForeSight-7B alcançou um IoU de 62,24% e uma pontuação F1 de 84,24%.
  • Superou significativamente o Qwen2.5-VL-7B base (IoU +29,68%, F1 +19,27%).
  • Superou o Qwen2.5-VL-72B (66,00% IoU) na pontuação F1 e superou o melhor modelo de código fechado (Doubao-Seed-1.6) no IoU em mais de 14%.
  • Superou notavelmente o GPT-5, que teve um F1 alto, mas um IoU muito baixo (7,85%), indicando capacidades de localização superiores do ForeSight.
• Estudos de Ablação:
  • Ferramentas + Reflexão: O uso de ambos os componentes juntos rendeu o desempenho mais alto, confirmando sua natureza complementar (Ferramentas para percepção, Reflexão para verificação).
  • Etapa de Treinamento: A combinação de SFT (início frio) e RL foi essencial; o RL sozinho foi instável, e o SFT sozinho carecia do refinamento do uso dinâmico de ferramentas.
• Generalização: O ForeSight mostrou melhorias significativas em benchmarks de fundamentação (série RefCOCO) e no benchmark de VQA MME, validando sua robustez em diferentes tarefas visuais.

5. Significado

Este artigo desafia o paradigma predominante da "lei de escala" nos VLMs, sugerindo que a inovação arquitetônica nos processos de raciocínio (especificamente a integração de pistas de baixo nível e auto-verificação) é mais eficaz do que simplesmente aumentar o tamanho do modelo. Ao permitir que os modelos "Vejam Mais Longe" (percepção ativa) e "Pensem Mais Profundamente" (verificação iterativa), o ForeSight fornece um plano para construir agentes multimodais mais robustos, alinhados com humanos e confiáveis, capazes de lidar com tarefas complexas de raciocínio visual de granularidade fina.