Resumo Técnico: Pensamento com Ancoragem Visual

Declaração do Problema

Modelos de Linguagem-Visão (VLMs) recentes demonstraram a capacidade de gerar traços de raciocínio em linguagem natural (ex: Cadeia de Pensamento - Chain-of-Thought) para resolver tarefas visuais complexas. No-entanto, uma limitação crítica existe: esses traços de raciocínio textuais frequentemente deixam as regiões de imagem de suporte implícitas. Embora um modelo possa afirmar que "o carro vermelho está perto da entrada", ele não identifica explicitamente quais pixels ou regiões correspondem a essa afirmação. Essa falta de ligação explícita torna o processo de raciocínio difícil de verificar, supervisionar ou depurar. Uma resposta final pode estar correta por acaso, ou o traço de raciocínio pode parecer coerente enquanto se baseia em evidências visuais alucinadas. O artigo argumenta que o verdadeiro pensamento visual requer não apenas o raciocínio textual passo a passo, mas ligações explícitas e verificáveis entre os passos de raciocínio e a evidência visual específica na imagem.

Metodologia

1. Formato de Pensamento com Ancoragem Visual

Os autores propõem um novo formato de raciocínio onde os modelos intercalam pensamentos em linguagem natural com ancoragens explícitas baseadas em coordenadas. Sempre que um passo de raciocínio faz referência a um objeto visual, o modelo gera uma tag contendo o nome do objeto e suas coordenadas espaciais. Dois modos são suportados:

• Modo Caixa (Box Mode): <obj> nome | [x1, y1, x2, y2] </obj>
• Modo Ponto (Point Mode): <obj> nome | [x, y] </obj>

2. Pipeline de Síntese de Dados Escalável

Para treinar este comportamento, os autores construíram um pipeline para sintetizar dados de treinamento alinhados (tanto para Ajuste Fino Supervisionado - SFT quanto para Aprendizado por Reforço - RL) a partir de conjuntos de dados de código aberto (ex: TallyQA, VSR, SpatialMQA). O pipeline envolve:

• Destilação de Traços de Raciocínio: Uso de VLMs de alta capacidade (Qwen3-VL-Plus/Qwen3.5-Plus) para gerar traços de raciocínio corretos para pares imagem-pergunta.
• Extração de Objetos Ancoráveis: Um LLM identifica os objetos visuais específicos necessários para o raciocínio (ex: objetos da resposta, âncoras espaciais, instâncias contadas) e atribui a eles um nome e um contexto de desambiguação (ex: "carro vermelho" vs. "carro vermelho na fileira de trás").
• Ancoragem Visual Agêntica: Um agente baseado em SAM3, impulsionado por um VLM, ancora iterativamente esses objetos extraídos. O agente usa ferramentas para propor frases nominais, invocar o SAM3 para máscaras de instância, verificar as máscaras via renderização e zoom, e selecionar as máscaras finais.
• Derivação de Supervisão: As máscaras resultantes em RLE (Run-Length Encoded) são convertidas em caixas delimitadoras normalizadas ou pontos interiores (mais distantes da borda) para criar conjuntos de dados alinhados de SFT e RL.

3. Aprendizado por Reforço Consciente de Ancoragem (Grounding-Aware RL)

Os autores introduzem um novo mecanismo de recompensa que otimiza conjuntamente a correção da resposta e a qualidade da ancoragem.

• Roteamento de Objetos de Ancoragem: Antes da pontuação, um roteador VLM leve combina os objetos de ancoragem gerados pelo modelo com os objetos de verdade fundamental (baseando-se em nome e contexto) para lidar com variações de vocabulário e desambiguação.
• Recompensas de Ancoragem Densa:
  • Modo Caixa: Utiliza a Intersecção sobre União (IoU) entre a união das caixas geradas e as caixas de verdade fundamental para cada objeto correspondente.
  • Modo Ponto: Utiliza uma pontuação F1 baseada em se os pontos gerados caem dentro das máscaras de verdade fundamental correspondentes, evitando crédito duplicado para a mesma instância.
• Recompensa Final: A recompensa total combina a recompensa de ancoragem densa com recompensas esparsas para a correção da resposta, formato de pensamento e formato de ancoragem.

Principais Contribuições

1. Pipeline de Dados Escalável: Um sistema centrado em um agente de ancoragem agêntico baseado em SAM3 que sintetiza dados de raciocínio com ancoragem visual de alta fidelidade tanto para SFT quanto para RL, eliminando a necessidade de anotação manual de coordenadas.
2. Design de Recompensa de Ancoragem: Uma função de recompensa que supervisiona diretamente a qualidade das referências visuais intermediárias, suportando tanto o modo de ancoragem por caixa quanto por ponto.
3. Validação Empírica: Experimentos controlados demonstrando que o pensamento com ancoragem visual melhora significativamente o desempenho em tarefas de contagem e raciocínio espacial, com modelos de 4B igualando ou superando baselines de 27B em benchmarks espaciais específicos.

Resultados Experimentais

Os autores avaliaram sua abordagem usando o Gemma3-4B-IT como modelo base em dois benchmarks de contagem (TallyBench, CountQA) e quatro benchmarks de raciocínio espacial (VSR-zeroshot, EmbSpatial, SpatialMQA, MultihopSpatial).

• Ganhos de Desempenho: Modelos de pensamento com ancoragem visual superaram consistentemente tanto o Gemma3-4B-IT base quanto um baseline de "pensamento não ancorado".
• Comparação de Escala: Em tarefas de raciocínio espacial, os modelos de 4B com ancoragem visual alcançaram desempenho comparável e, em alguns casos (SpatialMQA, MultihopSpatial), superior ao Gemma3-27B-IT muito maior.
• Estabilidade: O baseline não ancorado sofreu de "colapso de comprimento" durante o treinamento de RL (respostas tornando-se muito curtas), enquanto as variantes ancoradas mantiveram rollouts estáveis, provavelmente devido às restrições estruturais das tags de ancoragem.
• Diferenças de Interface de Ancoragem:
  • Contagem: A ancoragem por ponto superou consistentemente a ancoragem por caixa, sugerindo que a localização ao nível de instância é suficiente para tarefas de contagem.
  • Raciocínio Espacial: A ancoragem por caixa proporcionou ganhos claros quando a recompensa de ancoragem foi aplicada, provavelmente devido à informação geométrica (extensão, sobreposição) que as caixas fornecem. No entanto, a ancoragem por ponto e por caixa foram amplamente comparáveis em precisão geral nessas tarefas.
• Impacto da Recompensa: A recompensa de ancoragem proporcionou benefícios consistentes para o treinamento no modo caixa, particularmente em tarefas espaciais. Para o modo ponto, o sinal de recompensa foi mais grosseiro (F1 discreto vs. IoU suave), resultando em ganhos de precisão downstream menos consistentes nos experimentos atuais.

Significância e Alegações

O artigo alega que o pensamento visual deve evoluir além da geração de texto plausível para a produção de raciocínio baseado em evidências. Ao vincular pensamentos intermediários a regiões específicas da imagem, os modelos podem ser supervisionados de forma mais eficaz, e seu raciocínio torna-se verificável. Os autores postulam que o próximo passo para o pensamento visual não é meramente "pensar por mais tempo", mas "pensar vinculado à imagem" em uma forma que possa ser checada e melhorada. Seus resultados sugerem que a ancoragem explícita permite que modelos menores (4B) alcancem as capacidades de raciocínio de modelos muito maiores (27B) em tarefas espaciais, destacando a eficiência da supervisão baseada em ancoragem.