Resumo Técnico: GazeVLM: Visão Ativa via Controle de Atenção Interna para Raciocínio Multimodal

Declaração do Problema

Os Modelos Visão-Linguagem (VLMs) modernos sofrem de um desequilíbrio fundamental entre a geração textual e a percepção visual. Embora o prompting de Cadeia de Pensamento (CoT) tenha aprimorado o raciocínio em modelos de linguagem, os VLMs processam informações visuais de forma passiva. Eles dependem da acumulação estática de contextos massivos de tokens, o que faz com que os recursos visuais originais sejam progressivamente subvalorizados à medida que o raciocínio autoregressivo se estende. Isso leva a uma dependência excessiva de priores linguísticos, resultando em alucinações de objetos e desvio lógico do conteúdo espacial da imagem.

As soluções existentes tentam abordar isso, mas herdam limitações de processamento passivo:

1. Raciocínio Fundamentado: Força os modelos a gerar caixas delimitadoras, mas não altera os pesos de atenção internos do codificador de visão durante a geração.
2. Ferramentas Externas de "Zoom": Frameworks como V*, Pixel Reasoner e Ground-R1 recortam e re-codificam explicitamente patches de imagem. Embora eficazes para extração de detalhes, essa abordagem incorre em uma penalidade computacional substancial ao inflar a janela de contexto com milhares de tokens visuais adicionais e fragmentar o contexto espacial global do modelo.

O raciocínio visual humano, por outro lado, depende de visão ativa: um processo metacognitivo onde o controle de cima para baixo direciona dinamicamente o foco foveal para detalhes relevantes à tarefa, mantendo simultaneamente a consciência periférica da cena global. Os VLMs atuais carecem dessa capacidade de transitar fluidamente entre a consciência global e o raciocínio focal localizado sem agentes externos.

Metodologia

Os autores propõem o GazeVLM, uma arquitetura multimodal que internaliza a visão ativa diretamente no loop de raciocínio do VLM. Em vez de re-codificar patches de imagem, o GazeVLM aplica controle de cima para baixo diretamente à máscara de atenção causal de recursos visuais pré-codificados.

Arquitetura e Mecanismo Principais

• Tokens de Olhar Internos: O modelo gera autonomamente tokens especiais <LOOK> anotados com coordenadas de caixa delimitadora (bbox=[x1, y1, x2, y2]) e um token de fechamento </LOOK>.
• Direcionamento de Atenção: Ao gerar um token <LOOK>, o modelo dispara um viés de supressão contínua ($\beta$) aplicado aos logits de atenção dos tokens visuais.
  • Supressão de Platô: Tokens estritamente dentro da caixa delimitadora recebem penalidade zero. Tokens fora da caixa recebem um viés de supressão que decai seguindo um perfil Gaussiano baseado na distância Euclidiana à borda da caixa.
  • Modulação de Logits: Este viés é injetado aditivamente nas pontuações de atenção ($s$) apenas quando o token de consulta origina-se do texto ($1_{text}(q_t) = 1$), garantindo que o foco do modelo de linguagem seja direcionado para a região foveal, preservando as representações internas da cena global.
• Acumulação Temporal: Para raciocínio multi-etapa, o modelo acumula campos receptivos não suprimidos através de uma sequência de olhares. O viés efetivo para qualquer token é o máximo elemento a elemento entre todos os estados históricos de olhar, permitindo que o modelo integre evidências de múltiplas regiões discretas sem adicionar novos tokens à janela de contexto.
• Fluxo de Raciocínio: O modelo intercala raciocínio lógico (<THINK>) com navegação visual ativa (<LOOK>), finalizando com a saída da resposta (<ANSWER>).

Paradigma de Treinamento

O GazeVLM emprega um pipeline de treinamento em duas etapas:

1. Ajuste Fino Supervisionado (SFT) de Início Quente: Um conjunto de dados altamente curado de traços de raciocínio é sintetizado usando um modelo especialista (Qwen3-VL-235B). Esses traços demonstram padrões de varredura iterativos e semelhantes aos humanos. O modelo é treinado para seguir a estrutura <LOOK>/</LOOK> e aprender as consequências visuais de suas coordenadas de olhar.
2. Aprendizado por Reforço (GRPO): O modelo é refinado usando Otimização de Política Relativa de Grupo (GRPO). Uma função de recompensa personalizada incentiva:
   • Correção: Precisão da resposta.
   • Navegação Visual: Fundamentação geométrica válida das caixas <LOOK>.
   • Eficiência: Penalidades por olhares redundantes, sobreposição excessiva entre caixas e saídas verbosas.

Contribuições Principais

1. Conjunto de Dados de Raciocínio com Olhar Curado: Um conjunto de dados especializado projetado para transicionar modelos da observação passiva para a navegação visual ativa e multi-região, sintetizado para impor fundamentação estrutural e espacial estrita.
2. Arquitetura de Direcionamento de Atenção: Um mecanismo interno que viés dinamicamente a máscara de atenção causal do VLM. Isso permite que o modelo desloque autonomamente o foco de visões globais para detalhes locais e vice-versa, simulando a fixação foveal sem a sobrecarga computacional de re-codificação ou adição de tokens visuais.
3. Desempenho com Custo Reduzido: O GazeVLM (4B parâmetros) alcança desempenho de última classe em sua classe de parâmetros, particularmente em benchmarks de alta resolução, enquanto gera significativamente menos tokens de saída em comparação com abordagens baseadas em agentes.

Resultados Experimentais

Avaliado em uma série de benchmarks incluindo MathVista, MMBench, ChartQA e conjuntos de dados de alta resolução (HRBench-4k, HRBench-8k), o GazeVLM demonstra melhorias significativas:

• Raciocínio de Alta Resolução: No HRBench-4k, o GazeVLM pontua 83,4 (+3,9 sobre o Qwen3-VL-4B base) e 78,0 no HRBench-8k (+4,4). Ele supera pipelines agênticos como DeepEyes e Ground-R1 em mais de 5% nestes conjuntos de dados.
• Raciocínio Geral: Alcança resultados fortes no MathVista (73,3) e MMBench (89,2), superando outros VLMs treinados com RL e modelos de raciocínio baseados em SFT.
• Eficiência Computacional: Diferentemente de agentes externos de "zoom" (como DeepEyes) que média mais de 1.300 tokens de saída por traço devido à re-codificação, o GazeVLM média ~266 tokens no HRBench-4k. Alcança precisão superior (+8,3% sobre DeepEyes) com aproximadamente 5x menos tokens de saída.
• Insights de Ablação:
  • Viés de Treinamento vs. Inferência: Surpreendentemente, o modelo performa melhor na inferência quando o viés matemático explícito de supressão está desabilitado. Isso indica que o mecanismo de roteamento de cima para baixo foi internalizado com sucesso nos pesos do modelo durante o treinamento, atuando como um regularizador que molda o comportamento da política sem necessidade da máscara codificada manualmente no momento do teste.
  • Força de Supressão: Uma força de supressão moderada ($\alpha_s = 4$) é suficiente para filtrar ruído periférico; supressão extrema produz retornos decrescentes.

Significado e Afirmações

O artigo afirma que o GazeVLM representa uma mudança de paradigma ao internalizar a supervisão metacognitiva diretamente no loop de raciocínio. Ao capacitar o VLM a gerar autonomamente tokens de olhar e controlar sua própria máscara de atenção, o modelo alcança uma transição fluida entre consciência espacial global e raciocínio focal localizado.

O significado reside em demonstrar que um modelo de linguagem pode ser ensinado controle autodirigido sobre seu processamento visual, ecoando o roteamento de cima para baixo do olhar humano. Essa abordagem elimina a necessidade de artifícios agênticos externos (como ferramentas de recorte) e evita a inflação da janela de contexto associada ao processamento de novos patches visuais. Os autores posicionam isso como um passo rumo ao controle metacognitivo mais amplo das próprias computações de um modelo, permitindo raciocínio multimodal eficiente e de alta resolução que é tanto mais preciso quanto computacionalmente mais leve do que os pipelines agênticos de última classe atuais.