Resumo Técnico: Morrer de Fome para Perceber

Problema: O Fenômeno da Percepção Preguiçosa

Modelos Visão-Linguagem (VLMs) implantados como agentes situados em ambientes de alta resolução exigem percepção ativa—a capacidade de decidir dinamicamente onde olhar por meio de operações como zoom, recorte e panorâmica. No entanto, os paradigmas de treinamento atuais (Ajuste Fino Supervisionado e Aprendizado por Reforço) frequentemente produzem modelos que exibem percepção preguiçosa. Esses modelos imitam a forma sintática das ações de percepção (por exemplo, gerando comandos de zoom corretos) sem depender funcionalmente de suas saídas.

A causa raiz é uma assimetria fundamental de aprendizado: quando uma visão global grosseira combinada com fortes priores linguísticos é suficiente para uma precisão moderada, o modelo não tem incentivo baseado em gradiente para investir na estratégia computacionalmente mais difícil de busca visual em múltiplos passos. Se um modelo pode ter sucesso sem olhar ativamente, ele nunca aprenderá a olhar. Evidências diagnósticas mostram que substituir observações visuais intermediárias por entradas em branco ou corromper chamadas de ferramentas frequentemente deixa a precisão do modelo inalterada, indicando dependência de priores linguísticos em vez de evidências visuais.

Metodologia: Morrer de Fome para Perceber

Para abordar isso, os autores propõem Morrer de Fome para Perceber, um paradigma de treinamento que impõe largura de banda visual restrita. O mecanismo central restringe a observação visual em cada etapa de raciocínio a um orçamento rígido de tokens ($B$), garantindo que nenhuma visão única (incluindo o vislumbre global inicial) contenha informações suficientes para completar a tarefa de forma confiável. Isso força a percepção ativa a se tornar a única estratégia viável para o sucesso.

O framework opera em duas etapas dentro de pipelines padrão de pós-treinamento (SFT seguido de RL):

1. Ajuste de Instrução Visual Consciente de Orçamento (SFT):

   • Objetivo: Inicializar a política com um prior comportamental para percepção ativa sob restrições de tokens.
   • Construção de Dados: Trajetórias são geradas via Destilação de Modelo Professor (usando um professor forte em um ambiente restrito com amostragem de rejeição) e Reescrita de Trajetória (convertendo conjuntos de dados existentes de alta qualidade para uso de ferramentas em formatos conscientes de orçamento, por meio de subamostragem de visões e realinhamento de coordenadas espaciais).
   • Restrição: A observação visual $v_t$ é gerada por um operador de subamostragem determinístico $D(\cdot, B)$ aplicado à região recortada da imagem original, garantindo que a contagem de tokens nunca exceda $B$.

2. Aprendizado por Reforço via Fome Perceptiva:

   • Objetivo: Desenvolver dependência funcional genuína em observações visuais por meio de exploração autônoma.
   • Orçamento Condicionado à Resolução: O orçamento de tokens $B$ escala dinamicamente com a resolução nativa da imagem de entrada ($B(X) = \text{clip}(\lfloor |X|/\gamma \rfloor, B_{\min}, B_{\max})$) para manter pressão consistente de fome perceptiva em entradas diversas.
   • Sinal de Recompensa: O framework utiliza uma recompensa minimalista e esparsa ($R=1$ para resposta correta, $0$ caso contrário). Como o orçamento visual proíbe estruturalmente a resolução de detalhes finos apenas a partir da visão global, o modelo deve realizar ações de foco intermediárias para alcançar a recompensa. Nenhuma perda auxiliar ou moldagem de recompensa é necessária.
   • Otimização: A política é otimizada usando GRPO (Otimização de Política Relativa em Grupo) em trajetórias coletadas dentro do ambiente restrito.

Contribuições Chave

• Identificação da Percepção Preguiçosa: O artigo identifica e traça a falha dos VLMs atuais em depender genuinamente de operações visuais ativas até uma assimetria de aprendizado onde atalhos passivos dominam.
• Paradigma Morrer de Fome para Perceber: Um mecanismo de treinamento inovador que se integra a pipelines padrão de SFT seguido de RL como um componente plug-and-play. Não requer alterações arquiteturais, perdas auxiliares ou moldagem complexa de recompensas.
• Transferibilidade de Habilidades: Os autores fornecem a primeira evidência de que habilidades de percepção ativa aprendidas sob treinamento restrito transferem-se robustamente para configurações de teste sem restrições.
• Ganhos de Eficiência: A abordagem produz dividendos significativos de eficiência, reduzindo o tempo de treinamento em ~50% e a latência de inferência em 2,7–5,1× devido ao menor número de tokens visuais processados por etapa.

Resultados

Os autores avaliaram seu modelo (baseado no Qwen2.5-VL-7B) contra bases fortes (por exemplo, DeepEyes, Chain-of-Focus, PixelReasoner) em diversos benchmarks, incluindo HR-Bench, V* Bench e tarefas de raciocínio intensivas em percepção (MME-RealWorld-Lite, RealWorldQA).

• Desempenho sem Restrições: Apesar de ser treinado exclusivamente sob restrições de largura de banda visual, o modelo alcançou uma pontuação geral de 64,59 em benchmarks sem restrições, superando a base mais forte de escala 7B aumentada por ferramentas (DeepEyes com 61,77) por uma margem clara.
• Robustez sob Restrições: Sob orçamentos de tokens estritos ($B=256$), o modelo proposto degradou-se apenas 0,18 pontos em relação ao seu desempenho sem restrições. Em contraste, as bases treinadas sem restrições visuais sofreram quedas de desempenho de 6,96 a 7,29 pontos, demonstrando que sua "percepção ativa" era superficial e colapsava quando a riqueza visual era removida.
• Estudos de Ablação:
  • SFT vs. RL: O SFT consciente de orçamento sozinho melhorou o desempenho sobre o SFT padrão, mas a combinação com RL restrito produziu os melhores resultados.
  • Necessidade do SFT: Iniciar o RL a partir de um modelo base sem SFT fez com que a política colapsasse em comportamento "preguiçoso" (confiando em priores linguísticos), confirmando que o SFT fornece um prior comportamental necessário.
  • Necessidade da Restrição: O RL treinado sem restrições visuais (mesmo com inicialização SFT) resultou em proporções mais baixas de percepção ativa e precisão final inferior em comparação com o pipeline totalmente restrito.

Significado

O artigo argumenta que o raciocínio visual superior não emerge da densidade de entrada, mas da pressão de otimização para extrair informações eficientemente. Ao tornar a observação passiva estruturalmente indisponível durante o treinamento, o modelo é forçado a internalizar a dependência funcional entre pistas visuais locais e o sucesso da tarefa. Este paradigma transforma a percepção ativa de um aprimoramento opcional em uma capacidade fundamental, permitindo a implantação de agentes visuais robustos e eficientes em configurações com restrições computacionais (por exemplo, aplicações em dispositivos) sem sacrificar o desempenho em ambientes de alta resolução. O trabalho sugere que a largura de banda visual deve ser tratada como uma variável de design deliberada para a construção de agentes visão-linguagem fundamentados na percepção.