Resumo Técnico: Da Web aos Pixels: Trazendo a Busca Agêntica para a Percepção Visual

1. Definição do Problema: Pesquisa Profunda de Percepção

O artigo identifica uma lacuna crítica nos sistemas atuais de percepção visual. Embora os modelos de linguagem grandes multimodais (MLLMs) existentes tenham avançado do reconhecimento de categorias visíveis para a fundamentação de alvos implícitos com base em conhecimento interno, eles lutam em cenários de mundo aberto. Nestes cenários, o objeto-alvo é visível na imagem, mas a evidência decisiva necessária para identificá-lo reside fora da imagem e além do conhecimento paramétrico congelado do modelo.

Os autores formalizam esse desafio como Pesquisa Profunda de Percepção. Diferentemente da compreensão padrão de expressões de referência ou da segmentação de raciocínio, onde as pistas são visuais ou internas, esta configuração exige que um modelo:

1. Resolva uma identidade de alvo a partir de fatos externos (por exemplo, eventos recentes, entidades de cauda longa, relações de múltiplos saltos, afiliações de criadores).
2. Vincule essa identidade resolvida a uma instância visual concreta (caixa, máscara ou resposta em nível de região) dentro da imagem.

A dificuldade central reside no acoplamento de duas etapas: transformar pistas factuais indiretas em uma hipótese de alvo explícita e, em seguida, verificar se essa hipótese é compatível com a região visual observada, distinguindo-a de distratores ou objetos visualmente semelhantes.

2. Metodologia

2.1 O Benchmark WebEyes

Para medir o progresso neste domínio, os autores introduzem o WebEyes, um benchmark ancorado em objetos, projetado com evidências verificáveis e anotações precisas.

• Construção: O conjunto de dados segue um fluxo de trabalho "objeto primeiro". Anotadores selecionam imagens com múltiplas instâncias, marcam objetos de primeiro plano e, em seguida, utilizam um agente para realizar buscas em cadeia na web para reunir evidências (papéis, datas de lançamento, afiliações de marcas) antes de gerar consultas intensivas em conhecimento.
• Escala: Compreende 120 imagens, 473 instâncias de objetos anotadas e 645 pares únicos de perguntas e respostas, resultando em 1.927 amostras de tarefas.
• Vistas de Tarefa: O WebEyes avalia três tarefas complementares:
  1. Fundamentação Baseada em Busca: Prever uma caixa delimitadora a partir de uma consulta que exige conhecimento externo.
  2. Segmentação Baseada em Busca: Prever uma máscara em nível de pixel.
  3. VQA Baseada em Busca: Selecionar a descrição rica em conhecimento correta para uma região destacada.
• Controle de Qualidade: O pipeline inclui filtragem automatizada para remover "atalhos" (perguntas solucionáveis por conhecimento de livro fechado ou visão apenas) e verificação manual para garantir a correção das evidências e a unicidade do alvo.

2.2 Pixel-Searcher: Um Fluxo de Trabalho Agêntico de Busca para Pixel

Os autores propõem o Pixel-Searcher, um fluxo de trabalho de referência que decompõe a tarefa em um loop agêntico, em vez de uma previsão direta ponta a ponta. Ele opera em duas fases:

1. Busca Agêntica e Resolução de Alvo:

   • O agente analisa a consulta e a decompõe em subobjetivos pesquisáveis.
   • Ele entra em um loop de Busca-Raciocínio, alternando entre recuperar evidências externas (por meio de ferramentas de busca), raciocinar sobre os fatos acumulados e resolver uma hipótese estruturada $h = \{e, c, K\}$, onde $e$ é o nome da entidade, $c$ é a categoria visual e $K$ representa pistas verificáveis na imagem.
   • O agente verifica se a entidade resolvida não é uma pista intermediária, mas o alvo visível final.

2. Fundamentação Agêntica e Uso de Ferramentas:

   • Usando a hipótese resolvida $h$, o agente orienta ferramentas de fundamentação visual.
   • Para Fundamentação/Segmentação: Identifica regiões candidatas, verifica-as contra as evidências resolvidas e invoca uma ferramenta de segmentação acionável (SAM3) para refinamento de máscara.
   • Para VQA: Inverte o processo, resolvendo cada opção de resposta em pistas conscientes de evidências e selecionando aquela que melhor corresponde à região visual fundamentada.

3. Contribuições Principais

O artigo faz três contribuições principais:

1. Pesquisa Profunda de Percepção: Uma nova formulação para a percepção visual de mundo aberto, onde os modelos devem buscar ativamente evidências externas para resolver identidades ocultas antes de fundamentá-las.
2. Benchmark WebEyes: Um conjunto de dados com evidências externas verificáveis, consultas intensivas em conhecimento e anotações precisas nas vistas de fundamentação, segmentação e VQA, projetado especificamente para testar a capacidade de converter conhecimento da web em saídas em nível de pixel.
3. Pixel-Searcher: Um fluxo de trabalho agêntico que demonstra a eficácia do raciocínio de busca para pixel. Os autores fornecem experimentos diagnósticos revelando que os gargalos de desempenho residem principalmente na aquisição de evidências, resolução de identidade e vinculação de instância visual, e não na etapa final de refinamento de máscara.

4. Resultados Experimentais

Os experimentos foram conduzidos no WebEyes usando vários modelos de código aberto e fechado sem ajuste fino específico para a tarefa.

• Desempenho: O Pixel-Searcher alcança o desempenho mais forte entre todos os métodos de código aberto nas três vistas de tarefa.
  • Na Fundamentação Baseada em Busca, ele melhora o IoU da linha de base Qwen3-VL-8B de 26,81% para 34,17% e o Recall@0,5 de 32,61% para 41,30%.
  • Na Segmentação Baseada em Busca, ele melhora o gIoU de 35,78% para 39,17% e o cIoU de 25,94% para 32,41%.
  • Na VQA Baseada em Busca, ele alcança 42,24% de precisão, superando outros modelos de código aberto.
• Comparação: Embora o Pixel-Searcher lidera os métodos de código aberto, uma lacuna de desempenho permanece em comparação com modelos de código fechado de ponta (por exemplo, Doubao-Seed, Gemini), sugerindo que a seleção de evidências e a resolução de entidades permanecem desafiadoras mesmo para agentes avançados.
• Análise de Ablação e Falhas:
  • A remoção de pistas de localização direta causa as quedas de desempenho mais significativas.
  • Modos de Falha: Aproximadamente 78% das falhas (304 de 389) ocorrem na fase de busca/resolução de entidade (identificação incorreta de entidade ou planejamento de busca). Apenas uma pequena fração (10 casos) deve-se a erros de transferência de caixa para máscara. Isso confirma que o gargalo principal é identificar a entidade correta e não refinar o limite visual.

5. Significado e Alegações

O artigo afirma que o WebEyes fornece a infraestrutura necessária para avaliar e avançar a "Pesquisa Profunda de Percepção", movendo a percepção visual além da análise estática de imagens para uma interação dinâmica e orientada por conhecimento.

O significado do Pixel-Searcher reside em demonstrar que a busca agêntica é um mecanismo viável e necessário para a percepção visual de mundo aberto. Os autores argumentam que, para tarefas onde a identidade do alvo está oculta atrás de fatos externos, confiar simplesmente em atributos visuais ou no conhecimento congelado do modelo é insuficiente. O fluxo de trabalho prova que resolver o "quem" (identidade) antes de determinar o "onde" (localização) é crítico, e que as falhas neste domínio são predominantemente semânticas (erros de busca/raciocínio) e não geométricas (erros de refinamento de máscara).

O artigo conclui que essa direção exige que os modelos busquem ativamente evidências externas e verifiquem identidades contra instâncias visuais, oferecendo um ponto de partida simples, mas eficaz, para estudar como a busca agêntica pode preencher a lacuna entre o conhecimento da web e a percepção em nível de pixel.