Resumo Técnico: FOCUS – Forçando a Localização de Objetos em Contexto através de Restrições de Suporte Visual e Otimização de Política

1. Definição do Problema e Motivação

Localização de Objetos em Contexto (ICOL - In-Context Object Localization) é a tarefa de identificar e localizar um objeto alvo específico em uma imagem de consulta baseando-se apenas em um pequeno conjunto de exemplos visuais de suporte (imagens com caixas delimitadoras/bounding boxes) fornecidos no momento da inferência, sem qualquer atualização de parâmetros ou treinamento no alvo específico.

Embora os Modelos de Visão-Linguagem (VLMs) tenham avançado significamente, eles enfrentam dificuldades com ICOL em configurações realistas e agnósticas de categoria. Métodos existentes, como o IPLoc, frequentemente dependem de priors semânticos (ex: nomes de categorias ou pseudo-rótulos) em vez de evidência puramente visual. Isso leva a dois modos críticos de falha:

1. Viés de Categoria: Os modelos tendem a localizar a instância mais prototípica ou visualmente saliente de uma categoria, em vez da instância específica definida pelo exemplo de suporte (ex: localizar qualquer "tigela" em vez da "tigela" específica mostrada no suporte).
2. Fundamentação Visual Fraca (Weak Visual Grounding): Os mecanismos de atenção nos modelos atuais frequentemente distribuem o foco de forma difusa pela imagem de consulta ou dependem fortemente de tokens de categoria, falhando em se concentrar nas pistas geométricas e espaciais fornecidas pelas caixas delimitadoras de suporte.

O artigo argumenta que, para aplicações como busca visual personalizada e edição de imagem específica de instância, os modelos devem inferir o alvo com base apenas em correspondência visual e raciocínio espacial, completamente desconectados de rótulos de categoria textuais.

2. Metodologia: O Framework FOCUS

Os autores propõem o FOCUS, um framework de treinamento de dois estágios projetado para forçar a fundamentação visual e eliminar o viés de categoria. A abordagem opera sob uma premissa agnóstica de categoria: o modelo recebe apenas entradas visuais (imagens de suporte e suas caixas delimitadoras) e a imagem de consulta, sem nomes de categoria no prompt.

Estágio 1: Otimização de Bounding Box Baseada em Atenção (Ajuste Fino Supervisionado)

O primeiro estágio aborda o problema da "atenção fraca" ao otimizar explicitamente os mapas de atenção latentes do modelo para priorizar as anotações espaciais.

• Especificação do Prompt: A entrada é uma sequência intercalada de uma instrução em linguagem natural, imagens de suporte com suas caixas delimitadoras (serializadas como tokens de texto) e a imagem de consulta. Crucialmente, nenhum nome de categoria é incluído.
• Perda de Atenção ($L_{bbox}$): Os autores introduzem uma função de perda que força os pesos de atenção das imagens de consulta a se concentrarem nos tokens de anotação de bounding box das imagens de suporte.
  • Uma máscara binária distingue entre tokens de BBOX e tokens não-BBOX.
  • A perda minimiza uma perda de margem baseada em hinge, incentivando o modelo a atribuir maior massa de atenção aos tokens de BBOX ($p^+$) do que aos tokens não-BBOX ($p^-$).
  • Isso garante que o modelo aprenda a "olhar" para as restrições geométricas fornecidas pelos exemplos de suporte em vez de depender de atalhos semânticos.
• Implementação: Este estágio utiliza Ajuste Fino Supervisionado (SFT) com LoRA (Low-Rank Adaptation) em um VLM base (ex: Qwen2-VL-7B).

Estágio 2: Aprendizado por Reforço com Otimização de Política Relativa de Grupo (GRPO)

O segundo estágio refina a precisão das caixas delimitadoras previstas.

• Objetivo: Minimizar o erro de localização (IoU) e garantir a correção sintática da saída.
• Função de Recompensa: Uma recompensa combinada $R$ é utilizada:
  1. Recompensa de IoU ($r_{iou}$): A Interseção sobre União (Intersection-over-Union) entre a caixa prevista e a verdade fundamental (ground truth).
  2. Recompensa de Formatação ($r_{fmt}$): Uma recompensa binária que garante que a saída siga o formato exigido (ex: <answer>[x_min, y_min, x_max, y_max]</answer>).
• Otimização: O GRPO é empregado para atualizar a política. Ao contrário do PPO, o GRPO não requer um crítico aprendido; em vez disso, ele calcula as vantagens comparando as saídas amostradas dentro de um grupo em relação à média do grupo. Isso estabiliza o treinamento em configurações de poucos disparos (few-shot) e otimiza diretamente para um alinhamento de alta qualidade.

3. Principais Contribuições

1. Framework Agnóstico de Categoria: O artigo introduz um cenário de localização em contexto puramente visual que remove todos os nomes de categoria dos prompts, forçando o modelo a depender exclusivamente da aparência visual e geometria.
2. Otimização de Mapa de Atenção: Uma nova função de perda é proposta para alinhar explicitamente a atenção do modelo com os tokens de bounding box de suporte, corrigindo a tendência dos VLMs de ignorar restrições espaciais em favor de priors semânticos.
3. Refinamento via GRPO: A integração da Otimização de Política Relativa de Grupo permite a minimização direta do erro de localização (IoU) e impõe uma formatação de saída estrita, melhorando a precisão ao nível de instância.
4. Eficiência e Escalabilidade: Os autores demonstram que um modelo de 7 bilhões de parâmetros treinado com esses objetivos supera significativamente modelos muito maiores (até 72 bilhões de parâmetros), provando que objetivos de localização conscientes do contexto são mais críticos do que o mero escalonamento de modelos.

4. Resultados Experimentais

Os autores avaliaram o FOCUS em um conjunto diversificado de benchmarks, incluindo TAO, GOT-10k, LaSOT, PerSeg e PerMIRS.

• Desempenho vs. Baselines: O FOCUS (baseado no Qwen2-VL-7B) alcançou resultados de estado da arte, superando significativamente baselines fortes como IPLoc (7B), Qwen2-VL-72B e InternVL2-76B.
  • No GOT-10k (generalização de categoria zero-shot), o FOCUS alcançou 82,6% (4-shot), superando o modelo Qwen2-VL de 72B parâmetros (59,9%) por uma margem ampla.
  • No TAO (mundo aberto, múltiplos objetos), o FOCUS atingiu 68,5% (4-shot), comparado aos 55,6% do Qwen2-VL-72B.
• Generalização: O modelo mostrou generalização robusta para categorias não vistas e mudanças de domínio (ex: dados sintéticos no PerSeg), mantendo alto desempenho onde modelos dependentes de categoria falharam em desambiguar instâncias.
• Estudos de Ablação:
  • A remoção da perda de atenção resultou em uma queda significativa de desempenho, confirmando a necessidade de forçar a atenção para os tokens de BBOX.
  • Adicionar GRPO sobre o SFT + Perda de Atenção proporcionou um ganho adicional de 11,4% no cenário de 4-shot no TAO.
  • Aplicar a perda de atenção às cinco primeiras camadas do transformer foi considerado mais eficaz para a fundamentação, sugerindo que as camadas iniciais são cruciais para estabelecer a correspondência espacial.

5. Significância e Alegações

O artigo afirma que o FOCUS refaz com sucesso a localização em contexto como uma tarefa de raciocínio visual em vez de uma tarefa de recuperação semântica. Ao eliminar a supervisão de categoria e forçar a correspondência visual estrita através de restrições de atenção e otimização de política, o método alcança uma fundamentação robusta ao nível de instância.

Os autores enfatizam que sua abordagem demonstra que objetivos de treinamento especializados podem gerar um desempenho superior comparado ao simples aumento do tamanho do modelo. Um modelo de 7B com FOCUS supera modelos de 72B, destacando que "objetivos de localização conscientes do contexto" são um caminho mais eficiente para resolver o problema da localização de objetos agnóstica de categoria do que depender apenas de contagens massivas de parâmetros. O trabalho sugere que, para aplicações impulsionadas pelo usuário e específicas de instância, os modelos devem ser treinados para ignorar priors semânticos e focar estritamente em evidências visuais.