Personalized Object Identification and Localization via In-Context Inference with Vision-Language Models

Resumo Técnico: Identificação e Localização de Objetos Personalizados via Inferência In-Context com Modelos de Visão-Linguagem

1. Definição do Problema

O artigo aborda as limitações da Localização de Objetos Personalizados (POL), uma tarefa pioneira do método IPLoc. Embora o IPLoc utilize com sucesso Modelos de Visão-Linguagem (VLMs) para localizar uma instância específica de um objeto em uma imagem de consulta baseando-se em imagens de referência e anotações de caixas delimitadoras (bounding boxes), ele opera sob uma premissa crítica: a imagem de consulta sempre contém o objeto alvo.

Em cenários do mundo real (ex: recuperação de imagens, grounding de vídeo), as imagens de consulta frequentemente não contêm o objeto de referência. Sob estas condições, o IPLoc falha em rejeitar a imagem e, em vez disso, gera uma caixa delimitadora de falso-positivo. Esta limitação restringe severamente a aplicabilidade prática da POL.

Para resolver isso, os autores formulam uma nova tarefa: Identificação e Localização de Objetos Personalizados (POIL). A POIL estende o framework de POL exigindo que o modelo:

1. Localize a instância específica do objeto condicionada à referência, caso ela exista na imagem de consulta.
2. Rejeite a imagem de consulta (retornando nenhuma caixa delimitadora) se a instância do objeto de referência estiver ausente.

Esta tarefa difere da Detecção de Objetos de Poucos Disparos (FSOD) convencional, que opera ao nível da categoria (detectando qualquer objeto de uma classe), ao exigir discriminação ao nível da instância e a capacidade de distinguir entre o alvo específico e distratores da mesma classe.

2. Metodologia: IPLoc-ID

Os autores propõem o IPLoc-ID, um algoritmo de inferência in-context projetado para resolver a tarefa de POIL usando VLMs sem a necessidade de ajuste fino (fine-tuning) nos dados de teste. O método aproveita as capacidades de geração autorregressiva dos VLMs para realizar a localização e a identificação sequencialmente dentro de uma única sequência de texto.

Componentes Principais:

• Geração Sequencial: Diferente do IPLoc, que gera apenas uma caixa delimitadora ($\langle B \rangle$), o IPLoc-ID gera uma sequência de três partes:
  1. Caixa Delimitadora Candidata ($\langle B \rangle$): Uma caixa candidata condicionada à referência na imagem de consulta.
  2. Consulta Auto-proposta ($\langle Q \rangle$): Uma consulta intermediária fixa que conecta a caixa candidata aos dados de referência (ex: "Todas essas caixas possuem o mesmo objeto?").
  3. Resposta de Identificação ($\langle A \rangle$): Uma resposta binária ("Sim" ou "Não") determinando se a candidata corresponde à instância de referência.
• Objetivo de Treinamento Unificado: O modelo é ajustado usando uma função de perda unificada que maximiza a verossimilhança de toda a sequência ($B, Q, A$). Isso permite que o modelo aprenda conjuntamente a localização da candidata e a identificação ao nível da instância.
• Tratamento de Exemplos Negativos: Durante o treinamento, o modelo é exposto tanto a exemplos positivos (onde o alvo existe) quanto a exemplos negativos (onde ele não existe). Para exemplos negativos, o modelo ainda gera uma caixa candidata (representando o objeto mais plausível), mas é treinado para responder "Não" na etapa de identificação, aprendendo efetivamente a rejeitar a imagem.
• Interpretação: Um intérprete de pós-processamento extrai as coordenadas e a decisão "Sim/Não". Se a resposta for "Não", o resultado final é uma rejeição ($\emptyset$); caso contrário, a caixa delimitadora é retornada.

Detalhes de Implementação:

• O método utiliza LoRA (Low-Rank Adaptation) para o ajuste fino eficiente de parâmetros dos backbones de VLM (ex: Qwen2-VL, Qwen3-VL).
• Os conjuntos de dados são construídos a partir de fontes públicas de rastreamento de vídeo (LaSOT, PDM, GOT-10K, VastTrack) através da amostragem de frames de referência e criação de pares de imagens de consulta positivas/negativas.

3. Principais Contribuições

1. Formulação da Tarefa: A introdução da POIL, uma definição de tarefa rigorosa que combina localização ao nível da instância com rejeição de consultas negativas, preenchendo a lacuna entre a POL e as necessidades de aplicação prática.
2. Construção de Dataset: A criação de datasets de POIL customizados contendo imagens de consulta positivas e negativas, especificamente desenhadas para incluir distratores desafiadores da mesma classe para avaliar a discriminação ao nível da instância.
3. Algoritmo (IPLoc-ID): Um novo framework de inferência in-context que integra um mecanismo de consulta auto-proposta. Este design conecta a etapa de localização com a etapa de identificação, permitendo que o modelo verifique suas próprias previsões dentro de um único processo de geração autorregressiva.
4. Validação Empírica: Experimentos abrangentes demonstrando que o IPLoc-ID suprime significativamente os falsos-positivos em imagens negativas, mantendo a precisão de localização do IPLoc original.

4. Resultados Experimentais

Os autores avaliaram o IPLoc-ID contra baselines de estado da arte, incluindo Detecção de Objetos (OD) convencional, Detecção de Objetos de Poucos Disparos (FSOD) e o IPLoc original, através de quatro datasets (LaSOT, PDM, GOT-10K, VastTrack) e várias configurações de N-shots.

• Desempenho de Localização (mIoU): O IPLoc-ID mantém um desempenho de localização comparável ou ligeiramente superior ao IPLoc em todos os datasets e backbones.
• Desempenho de Identificação (F1-Score):
  • Métodos de apenas localização (IPLoc, OD, FSOD) alcançam consistentemente um F1-score próximo a 0,667 (o baseline teórico para sempre prever "positivo" em um dataset balanceado), indicando falha em rejeitar imagens negativas.
  • O IPLoc-ID alcança F1-scores significativamente mais altos (frequentemente excedendo 0,90 e atingindo 0,99 em divisões específicas), demonstrando a rejeição eficaz de imagens de consulta negativas.
• Estudos de Ablação:
  • Unificado vs. Dois Estágios: Um objetivo de treinamento unificado supera uma abordagem de dois estágios (treinar primeiro a localização, depois a identificação), que sofre de esquecimento catastrófico das habilidades de localização.
  • Consulta Auto-proposta: A redação específica da consulta auto-proposta tem impacto mínimo no desempenho, sugerindo que o modelo aprende o papel estrutural da consulta durante o ajuste fino.
  • Escalabilidade de Backbone: O desempenho melhora com modelos maiores (ex: Qwen3-VL-235B), confirmando a escalabilidade da abordagem.

5. Significância e Alegações

O artigo afirma que o IPLoc-ID aborda efetivamente a tarefa prática de POIL ao nível da instância, um problema que não pode ser suficientemente resolvido por:

• OD/FSOD Convencionais: Que operam ao nível da categoria e falham em distinguir instâncias específicas.
• IPLoc de Apenas Localização: Que carece de um mecanismo para rejeitar imagens onde o alvo está ausente, levando a altas taxas de falso-positivo em cenários reais.

Ao introduzir a consulta auto-proposta e o componente de identificação, os autores demonstram que os VLMs podem ser guiados para realizar a verificação ao nível da instância juntamente com a localização. Os autores posicionam este trabalho como um passo fundamental para futuras tarefas de visão personalizada, incluindo recuperação, grounding e rastreamento, sob configurações de consulta realistas onde o objeto alvo pode não estar presente.

Limitações Reconhecidas:

• O framework atual foca na localização de objeto único por imagem de consulta e não lida com múltiplos objetos alvo simultaneamente.
• A inferência é realizada em imagens individuais; a consistência temporal em sequências de vídeo não é explicitamente utilizada, embora os autores apontem isso como uma direção para trabalhos futuros.