Revisiting Human-in-the-Loop Object Retrieval with Pre-Trained Vision Transformers

1. Definição do Problema

O artigo aborda a Recuperação de Objetos com Humano no Loop (HITL-OR), uma tarefa voltada para recuperar iterativamente imagens contendo objetos de uma determinada "classe de interesse" a partir de um grande conjunto de dados não rotulado.

• O Desafio: A Recuperação de Objetos tradicional frequentemente falha em domínios especializados (por exemplo, arquivos históricos), onde uma única consulta gera muitos resultados irrelevantes. Métodos padrão de recuperação por aprendizado profundo geralmente exigem treinamento prévio em dados rotulados para categorias específicas, o que não está disponível neste cenário interativo de "zero-shot".
• A Complexidade Multi-Objeto: A tarefa é particularmente difícil em conjuntos de dados multi-objeto (por exemplo, COCO, PascalVOC), onde o objeto alvo ocupa apenas uma pequena região de uma cena desordenada. Descritores globais de imagem frequentemente falham porque capturam o contexto de fundo dominante em vez do objeto pequeno específico.
• O Objetivo: Identificar rapidamente diversas instâncias de uma categoria de objeto usando apenas uma consulta inicial do usuário (com uma região de interesse) e Feedback de Relevância (RF) iterativo, guiado por Aprendizado Ativo (AL) para minimizar o esforço de anotação do usuário.

2. Metodologia

Os autores propõem um framework que integra um loop de Aprendizado Ativo com representações de Vision Transformer (ViT) pré-treinados.

A. Fluxo de Trabalho do Framework

1. Inicialização: Um grande conjunto de dados não rotulado $D$ é codificado usando um ViT pré-treinado (especificamente dinoV2) para extrair características.
2. Consulta e Rotulagem: O usuário fornece uma imagem de consulta e marca uma Região de Interesse (RoI). Um pequeno conjunto de amostras negativas é amostrado aleatoriamente.
3. Classificação: Um SVM Linear superficial é treinado para distinguir a classe de interesse (positiva) do restante (negativa). Os autores escolheram o SVM em vez de ajustar finamente camadas profundas porque ele generaliza melhor com muito poucas amostras rotuladas (orçamento de anotação baixo).
4. Loop de Aprendizado Ativo:
   • O classificador pontua todas as imagens não rotuladas.
   • Um Critério de Incerteza ($s_{AL} = 1 - |0.5 - s_i|$) seleciona as top-$b$ imagens mais informativas para o usuário anotar.
   • O usuário confirma a relevância e seleciona o quadro delimitador (bounding box) do objeto específico nas imagens positivas.
   • O conjunto de treinamento é atualizado e o loop se repete.

B. Estratégias de Representação

A contribuição técnica central reside em como as características da imagem são construídas a partir do ViT para lidar com cenas multi-objeto. Os autores comparam três estratégias:

1. Apenas Global (GO): Utiliza o único descritor global de toda a imagem.
2. Apenas Local (LO):
   • As imagens são divididas em uma grade de $M$ patches (por exemplo, $2\times2$ ou $4\times4$).
   • As características são extraídas seja alimentando patches recortados na rede ou calculando a média dos tokens de patch do ViT.
   • LO-One: Utiliza um único patch representativo por imagem (por exemplo, o patch com a maior sobreposição com a RoI do usuário).
   • LO-Todos: Trata cada patch na imagem como uma amostra de treinamento separada. Imagens positivas geram tanto amostras positivas (patches que se sobrepõem ao objeto) quanto negativas (patches de fundo).
3. Global-Local (GL) / Híbrido: Funde contextos globais e locais.
   • Concatenação: $[g_i, l_i]$ (preserva contextos separados).
   • Agrupamento (Pooling): $\frac{g_i + l_i}{2}$ (mescla contextos).
   • Nota: Para a estratégia "LO-Todos", os autores descobriram que concatenar o descritor global com todos os patches (incluindo patches de fundo negativos) confunde o SVM. Portanto, eles apenas concatenam o descritor global com os patches locais positivos.

C. Inferência

Para estratégias Locais e Híbridas, a pontuação da imagem é determinada pela pontuação máxima entre todos os seus patches constituintes ($s_i = \max_m s_{i,m}$), garantindo que, se o objeto estiver presente em qualquer patch, a imagem seja recuperada.

3. Contribuições Principais

1. Revisão do HITL-OR com ViTs: O primeiro estudo abrangente aplicando ViTs pré-treinados e auto-supervisionados (dinoV2) à tarefa de Recuperação de Objetos com Humano no Loop, sem ajuste fino no conjunto de dados alvo.
2. Análise de Representação: Uma comparação sistemática de representações Globais, Locais e Híbridas. O artigo demonstra que estratégias Híbridas (Global-Local) são superiores, pois capturam tanto os detalhes de alta granularidade do objeto (via patches locais) quanto o contexto da cena (via descritores globais).
3. Integração de Aprendizado Ativo: O framework utiliza efetivamente um loop de AL baseado em incerteza para selecionar amostras informativas, permitindo alto desempenho de recuperação com entrada mínima do usuário (simulado com um orçamento de 10 imagens por iteração).
4. Insights sobre Granularidade de Patch: O estudo revela que o tamanho de patch ideal depende da distribuição do tamanho dos objetos no conjunto de dados. Patches menores ($4\times4$) são melhores para conjuntos de dados com muitos objetos pequenos (COCO), enquanto patches maiores ($2\times2$) equilibram o desempenho para conjuntos de dados mais equilibrados (PascalVOC).

4. Resultados Experimentais

Os experimentos foram conduzidos no PascalVOC2012 e COCO2017 usando características do dinoV2.

• Métricas: Precisão Média (MAP) para acurácia de recuperação e Cobertura (diversidade de instâncias recuperadas) para satisfação do usuário.
• Principais Descobertas:
  • Superioridade Híbrida: Representações híbridas (especificamente GL-concat-All e GL-pool-All) superaram consistentemente as linhas de base Apenas Global e Apenas Local.
    • No PascalVOC2012, as estratégias híbridas melhoraram a MAP em ~8-9% e a Cobertura em ~3-6% sobre o Apenas Global.
    • No COCO2017, as melhorias foram ainda mais significativas (MAP +13-18%).
  • Estratégia LO-Todos: A abordagem "Local-Todos" (usando todos os patches como amostras) forneceu o melhor equilíbrio entre desempenho e cobertura, pois ofereceu ao classificador um conjunto de exemplos de treinamento mais rico e diversificado.
  • Tamanho do Patch:
    • COCO2017: Patches $4\times4$ (16 no total) tiveram o melhor desempenho, provavelmente porque 74,7% dos objetos neste conjunto de dados são "pequenos".
    • PascalVOC2012: Patches $2\times2$ (4 no total) ofereceram o melhor equilíbrio, pois o conjunto de dados possui uma distribuição mais equilibrada de tamanhos de objetos.
  • Registradores (Registers) do ViT: Experimentos com ViTs baseados em Registradores mostraram que ViTs padrão performaram melhor neste contexto específico de recuperação, possivelmente porque a informação global "emaranhada" nos tokens de patch padrão auxilia na diversidade.

5. Significado e Conclusão

Este trabalho fornece um roteiro prático para a construção de sistemas de recuperação interativos para conjuntos de dados não rotulados e multi-objeto.

• Eficiência: Prova que a recuperação de alto desempenho pode ser alcançada com esforço mínimo do usuário (aprendizado de poucos exemplos) ao alavancar modelos fundamentais pré-treinados e Aprendizado Ativo.
• Diretrizes de Design: O artigo oferece escolhas de design concretas para sistemas futuros:
  • Use representações Híbridas (Global-Local) para equilibrar precisão e diversidade.
  • Use Concatenação se a precisão da recuperação for a prioridade; use Agrupamento (Pooling) se cobrir diversas instâncias de objetos for mais importante.
  • Adapte a granularidade do patch com base no tamanho esperado dos objetos no conjunto de dados alvo.
• Trabalho Futuro: Os autores sugerem desenvolver frameworks adaptativos de seleção de patches multi-escala para lidar dinamicamente com tamanhos de objetos variados sem configuração manual.

Em resumo, o artigo moderniza com sucesso o paradigma de recuperação com Humano no Loop, substituindo características artesanais por ViTs pré-treinados e demonstrando que uma estratégia de representação híbrida supera significativamente as abordagens tradicionais apenas globais ou apenas locais em cenários complexos e multi-objeto.