Resumo Técnico: Descoberta de Categoria Baseada em Referência (RefCD)

Declaração do Problema

Os paradigmas existentes de detecção de objetos enfrentam uma dicotomia entre supervisão e generalização. Métodos supervisionados tradicionais dependem fortemente de anotações manuais intensivas em mão de obra e estão confinados a categorias predefinidas, limitando sua escalabilidade para objetos não vistos. Por outro lado, métodos de detecção de objetos não supervisionados (por exemplo, TokenCut, CutLER) localizam com sucesso objetos de primeiro plano sem rótulos, mas carecem de consciência de categoria; eles tratam todos os objetos detectados como uma única classe de primeiro plano, tornando-os incapazes de classificação ou de distinguir entre diferentes tipos de objetos.

Enquanto isso, métodos de detecção de uma única amostra (one-shot) e de vocabulário aberto tentam abordar categorias novas, mas geralmente exigem rótulos de categoria manuais para ajuste fino ou dependem de grandes modelos de visão e linguagem pré-treinados com custos computacionais significativos. Permanece uma lacuna para um método que possa realizar detecção com consciência de categoria (identificando tipos específicos de objetos) de forma totalmente não supervisionada, sem quaisquer anotações manuais ou listas de categorias predefinidas.

Metodologia: Descoberta de Categoria Baseada em Referência (RefCD)

Os autores propõem o RefCD, um detector não supervisionado que utiliza imagens de referência não rotuladas para orientar a aprendizagem de características com consciência de categoria. O framework opera sem rótulos de categoria explícitos, utilizando em vez disso a similaridade de características para associar objetos detectados a instâncias de referência.

1. Visão Geral da Arquitetura

O RefCD consiste em dois componentes principais:

• Codificador de Referência: Um Vision Transformer (ViT, especificamente DINOv2) auto-supervisionado e congelado, usado para extrair representações de características tanto dos patches da imagem alvo (caixas pseudo) quanto das imagens de referência fornecidas pelo usuário.
• Detector: Um detector baseado em transformer (RT-DETR) treinado para realizar duas tarefas simultaneamente:
  • Detecção Agnóstica à Categoria: Localizar todos os objetos de primeiro plano usando perdas de classificação binária e regressão.
  • Correspondência com Consciência de Categoria: Identificar objetos que compartilham a mesma categoria implícita que a imagem de referência por meio de similaridade de características.

2. Perda de Similaridade de Características (FS)

A inovação central do RefCD é a perda de Similaridade de Características (FS), que substitui as perdas de classificação tradicionais (por exemplo, entropia cruzada) que exigem rótulos de verdade fundamental. A perda funciona da seguinte forma:

• Atribuição: Em vez de corresponder previsões a anotações com base em rótulos de categoria, o RefCD utiliza o algoritmo húngaro com uma função de custo baseada em similaridade de características (similaridade de cosseno entre características de consulta e características de caixa pseudo) e distância de caixa delimitadora.
• Cálculo da Perda: A perda FS ($L_{FS}$) restringe o detector a maximizar a similaridade entre uma consulta prevista e uma imagem de referência se elas pertencerem à mesma categoria implícita, e minimizá-la caso contrário.
  • Para pares correspondidos onde a caixa pseudo corresponde à imagem de referência, a perda incentiva que a similaridade da consulta com a referência corresponda à similaridade da caixa pseudo com a referência.
  • Para pares não correspondidos, a perda penaliza alta similaridade.
• Estratégia de Treinamento: Durante o treinamento, caixas pseudo são geradas a partir da imagem alvo usando métodos não supervisionados existentes (por exemplo, MaskCut). Uma caixa pseudo aleatória é selecionada como a "referência" para aquela iteração. O modelo aprende a associar outros objetos na imagem a essa referência se compartilharem alta similaridade de características.

3. Inferência

Na inferência, o modelo não realiza classificação explícita. Em vez disso, aceita uma imagem de referência fornecida pelo usuário. O detector emite caixas agnósticas à categoria, e o sistema filtra/identifica objetos correspondendo suas características de consulta às características da imagem de referência. Objetos com alta similaridade de características são considerados correspondências. Isso permite detecção de conjunto aberto, onde a "categoria" é definida dinamicamente pela imagem de referência em vez de um conjunto fixo de rótulos.

Principais Contribuições

1. Detecção Não Supervisionada Baseada em Referência: A proposta do RefCD, o primeiro detector não supervisionado capaz de detecção com consciência de categoria sem quaisquer anotações manuais, dependendo exclusivamente de imagens de referência e similaridade de características.
2. Perda de Similaridade de Características: A introdução de uma função de perda inovadora que orienta a aprendizagem de características potenciais específicas de categoria em um paradigma não supervisionado, fechando a lacuna entre localização agnóstica à categoria e correspondência com consciência de categoria.
3. Framework Unificado: O RefCD suporta tanto detecção agnóstica à categoria (localizando todos os objetos) quanto detecção com consciência de categoria (identificando instâncias específicas) dentro de um único framework, sendo que esta última aprimora a primeira através de uma melhor aprendizagem de características.

Resultados Experimentais

Os autores avaliaram o RefCD em benchmarks padrão, demonstrando desempenho de última geração em configurações não supervisionadas.

• Detecção com Consciência de Categoria (One-Shot):
  • No COCO NOVEL (20 categorias novas), o RefCD alcançou 15,1% AP, superando o método supervisionado anterior de última geração UNICL-SAM (13,2% AP) e superando significativamente outros métodos supervisionados one-shot como Meta R-CNN (1,5% AP).
  • No GMOT-40 (rastreamento/detecção em vídeo), o RefCD alcançou 31,8% AP50 e 30,2% AR, demonstrando robustez na distinção de objetos da mesma categoria entre quadros de vídeo.
• Detecção Agnóstica à Categoria:
  • No COCO 20K e no val2017, o RefCD alcançou 13,3% AP e 12,9% AP, respectivamente. Isso supera métodos não supervisionados líderes como CutLER (10,1% AP) e se aproxima do desempenho do CuVLER, apesar de usar o mesmo pipeline de geração de caixas pseudo.
• Extensões:
  • Aprendizado Fracamente Supervisionado: Quando treinado apenas com rótulos de caixa delimitadora (sem rótulos de categoria) no COCO BASE, o RefCD alcançou 24,9% AP no COCO NOVEL, superando métodos supervisionados one-shot totalmente supervisionados.
  • Rastreamento de Objeto Único (SOT): Aplicado ao conjunto de dados VOT 2018, o RefCD demonstrou desempenho competitivo no rastreamento de instâncias sem rótulos explícitos.

Significado e Alegações

O artigo afirma que o RefCD elimina com sucesso a dependência de anotações manuais para detecção com consciência de categoria, uma limitação que tem dificultado tanto os métodos não supervisionados tradicionais quanto as abordagens one-shot. Ao mudar o paradigma de "prever um rótulo" para "corresponder uma referência via características", o RefCD permite detecção de conjunto aberto, onde o sistema pode identificar objetos novos simplesmente fornecendo um exemplo.

Os autores enfatizam que seu método não requer listas de categorias predefinidas ou ajuste fino em dados rotulados. Os resultados sugerem que aprender similaridade de características de forma não supervisionada não apenas permite discriminação de categoria, mas também melhora implicitamente a qualidade da localização agnóstica à categoria (regressão de caixa delimitadora). O trabalho se posiciona como um framework unificado que fecha a lacuna entre descoberta de objetos não supervisionada e detecção baseada em referência, oferecendo uma solução escalável para detectar objetos em cenários onde anotações estão indisponíveis ou são impraticáveis.