Class Geometry as Supervision for Sample-Efficient Open-World Detection

Resumo Técnico: Geometria de Classe como Supervisão para Detecção de Mundo Aberto com Eficiência de Amostragem

Definição do Problema
A detecção de objetos em mundo aberto (OWOD) exige que os modelos detectem categorias conhecidas, rejeitem objetos desconhecidos e incorporem incrementalmente novas classes ao longo do tempo. Isso é particularmente desafiador em regimes de escassez de dados, como na imagem biomédica e científica, onde categorias raras podem ter apenas alguns poucos exemplos anotados e classes de nível fino diferem por características morfológicas sutis. Os detectores baseados em protótipos existentes, que representam classes usando pequenos conjuntos de suporte, tipicamente aprendem protótipos de classe como âncoras independentes. Essa abordagem ignora a estrutura relacional entre as classes (ex: similaridades visuais ou semânticas), levando a espaços de protótipos mal calibrados onde objetos desconhecidos podem ser classificados incorretamente ou novas classes não podem ser integradas efetivamente sem um retreinamento extensivo.

Metodologia: Supervisão de Geometria de Classe (CGS)
Os autores propõem a Supervisão de Geometria de Classe (CGS), um framework que restringe o espaço de protótipo ou de representação de classe aprendido para preservar uma geometria alvo derivada de dissimilaridades entre classes.

• Mecanismo Central: Em vez de aprender protótipos puramente a partir de exemplos rotulados escassos, a CGS introduz um objetivo de preservação de dissimilaridade. Este objetivo alinha as distâncias pareadas entre as representações de classe aprendidas ($\hat{G}_{ij}$) com uma matriz de geometria de classe alvo ($\hat{D}_{ij}$) estimada a partir dos dados de treinamento, enquanto retém a perda de tarefa padrão ($L_{task}$).
• Geometria Alvo ($D$): A matriz de dissimilaridade alvo pode ser derivada de:
  • Geometria Visual ($D^{vis}$): Computada como a média do Erro Quadrático Médio (MSE) ao nível de pixel entre regiões de suporte recortadas de diferentes classes, capturando relações morfológicas grosseiras.
  • Geometria Semântica/Texto ($D^{txt}$): Computada como $1 - \cos(e_i, e_j)$, onde $e_i$ e $e_j$ são embeddings de texto de descrições visuais de classes.
• Função de Perda: A perda de geometria ($L_{CG}$) minimiza a diferença ao quadrado entre as distâncias pareadas normalizadas no espaço de protótipos aprendido e a matriz de dissimilaridade de classe alvo:
  $$L_{CG} = \frac{1}{|E|} \sum_{(i,j) \in E} (\hat{G}_{ij} - \hat{D}_{ij})^2$$
  O objetivo total é $L = L_{task} + \lambda L_{CG}$, onde $\lambda$ controla a força da supervisão.
• Garantias Teóricas: O artigo fornece proposições mostrando que minimizar $L_{CG}$ limita a distorção média entre o grafo de protótipos aprendido e o grafo de dissimilaridade de classe alvo. Além disso, se a geometria alvo possuir margens suficientes entre as classes, uma baixa distorção preserva a ordem de vizinhança, permitindo que novas classes sejam inseridas no espaço existente com base em sua proximidade relacional, em vez de serem tratadas como âncoras isoladas.

Principais Contribuições

1. Formulação: A CGS é formulada como um mecanismo para detecção de mundo aberto com eficiência de amostragem, abordando a necessidade de detecção de classes conhecidas, descoberta de desconhecidos e inserção de novas classes sob dados rotulados limitados.
2. Objetivo: Um novo objetivo de protótipo de preservação de dissimilaridade que alinha as distâncias das representações de classe aprendidas com estruturas de dissimilaridade de classe visual ou semântica, complementando perdas padrão de correspondência e detecção.
3. Instanciação: O objetivo é aplicado em três configurações distintas:
   • Reconhecimento de Protótipo: Isolando os efeitos no aprendizado de protótipos com dados escassos (estilo ProtoNet).
   • Detecção Biomédica: Integrando-se a um detector DETR baseado em protótipos para ovos parasitários, suportando detecção de poucos disparos (few-shot), detecção de conjunto aberto (open-set) e inserção de novas classes.
   • Adaptação COCO OWOD: Avaliando no protocolo padrão de OWOD com adaptação de cabeça congelada e ajuste fino (fine-tuning) de modelo completo.
4. Análise Empírica: Avaliação abrangente demonstrando melhorias no reconhecimento de poucos disparos (low-shot), detecção de poucos disparos (few-shot) e recall de desconhecidos, juntamente com uma análise do compromisso (trade-off) entre o mAP de classe conhecida e a sensibilidade de mundo aberto.

Resultos Experimentais

• Eficiência de Amostragem: A CGS melhora o desempenho em tarefas de reconhecimento e detecção, com os ganhos mais significativos observados em regimes de poucos disparos (ex: 5-shot e 10-shot). No reconhecimento de protótipos, melhora os escores F1; na detecção de ovos, aumenta consistentemente o mAP sobre a linha de base FSP-DETR.
• Inserção de Novas Classes: A CGS produz ganhos substanciais ao inserir novas classes. No dataset de ovos, o mAP de apenas novas classes aumentou de 0,0629 para 0,1558, e o mAR de 0,2595 para 0,3728. Isso indica que os novos protótipos ocupam posições significativas no manifold de classes, em vez de serem aprendidos como âncoras isoladas.
• Detecção de Mundo Aberto (COCO):
  • Adaptação de Cabeça Congelada: Melhora significativamente o Recall de Desconhecidos (U-Recall) em várias tarefas, mas incorre em um custo no mAP de classe conhecida, particularmente em tarefas posteriores.
  • Ajuste Fino Completo (Full Fine-Tuning): Oferece um ponto de operação melhor, preservando mais o mAP de classe conhecida enquanto ainda melhora o U-Recall, sugerindo que o modelo pode recuperar a discriminação de classe conhecida enquanto retém os benefícios da geometria.
• Ablação da Fonte de Geometria: A geometria visual derivada da morfologia do recorte de suporte fornece os ganhos mais confiáveis para detecção de poucos disparos (few-shot). A geometria aleatória pode ajudar a separar classes novas, mas é menos consistente para detecção few-shot e carece de estrutura interpretável.

Significância e Alegações
O artigo afirma que a geometria relacional de classe é um sinal de supervisão eficaz para construir detectores de mundo aberto calibrados e extensíveis sob supervisão limitada. Ao organizar o espaço de protótipos de acordo com as relações visuais ou semânticas, a CGS melhora a capacidade do modelo de rejeitar desconhecidos e inserir novas classes sem exigir novas arquiteturas de detector ou retreinamento extensivo. Os autores enfatizam que, embora a CGS introduza um compromisso entre o mAP de classe conhecida e o recall de desconhecidos (especialmente em configurações de cabeça congelada), ela fornece um mecanismo controlável para deslocar o comportamento do modelo em direção à sensibilidade de mundo aberto. O trabalho sugere que aproveitar as relações entre classes é crucial para domínios de dados escassos e de nível fino, onde o aprendizado de protótipos padrão falha em capturar a estrutura necessária para decisões robustas de mundo aberto.