Identifying Latent Concepts and Structures for Generalized Category Discovery

Resumo Técnico: Identificação de Conceitos e Estruturas Latentes para Descoberta de Categorias Generalizada

1. Definição do Problema

O artigo aborda a Descoberta de Categorias Generalizada (GCD - Generalized Category Discovery), um cenário onde um modelo deve reconhecer classes conhecidas enquanto descobre autonomamente classes novas e não vistas a partir de dados não rotulados. Os autores identificam um gargalo crítico nas abordagens atuais de GCD: embora a pesquisa tenha se concentrado intensamente no design de melhores objetivos de agrupamento (clustering) ou cabeças de descoberta, esses métodos frequentemente herdam representações de tokens de alto rank e emaranhadas de backbones de visão padrão (particularmente Vision Transformers).

Nestas representações padrão, os tokens de patches formam uma "nuvem de alta dimensão ruidosa", onde partes do primeiro plano (foreground), texturas de fundo (background) e correlações incidentais ocupam direções próximas. Esta geometria é inadequada para a descoberta não supervisionada, levando a erros onde uma única categoria se fragmenta em múltiplos clusters ou categorias distintas se fundem devido ao contexto compartilhado. O problema central não é a função de perda utilizada após o backbone, mas a geometria não estruturada das características expostas a essa perda.

2. Metodologia: Campos de Primitivos Composicionais (CPF-GCD)

Os autores propõem os Campos de Primitivos Composicionais (CPF-GCD), um módulo leve e plug-and-play inserido entre o backbone de visão e a cabeça de GCD. A hipótesagem central é que todas as categorias (conhecidas ou novas) podem ser expressas como composições e arranjos espaciais de um conjunto finito de primitivos visuais aprendíveis.

O CPF-GCD remodela o espaço de características impondo uma organização composicional de baixo rank através de três estágios:

1. Construção de um Codebook de Primitivos Condicionado à Imagem:

   • Um codebook base aprendível $P_{base}$ (um conjunto de vetores de primitivos reutilizáveis) é compartilhado por todo o dataset.
   • Para lidar com variações de pose e escala, um deslocamento condicionado à imagem $\Delta P$ é computado a partir dos tokens de entrada e adicionado à base, criando um codebook adaptado $P$.
   • Uma atribuição inicial de token-para-primitivo ($A_{prior}$) é computada através da pontuação da compatibilidade entre os tokens de patch e os primitivos adaptados.

2. Refinamento de Evidência de Primitivos:

   • Agregação de Evidência de Tokens: A evidência dos tokens é agregada nos estados dos primitivos com base na atribuição inicial.
   • Atualização Condicionada ao Token: Os estados dos primitivos consultam novamente os tokens originais via mecanismos de atenção para recuperar evidências que possam ter sido subponderadas inicialmente.
   • Consolidação de Estado de Primitivo: Os primitivos interagem entre si (atenção primitivo-para-primitivo) para remover redundâncias e garantir estados de codebook coerentes. Isso resulta em estados de primitivos refinados $P_2$.

3. Fusão de Atribuição e Reescrita de Tokens:

   • Uma segunda matriz de atribuição ($A_{data}$) é derivada das dinâmicas de refinamento (pesos de interação), capturando como os tokens realmente contribuem para os primitivos durante o processo de refinamento.
   • Fusão Ponderada por Confiança: A atribuição inicial ($A_{prior}$) e a atribuição baseada em dados ($A_{data}$) são fundidas no espaço de potencial logarítmico usando pesos aprendíveis para produzir uma matriz de atribuição final $A$.
   • Reescrita de Tokens: Os primitivos refinados são decodificados de volta para o espaço de tokens de patch usando a atribuição fundida. A saída é uma atualização residual aos tokens originais: $X_{refined} = X + \text{MLP}(A \cdot P_{refined})$.

O $X_{refined}$ resultante mantém a dimensionalidade original, permitindo que seja alimentado perfeitamente em qualquer cabeça de GCD existente (baseada em protótipos, baseada em clustering ou contrastiva) sem alterações arquiteturais.

3. Principais Contribuições

• Perspectiva do Lado da Representação: O artigo desloca o foco do design de GCD da cabeça de saída para a interface de representação, argumentando que a geometria dos tokens deve ser estruturada (via composição de baixo rank) antes da aplicação de objetivos de descoberta.
• Organizador de Tokens Baseado em Primitivos: O CPF é introduzido como um módulo drop-in que reescreve as representações de patch através de primitivos aprendíveis e fusão de atribuição adaptativa, fornecendo um espaço intermediário compacto sem modificar as perdas subsequentes.
• Validação Cross-Framework: O método é validado em diversos baselines de GCD (incluindo SimGCD, LegoGCD, CMS e SelEx) e datasets (finos como CUB-200 e grosseiros como ImageNet-100), demonstrando ganhos consistentes de desempenho.

4. Resultados Experimentais

• Ganhos de Desempenho: O CPF-GCD melhora consistentemente o desempenho da descoberta. Em benchmarks de granularidade fina, ele aumenta a acurácia média em 4,75% no Stanford-Cars e atinge uma acurácia de pico de 79,8% no CUB-200 com o baseline SelEx. Em datasets de granularidade grossa, melhora a descoberta de novas classes em uma média de 2,03% no ImageNet-100.
• Estudos de Ablação: A remoção da atribuição baseada em dados ($A_{data}$) causa a queda mais acentuada de desempenho, destacando a importância do refinamento dinâmico. O método é robusto ao número de primitivos ($M$), mostrando desempenho estável na faixa de $M \in [12, 16]$.
• Análise Geométrica e Semântica:
  • Redução de Entropia: O CPF reduz a Entropia de Von Neumann e o rank efetivo, indicando uma "purificação espectral" que filtra dimensões redundantes.
  • Estimativa de Cardinalidade: O método melhora significamente a estimativa do número de categorias não vistas, reduzindo as margens de erro em quase metade no CIFAR-100 em comparação aos baselines.
  • Mudança de Atenção: A visualização mostra que o CPF desloca a atenção de correlações de pixels difusas para interações focadas em estruturas de nível de objeto reutilizáveis (ex: fuselagens, asas), melhorando a relação sinal-ruído.
• Eficiência: O módulo adiciona aproximadamente 7,5M de parâmetros com apenas um aumento de 8% no tempo de treinamento e um aumento de 6% no tempo de inferência, mantendo um perfil leve.

5. Significância e Alegações

O artigo afirma que identificar e aproveitar a estrutura composicional de baixo rank é um viés indutivo crucial para o reconhecimento em mundo aberto. Ao modelar explicitamente a distribuição espacial dos primitivos, o CPF permite que novas categorias emerjam naturalmente como novos padrões de ativação sobre um vocabulário compartilhado, em vez de exigir eixos de características inteiramente novos.

Os autores posicionam o CPF-GCD não como um substituto para as existentes cabeças de descoberta, mas como uma reestruturação fundamental do espaço de características que torna os atributos de visão pré-treinados mais adequados para a formação de categorias. O trabalho sugere que impor a composicionalidade estrutural é um "elo perdido crítico" no reconhecimento de mundo aberto, oferecendo uma maneira simples e genérica de resolver o gargalo das representações de tokens emaranhadas.