SECOS: Semantic Capture for Rigorous Classification in Open-World Semi-Supervised Learning

1. Definição do Problema: A Lacuna no Aprendizado Semi-Supervisionado de Mundo Aberto (OWSSL)

Contexto:
O Aprendizado Semi-Supervisionado de Mundo Aberto (OWSSL), também conhecido como Descoberta Generalizada de Classes (GCD), envolve treinar modelos em dados rotulados de classes "conhecidas" e dados não rotulados contendo tanto classes "conhecidas" quanto "novas" (previamente não vistas).

A Limitação Central:
Os métodos OWSSL existentes falham em realizar Classificação Rigorosa (RC-OWSSL).

• Falta de Fundamentação Semântica: Os métodos atuais focam intensamente no agrupamento de características visuais, mas ignoram a informação semântica latente que liga características visuais a significados linguísticos.
• Dependência de Correspondência Post-Hoc: Durante a avaliação, os métodos existentes dependem de correspondência de Hungarian para alinhar IDs de clusters previstos com nomes de classes de verdade. Esta é uma etapa de pós-processamento que inflaciona artificialmente a precisão ao reatribuir rótulos para maximizar a sobreposição, independentemente de o modelo ter realmente aprendido a correspondência semântica correta.
• Impossibilidade Prática: Em implantação no mundo real, um conjunto de teste rotulado para correspondência de Hungarian não está disponível. Portanto, os métodos existentes não podem prever diretamente o rótulo textual correto (por exemplo, "Cão" ou "Gato") para uma amostra nova; eles apenas outputam um índice de cluster.

Objetivo:
O artigo define RC-OWSSL, uma tarefa onde o modelo deve prever diretamente o rótulo textual semanticamente mais relevante de um conjunto de candidatos (conhecido + novo) sem qualquer reatribuição de rótulo post-hoc.

---

2. Metodologia: O Framework SECOS

Os autores propõem o SECOS (Captura Semântica para Aprendizado Semi-Supervisionado de Mundo Aberto), um framework projetado para fechar a lacuna entre características visuais e semânticas textuais usando conhecimento externo (CLIP). O SECOS consiste em três módulos principais:

A. Compensação Semântica de Classes Novas (Nível Global)

• Problema: Desequilíbrio severo de supervisão; classes conhecidas têm rótulos, classes novas não têm, levando a um forte viés em direção às classes conhecidas.
• Solução: Construir um Conjunto de Dados de Novas Classes Pseudo-Rotuladas Global ($D_N$).
  1. Um modelo "Professor" CLIP congelado atribui pseudo-rótulos rígidos aos dados não rotulados.
  2. As amostras são agrupadas por esses pseudo-rótulos.
  3. As top-$\phi\%$ amostras de maior confiança para cada classe nova são selecionadas para formar $D_N$.
  4. Refinamento Semântico: Um Modelo de Linguagem de Grande Escala (LLM) gera prompts descritivos para os nomes das classes para criar representações semânticas mais ricas, que são usadas para refinar o processo de pseudo-rotulagem.
• Resultado: Isso equilibra a força de supervisão entre classes conhecidas e novas globalmente.

B. Recaptura Semântica por Lote (Nível Local/Instância)

• Problema: A compensação global é de granularidade grosseira; ela perde nuances semânticas de granularidade fina dentro de lotes específicos e classes conhecidas.
• Solução: Um mecanismo de filtragem de confiança de dupla perspectiva aplicado a lotes de dados não rotulados ($B$).
  1. Intra-instância: Para uma amostra específica, acumule pontuações de confiança através das classes até que um limiar ($\tau$) seja atingido.
  2. Inter-instância: Para uma classe específica, determine um limiar ($\theta$) baseado na distribuição de confiança de todas as amostras no lote.
  3. Seleção: Uma amostra é selecionada como uma instância pseudo-rotulada de alta qualidade apenas se satisfizer ambos os critérios e a interseção de rótulos candidatos resultar em exatamente um rótulo.
• Resultado: Isso filtra amostras ambíguas e captura informações semânticas de granularidade fina, fornecendo sinais de supervisão de alta precisão.

C. Adaptador para Alinhamento de Características Semânticas

• Problema: Mesmo com pseudo-rótulos, o modelo precisa alinhar seu espaço de características visuais com o espaço semântico dos rótulos textuais para realizar classificação direta.
• Solução: Um mecanismo Adaptador leve inserido em um codificador visual CLIP congelado.
  1. Arquitetura: Adaptadores paralelos são inseridos após blocos de atenção no codificador visual. O codificador de texto permanece congelado.
  2. Alinhamento: O modelo calcula a similaridade entre as características visuais (processadas pelo adaptador) e as características semânticas dos rótulos textuais candidatos (geradas a partir de descrições de classes).
  3. Treinamento: Apenas os parâmetros do adaptador e do projetor são atualizados. A perda é uma perda padrão de Entropia Cruzada entre o logit previsto e o pseudo-rótulo (ou verdade fundamental).
• Resultado: O modelo aprende a mapear entradas visuais diretamente para rótulos textuais, permitindo classificação rigorosa sem correspondência de Hungarian.

---

3. Principais Contribuições

1. Definição de RC-OWSSL: O artigo identifica formalmente o desvio intrínseco entre OWSSL existente (agrupamento) e o requisito prático de Classificação Rigorosa (previsão textual direta), destacando a falha dos métodos atuais em alcançar fundamentação semântica.
2. Framework SECOS: Propõe um framework inovador que aproveita conhecimento externo (CLIP + LLM) para extrair e alinhar representações semânticas. Aborda de forma única a falta de supervisão para classes novas através de compensação global e recaptura por lote.
3. Desempenho Superior: Demonstra que o SECOS supera métodos de Estado da Arte (SOTA) mesmo quando esses métodos são avaliados sob o cenário permissivo de "correspondência post-hoc", enquanto o SECOS opera sob o cenário mais estrito de "classificação direta".

---

4. Resultados Experimentais

Conjuntos de Dados:
Avaliado em 7 conjuntos de dados: 3 genéricos (CIFAR-10, CIFAR-100, ImageNet-100) e 4 de granularidade fina (CUB, Stanford Cars, Oxford Flowers, Oxford Pets).

Destaques de Desempenho:

• Comparação Direta: O SECOS alcança melhorias significativas sobre métodos SOTA (por exemplo, TextGCD, TP-OWSSL, SimGCD) mesmo que o SECOS não utilize correspondência de Hungarian.
• Ganhos Quantitativos:
  • Em conjuntos de dados genéricos, o SECOS melhora a precisão de Novas em até 7,37% e a precisão de Todas em 5,35% comparado aos melhores métodos existentes.
  • Em conjuntos de dados de granularidade fina, mostra melhorias de 1,78% (Novas) e 1,95% (Todas) sobre o TP-OWSSL.
  • No geral, o SECOS supera os métodos existentes em até 5,4% em métricas de classificação rigorosa.
• Estudos de Ablação:
  • Remover qualquer um dos módulos de Compensação Global ou Recaptura por Lote causa uma queda drástica na precisão da classe Nova (por exemplo, caindo de 82,6% para 14,4% no CIFAR-100 sem qualquer captura semântica).
  • O método é robusto a variações no tamanho do lote e dimensões de subamostragem do adaptador.
• Auto-Aprendizado: O SECOS pode funcionar efetivamente mesmo sem um modelo "Professor" separado (usando um estudante atualizado por EMA), mostrando apenas uma queda menor de desempenho (~0,83%) enquanto ainda supera baselines dependentes de professor.

---

5. Significado e Impacto

• Mudança de Paradigma: O artigo desafia a comunidade a se afastar da avaliação baseada em "agrupamento" (correspondência de Hungarian) em direção a uma avaliação baseada em "classificação", que é a única abordagem viável para implantação no mundo real onde rótulos de verdade para classes novas são desconhecidos.
• Fundamentação Semântica: Estabelece que OWSSL bem-sucedido requer alinhamento explícito entre estruturas visuais e semânticas linguísticas, não apenas agrupamento de características visuais.
• Aplicabilidade Prática: Ao permitir previsão textual direta, o SECOS torna a aprendizagem de mundo aberto aplicável a cenários do mundo real (por exemplo, direção autônoma, diagnóstico médico) onde os modelos devem identificar e nomear novas categorias em tempo real sem re-rotular o conjunto de teste.
• Eficiência: O uso de adaptadores leves permite que o modelo aproveite o conhecimento pré-treinado poderoso do CLIP sem o custo computacional de ajuste fino completo.

Em resumo, o SECOS resolve o gargalo crítico na aprendizagem de mundo aberto introduzindo um mecanismo para "capturar" semânticas latentes, permitindo que os modelos classifiquem rigorosamente objetos novos em suas categorias textuais corretas diretamente.