JEPAMatch: Geometric Representation Shaping for Semi-Supervised Learning

Resumo Técnico: JEPAMatch

1. Problema e Motivação

O aprendizado semi-supervisionado (SSL) visa melhorar o desempenho de modelos de machine learning utilizando grandes quantidades de dados não rotulados quando os dados rotulados são escassos. Métodos baseados no paradigma FixMatch (e suas variantes como FlexMatch) alcançaram resultados state-of-the-art combinando aumentação de dados fraca/forte com pseudo-rotulagem baseada em confiança.

No entanto, o artigo identifica dois gargalos críticos nesses métodos:

1. Viés de Classe Majoritária: A seleção de pseudo-rótulos baseada em um limiar de confiança fixo ou adaptativo tende a favorecer classes majoritárias. Erros iniciais de pseudo-rotulagem nessas classes se amplificam, levando a modelos enviesados e a uma dominância das classes frequentes no espaço de representação.
2. Convergência Lenta e Ruído Inicial: Pseudo-rótulos iniciais ruidosos impedem a formação de fronteiras de decisão claras. Além disso, como a maioria das amostras não rotuladas não atinge o limiar de confiança no início do treinamento, o modelo depende excessivamente dos poucos dados rotulados por muitas iterações, resultando em um uso ineficiente de recursos computacionais e uma convergência lenta (geralmente >220k iterações).

2. Metodologia: JEPAMatch

O JEPAMatch propõe uma mudança de paradigma: sair de uma abordagem puramente baseada em limiares lógicos de saída para um modelamento explícito da geometria das representações. O método integra a arquitetura LeJEPA (Latent-Euclidean Joint-Embedding Predictive Architectures) com o FlexMatch.

A abordagem é dividida em dois níveis complementares:

A. Nível de Currículo (Curriculum Level) – Seleção de Pseudo-rótulos

• Utiliza o mecanismo do FlexMatch para seleção de pseudo-rótulos, empregando limiares de confiança dinâmicos por classe ($\tau_c$).
• Isso mitiga o problema da dominância de classes majoritárias ao ajustar o limiar de aceitação de pseudo-rótulos com base na quantidade de amostras já atribuídas a cada classe.
• Mantém a consistência entre visões fracas e fortes para dados não rotulados.

B. Nível de Representação (Representation Level) – Geometria do Espaço Latente

• Inspirado no LeJEPA, este nível assume que representações de alta qualidade devem exibir uma estrutura de Gaussiana Isotrópica no espaço latente.
• Arquitetura Multi-Visão: O modelo processa três tipos de visões de cada imagem não rotulada:
  1. Visão Fraca (Global): Aumentação leve.
  2. Visão Forte (Global): Aumentação pesada.
  3. Visões Locais: Cortes menores e locais da imagem.
• Perda de Predição (JEPA Loss): O modelo tenta prever a representação da visão fraca global ($z^w$) a partir das representações das visões fortes ($z^s$) e locais ($z^{loc}$). Isso força o encoder a aprender características geométricas e semânticas invariantes.
• Regularização SIGReg Adaptativa por Classe:
  • Para evitar o "colapso dimensional" (onde todas as representações colapsam para um único ponto), utiliza-se uma regularização que mapeia as características para uma distribuição Gaussiana.
  • Fase de Warmup: Aplica-se uma regularização global (todas as classes juntas) para garantir que o espaço de características não colapse enquanto os pseudo-rótulos ainda são instáveis.
  • Fase Principal: A regularização torna-se adaptativa por classe. O objetivo passa a ser formar clusters isotrópicos e isolados para cada classe, com médias específicas ($\mu_c$) e variância controlada.
  • Perda de Repulsão Ativa: Uma perda adicional é introduzida para garantir que as médias das diferentes classes não colapsem para o mesmo ponto, mantendo a separação entre classes.

3. Contribuições Chave

1. Decuplagem de Tarefas: O método desacopla a tarefa de classificação discreta (seleção de rótulos) da organização geométrica do espaço de representação, permitindo que cada nível otimize seu objetivo específico.
2. Integração Teórica: É a primeira aplicação prática do framework teórico LeJEPA (distribuição Gaussiana isotrópica) dentro de um pipeline de SSL baseado em pseudo-rótulos.
3. Eficiência Computacional: Ao estruturar o espaço de representação desde o início, o modelo consegue utilizar dados não rotulados de forma mais eficaz desde as primeiras iterações, reduzindo drasticamente o tempo de treinamento.
4. Mitigação de Viés: A combinação de limiares dinâmicos e regularização geométrica reduz significativamente o viés em favor de classes majoritárias.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados CIFAR-100, STL-10 e Tiny-ImageNet.

• Desempenho de Precisão:
  • No CIFAR-100 (400 rótulos), o JEPAMatch alcançou 34,25% de erro, superando o FlexMatch (39,94%) e o FreeMatch (37,98%).
  • No STL-10 (1.000 rótulos), alcançou 4,28% de erro, superando todos os baselines.
  • O método demonstrou superioridade consistente em cenários de desequilíbrio de classes (imbalance factors $\gamma = 20, 50, 100$).
• Velocidade de Convergência:
  • O JEPAMatch convergiu em 217 iterações (vs. 220k iterações padrão de outros métodos), demonstrando uma eficiência computacional superior.
  • A análise de convergência mostrou que o JEPAMatch atinge a precisão do FlexMatch cerca de 50.000 iterações antes, convergindo aproximadamente 3 vezes mais rápido.
• Qualidade dos Pseudo-rótulos:
  • A precisão dos pseudo-rótulos gerados pelo JEPAMatch foi consistentemente maior (atingindo 50% no CIFAR-100 e ~65% no STL-10) comparada ao FlexMatch (35% e ~45%, respectivamente), indicando uma melhor filtragem de ruído.

5. Significado e Impacto

O JEPAMatch representa um avanço significativo no campo do aprendizado semi-supervisionado ao demonstrar que a estrutura geométrica do espaço latente é tão crucial quanto a qualidade dos rótulos de classificação.

• Solução para Desequilíbrio: Oferece uma solução robusta para o problema crônico de viés de classe em métodos de pseudo-rótulos.
• Eficiência: Reduz drasticamente o custo computacional e o tempo de treinamento, tornando o SSL mais viável para aplicações do mundo real com recursos limitados.
• Novo Paradigma: Estabelece uma nova direção para pesquisas futuras, sugerindo que a integração de arquiteturas preditivas de embedding (JEPAs) com métodos de consistência pode superar as limitações dos métodos puramente baseados em confiança.

Em suma, o JEPAMatch não apenas melhora a acurácia final, mas também acelera o processo de aprendizado, tornando-se uma abordagem mais estável e eficiente para cenários com poucos dados rotulados.