Self-Supervised Learning with a Multi-Task Latent Space Objective

Resumo Técnico: Aprendizado Autossupervisionado com um Objetivo de Espaço Latente Multitarefa

Declaração do Problema
O aprendizado autossupervisionado (SSL) baseado em redes siamesas, como BYOL, SimSiam e MoCo v3, aprende representações visuais alinhando diferentes visualizações aumentadas da mesma imagem. Um componente crítico no SSL moderno é a estratégia de multi-crop, que incorpora pequenos cortes locais junto com visualizações globais para impor consistência espacial. Embora esta estratégia aumente significamente o desempenho em métodos baseados em contraste e agrupamento (ex: SimCLR, SwAV, DINO), ela induz uma instabilidade severa em arquiteturas siamesas baseadas em preditores.

Os autores identificam que esta instabilidade decorre do uso de um único preditor compartilhado entre todos os tipos de visualização (global e local). Como os cortes globais e locais diferem drasticamente em escala e conteúdo, um preditor unificado tem dificuldade em alinhar essas representações heterogêneas, levando à falha de otimização, platôs prematuros de desempenho ou degradação de acurácia em comparação com as linhas de base (baselines) padrão de duas visualizações.

Metodologia
A solução proposta envolve duas mudanças arquitetônicas e metodológicas primárias:

1. Preditores Específicos por Visualização (Multi-Predictor Multi-Crop):
   Em vez de compartilhar um único cabeçalho de preditor entre todas as visualizações, os autores atribuem um preditor dedicado a cada tipo de visualização (global, local e, posteriormente, cutout) enquanto mantêm o codificador (backbone e cabeça de projeção) compartilhado.

   • Mecanismo: Cada preditor se especializa em alinhar representações para seu tipo de visualização específico. Este desacoplamento reduz a interferência entre os objetivos de alinhamento dos cortes globais e locais.
   • Benefício: Esta modificação estabiliza o treinamento sem alterar a função de perda, não requer novos hiperparâmetros e aumenta apenas marginalmente o número de parâmetros treináveis.

2. Formulação Multitarefa com Visualizações de Cutout:
   Construindo sobre a configuração estabilizada de multi-crop, os autores estendem o framework introduzindo visualizações de cutout.

   • Cutout Assimétrico: Uma região retangular aleatória da imagem é mascarada (ocultada) na visualização online, enquanto a visualização alvo permanece completa. Isso cria uma configuração assimétrica onde o modelo online deve prever a representação da imagem completa a partir de uma entrada parcialmente mascarada, atuando efetivamente como uma tarefa de inpainting leve no espaço latente.
   • Sinal Complementar: Ao contrário dos cortes locais que removem o contexto externo, o cutout remove o conteúdo interno. Isso encoraja o modelo a inferir informações ausentes a partir das regiões circundantes, complementando a invariância de escala aprendida pelo cropping.
   • Framework Unificado: A formulação final trata as visualizações global, local e de cutout como tarefas distintas de espaço latente. A perda de alinhamento total é uma soma ponderada dos erros de predição para cada tipo de visualização contra a representação alvo global.

Principais Contribuições

1. Diagnóstico de Instabilidade: O artigo identifica o preditor compartilhado como a causa primária da falha do multi-crop em SSL siamês assimétrico e demonstra que a atribuição de preditores específicos por visualização resolve este problema.
2. Treinamento de Multi-Crop Estabilizado: A abordagem de multi-preditor proposta permite que métodos baseados em preditores (BYOL, SimSiam, MoCo v3) aproveitem totalmente as aumentações de multi-crop, gerando ganhos de desempenho consistentes.
3. Extensão de Augmentação Espacial: A introdução de visualizações de cutout assimétricas fornece um sinal de supervisão espacial complementar. A análise dos autores sugere que as aumentações espaciais (cropping e cutout) são a fonte mais eficaz de supervisão em SSL, superando aumentações não espaciais.
4. Framework Multitarefa Unificado: O trabalho apresenta uma formulação multitarefa simples e agnóstica ao backbone que integra visualizações globais, locais e mascaradas em uma única receita de treinamento compatível tanto com backbones CNN quanto Transformer.

Resultados Experimentais
A abordagem foi validada no ImageNet-1k usando backbones ResNet-50 e Vision Transformer (ViT) através de BYOL, SimSiam e MoCo v3.

• Desempenho ResNet-50:

  • BYOL: A acurácia de avaliação linear melhorou de 70,7% (multi-crop padrão com preditor compartilhado) para 74,7% com a configuração de multi-preditor. A formulação multitarefa final (incluindo cutout) atingiu 75,6%.
  • SimSiam & MoCo v3: Ambos os frameworks viram ganhos semelhantes de aproximadamente +4% em avaliação linear ao passar do multi-crop padrão para a configuração de multi-preditor.
  • Eficiência: A variante multi-tarefa do SimSiam alcançou 74,7% de acurácia em apenas 200 épocas, superando a baseline original do SimSiam (71,3%) que exigia 800 épocas.

• Desempenho ViT:

  • ViT-S: A acurácia linear melhorou de 71,4% para 74,0%.
  • ViT-B: A acurácia linear atingiu 77,7%, superando a baseline padrão do BYOL em +3,7%.

• Tarefas Downstream:

  • Detecção de Objetos/Segmentação COCO: O modelo BYOL multitarefa superou tanto o pré-treinamento supervisionado quanto outros métodos de SSL, alcançando o maior AP (41.8 para detecção, 3 de 38.0 para segmentação) em um backbone ResNet-50.
  • Comparação: O método superou consistentemente ou igualou métodos de contraste, agrupamento e não-contraste de última geração, e superou abordagens de Modelagem de Imagem Mascarada (MIM) em configurações de avaliação linear.

Significância e Alegações
O artigo afirma que o desacoplamento de preditores entre tipos de visualização é um requisito fundamental para tornar eficazes as estratégias de multi-crop em SSL siamês baseado em preditores. Ao tratar cada transformação espacial como uma tarefa de alinhamento distinta, os autores fornecem um framework estável e generalizável que melhora a qualidade da representação em diferentes arquiteturas.

O trabalho destaca que as aumentações espaciais são a fonte dominante de sinais de aprendizado em SSL. A integração de visualizações de cutout demonstra que a supervisão baseada em oclusão pode ser incorporada efetivamente em frameworks siameses sem mudanças arquitetônicas complexas ou objetivos de reconstrução. Os autores sugerem que estes princípios — especificamente o desacoplamento de preditores e o uso de visualizações espaciais diversas — poderiam se estender a outras modalidades estruturadas como vídeos ou nuvens de pontos. Eles também observam que condicionar os preditores com informações específicas da visualização (ex: coordenadas de cutout) representa uma direção futura potencial para Arquiteturas Preditivas de Embedding Conjunto (JEPA).