PEIRA: Learning Predictive Encoders through Inter-View Regressor Alignment

Resumo Técnico: PEIRA: Aprendendo Codificadores Preditivos através do Alinhamento de Regressores Inter-Visão

Declaração do Problema
A aprendizagem auto-supervisionada (SSL) não contrastiva emergiu como um framework dominante para aprendizagem de representações, com métodos como SimSiam, BYOL e variantes de JEPA alcançando resultados empíricos robustos. No entanto, essas abordagens frequentemente dependem de mecanismos de auto-distilação (por exemplo, gradiente interrompido, médias móveis exponenciais) que carecem de uma função objetivo global bem definida. Consequentemente, sua compreensão teórica permanece limitada; especificamente, as dinâmicas desses métodos não são totalmente caracterizadas, e eles permanecem suscetíveis ao colapso representacional (onde os codificadores degeneram para constantes) apesar do sucesso empírico. Embora métodos baseados em regularização (por exemplo, VICReg, Barlow Twins) tenham sido vinculados à Análise de Correlação Canônica (CCA), uma conexão rigorosa entre as dinâmicas de auto-distilação e a CCA, particularmente para codificadores não lineares, tem estado ausente.

Metodologia
Os autores analisam uma variante da Arquitetura de Embedding Preditivo Conjunta (JEPA) onde um regressor linear regularizado prevê as representações aprendidas de duas visões de dados uma da outra. Eles primeiro estudam as dinâmicas de tempo contínuo de uma variante de auto-distilação dessa configuração, onde o regressor é otimizado muito mais rapidamente do que os codificadores (o "regime de preditor rápido").

1. Análise Teórica da Auto-Distilação: Os autores estabelecem que as dinâmicas de auto-distilação convergem para equilíbrios que abrangem subespaços de CCA não lineares. Eles caracterizam todos os equilíbrios e identificam que, embora soluções não colapsadas se alinhem com os principais subespaços de correlação canônica não lineares, equilíbrios colapsados (incluindo a solução trivial zero) também podem ser atratores estáveis. Isso explica o potencial de colapso em métodos de auto-distilação.
2. Introdução do PEIRA: Motivados pela instabilidade dos equilíbrios de auto-distilação, os autores propõem o PEIRA (Codificadores Preditivos através do Alinhamento de Regressores Inter-Visão). O PEIRA substitui o heurístico de auto-distilação por uma função objetivo explícita e sem restrições definida como o traço negativo do regressor linear regularizado ótimo, mais um termo de regularização quadrática nos codificadores para controlar a escala das características.
   • Objetivo: $E_{PEIRA}(U, V) = -\frac{1}{2} \text{Tr}(P_{U,V}) + \frac{\lambda}{2} (\|U\|_2^2 + \|V\|_2^2)$, onde $P_{U,V}$ é o regressor ridge ótimo entre as visões.
   • Mecanismo: O traço do regressor atua como um resumo da relação sinal-ruído. Maximizar esse traço (minimizar o traço negativo) incentiva o alinhamento das bases de autovetores do sinal (covariância cruzada) e do ruído (covariância automática).
3. Otimização: Para otimizar o PEIRA com codificadores paramétricos (redes neurais), os autores derivam um objetivo auxiliar que compartilha o mesmo gradiente do PEIRA, mas não requer a diferenciação através do regressor ótimo. Isso permite o uso de médias móveis exponenciais (EMA) para estimar as estatísticas do regressor, reduzindo a variância do gradiente. Eles propõem um algoritmo estocástico composicional escalável (Algoritmo 1) para treinamento.

Principais Contribuições

1. Caracterização Teórica das Dinâmicas JEPA: O artigo fornece a primeira conexão rigorosa entre as dinâmicas de auto-distilação (com preditores lineares e codificadores não lineares arbitrários) e a Análise de Correlação Canônica (CCA) não linear. Ele identifica todos os equilíbrios e prova que, embora as dinâmicas recuperem subespaços CCA, elas admitem soluções colapsadas estáveis.
2. Objetivo PEIRA e Garantias de Estabilidade: Os autores introduzem o PEIRA, um novo método SSL com uma função objetivo bem definida. Eles provam que, ao contrário da auto-distilação, os únicos equilíbrios estáveis do PEIRA são minimizadores globais não triviais que abrangem os subespaços de correlação canônica top-$r_{max}$. O parâmetro de regularização $\lambda$ seleciona implicitamente a dimensão efetiva da representação, e a solução colapsada trivial é provada ser um equilíbrio instável.
3. Implementação Escalável e Validação Empírica: Um procedimento de treinamento estocástico é proposto que evita a diferenciação através do preditor ótimo. Experimentos no ImageNet-1K e CIFAR-10 demonstram que o PEIRA é competitivo com baselines baseadas em regularização de última geração (VICReg, SIGReg/LeJEPA). Resultados empíricos confirmam as alegações teóricas sobre alinhamento espectral e mostram uma forte correlação entre o valor do objetivo PEIRA e a precisão de sonda linear a jusante.

Resultados

• ImageNet-1K: O PEIRA alcança uma precisão top-1 de sonda linear de 66,50% (ResNet-50, 100 épocas), igualando o SIGReg dentro do ruído de semente e ficando atrás do VICReg em aproximadamente 2,3%.
• CIFAR-10: O PEIRA alcança 90,97% de precisão (ResNet-18, 1000 épocas), igualando o VICReg dentro do ruído de semente e ficando atrás do SIGReg em aproximadamente 1,4%.
• Alinhamento Espectral: A análise empírica mostra que, durante o treinamento, os autovetores da matriz de sinal ($\Sigma_{U,V}$) alinham-se progressivamente com os da matriz de ruído ($N_{U,V}$), e o espectro desenvolve modos significativos consistentes com o filtro espectral teórico.
• Robustez: O método demonstra robustez a variações no coeficiente de regularização $\lambda$, com a precisão variando apenas ~1,36% em uma ampla gama de valores de $\lambda$ no ImageNet-1K.
• Correlação do Objetivo: O objetivo PEIRA negativo está fortemente correlacionado com a precisão de sonda linear a jusante, apoiando seu uso para seleção de modelos sem rótulos.

Significado e Alegações
O artigo alega fechar uma lacuna teórica na compreensão dos métodos de auto-distilação não contrastiva ao vinculá-los rigorosamente à CCA não linear e caracterizar sua estabilidade. Ao introduzir o PEIRA, os autores oferecem um método que retém o alvo estatístico da auto-distilação (recuperar subespaços CCA), mas elimina o risco de colapso através de uma função objetivo bem definida em vez de heurísticas de treinamento. Os autores posicionam o PEIRA como uma alternativa competitiva aos métodos existentes baseados em regularização, fornecendo uma abordagem teoricamente fundamentada para a aprendizagem de representações preditivas. Eles reconhecem que seus experimentos são preliminares e que mais trabalho é necessário para estabelecer o PEIRA como uma alternativa viável em tarefas mais complexas (por exemplo, classificação de vídeo) e para estender a teoria para preditores subótimos e atualizações estocásticas de tempo discreto.