Resumo Técnico: A Geometria das Cabeças de Projeção: Condicionamento, Invariância e Colapso

Declaração do Problema

A aprendizagem auto-supervisionada (SSL) depende fortemente de um componente arquitetônico específico: a cabeça de projeção não linear. Apesar de sua necessidade para o treinamento, essa cabeça é tipicamente descartada ("o efeito guilhotina") antes do ajuste fino downstream, levantando um quebra-cabeça teórico: se a cabeça é essencial para minimizar a perda de pré-treinamento, por que a representação que ela produz é subótima para inferência? Além disso, explicações existentes (por exemplo, gargalos de informação ou prevenção de colapso dimensional) descrevem o que acontece, mas falham em explicar os mecanismos geométricos de como a cabeça altera a paisagem de otimização para filtrar informações, acelerar a convergência e escapar de pontos de sela colapsados simultaneamente.

Metodologia

Os autores desenvolvem uma teoria geométrica que modela a cabeça de projeção como uma métrica Riemanniana treinável na variedade de representações da rede base. O quadro teórico central envolve:

1. Decomposição do Hessiano Efetivo: A paisagem de otimização é analisada por meio do Hessiano efetivo ($H_{eff}$) do objetivo SSL em relação à representação da rede base. Este operador é decomposto em uma métrica de pullback ($G(z) = J_h^\top \nabla^2_h L J_h$) e um termo de interação impulsionado pela curvatura intrínseca da cabeça ($\sum [\nabla_h L]_i \nabla^2_z h_i$).
2. Condicionamento Geométrico: O artigo investiga como cabeças lineares e não lineares condicionam a paisagem de perda. Cabeças lineares são analisadas quanto à sua capacidade de realizar branqueamento implícito de subespaço, enquanto cabeças não lineares são estudadas quanto à sua capacidade de adaptar métricas locais ao longo de trajetórias curvas.
3. Análise de Estabilidade: A estabilidade do colapso dimensional (onde representações mapeiam para um vetor constante) é examinada analisando os autovalores de $H_{eff}$ em equilíbrios colapsados. Os autores distinguem entre fluxo de gradiente em tempo contínuo e dinâmicas em tempo discreto.
4. Singularidade da Métrica e Invariância: A relação entre objetivos de invariância e degeneração métrica é formalizada. Os autores provam que impor invariância a órbitas de aumento exige uma métrica de pullback singular, efetivamente destruindo informações ao longo dos espaços tangentes de aumento.
5. Validação Empírica: A teoria é validada por meio de rastreamento do Hessiano (monitorando números de condição e autovalores negativos), análise de compressão de órbitas (medindo a redução de variância em variedades de aumento) e estudos de ablação em funções de ativação (ReLU vs. ativações suaves como Swish/GELU) e profundidade da cabeça em várias arquiteturas (ResNet, ViT) e conjuntos de dados (CIFAR-10/100).

Principais Contribuições

1. Cabeças Lineares como Branqueamento Implícito de Subespaço

Os autores provam que cabeças de projeção lineares realizam branqueamento implícito de subespaço. Ao aprender uma matriz de pesos $W$, a cabeça induz uma métrica de Mahalanobis que mapeia isometricamente o subespaço relevante do espaço de representações para o espaço de incorporação. No entanto, esse condicionamento é global e insuficiente para variedades curvas onde a curvatura local varia.

2. Cabeças Não Lineares como Adaptadores de Métrica Local

Cabeças não lineares (MLPs) mostram-se capazes de adaptar localmente a métrica ao longo de trajetórias de otimização curvas. O artigo prova que, enquanto cabeças lineares não podem achatar globalmente uma variedade de perda curva (Proposição 3.3), cabeças não lineares suficientemente profundas podem aproximar uma métrica ideal que torna o Hessiano efetivo $\epsilon$-isotrópico ao longo da trajetória (Teorema 3.2).

3. Instabilidade do Colapso Induzida por Curvatura

Uma contribuição central é a resolução geométrica de por que métodos não contrastivos (por exemplo, BYOL, SimSiam) evitam o colapso dimensional sem amostras negativas explícitas.

• Teorema 4.1: Os autores provam que, para cabeças não lineares suaves, o termo de interação no Hessiano efetivo injeta autovalores negativos em equilíbrios colapsados. Isso transforma o estado colapsado de um mínimo estável em um ponto de sela instável, fornecendo um mecanismo natural de escape para a descida de gradiente.
• A Lacuna do ReLU: Ativações lineares por partes (como ReLU) carecem de curvatura de segunda ordem intrínseca ($\nabla^2 \text{ReLU} = 0$). Consequentemente, elas não podem gerar essa curvatura negativa sob fluxo em tempo contínuo. O artigo argumenta que cabeças ReLU só evitam o colapso por meio de ruído em tempo discreto (tamanhos de passo finitos) e BatchNorm, enquanto ativações suaves (Swish, GELU) fornecem uma garantia geométrica nativa de instabilidade.

4. Degeneração Métrica e o Compromisso Informação-Invariância

O artigo formaliza a estratégia "treinar com, implantar sem" por meio de singularidade métrica.

• Proposição 5.2: Para satisfazer objetivos de invariância, a cabeça de projeção deve induzir uma métrica de pullback singular onde o espaço tangente de aumento reside no núcleo ($v^\top G(z) v = 0$).
• Teorema 5.3: Essa singularidade causa uma deficiência de posto na Matriz de Informação de Fisher em relação à rede base. A cabeça atua como um filtro passa-baixa geométrico, aniquilando informações ao longo de direções de aumento.
• Conclusão: Descartar a cabeça é uma necessidade teórica. A rede base preserva a dimensionalidade completa da variedade de dados, enquanto a cabeça absorve a degeneração métrica necessária para impor invariância. Usar a cabeça para inferência reteria a informação destruída (ou a falta dela), enquanto a rede base bruta retém a semântica linearmente separável.

Resultados

• Rastreamento do Hessiano: O rastreamento empírico confirma que cabeças suaves injetam ativamente autovalores negativos no Hessiano efetivo, desencadeando uma "transição de fase" que escapa de estados colapsados. Em contraste, cabeças ReLU e lineares não mostram tal curvatura negativa e permanecem presas em bacias colapsadas sob fluxo semelhante ao contínuo, a menos que auxiliadas por dinâmicas discretas.
• Compressão de Órbitas: Experimentos mostram que a cabeça de projeção comprime órbitas de aumento por fatores de ~20x (ResNet) a ~4000x (ViT), preservando a separação semântica interclasse. Isso confirma que a cabeça atua como um compressor geométrico seletivo.
• Modelos de Fundação: A análise de modelos pré-treinados (DINO, VICReg, Barlow Twins) revela uma dicotomia geométrica. Cabeças DINO atuam como compressores geométricos (colapsando órbitas para impor invariância), enquanto cabeças de redução de redundância (VICReg) atuam como expansores dimensionais (preservando variância para satisfazer restrições de decorrelação). Em ambos os casos, a cabeça desacopla a rede base das restrições rígidas do objetivo.
• Ablação de Profundidade: Cabeças mais profundas (MLPs de 3 camadas) demonstram capacidade superior de deformar a variedade e isolar singularidades métricas, resultando em melhor precisão da rede base downstream em comparação com cabeças rasas ou lineares, que falham em proteger adequadamente a rede base da degeneração métrica.

Significado

O artigo afirma fornecer uma explicação geométrica mecanicista para a necessidade empírica de cabeças de projeção em SSL. Ele resolve dois quebra-cabeças centrais:

1. Evitação de Colapso: Demonstra que a curvatura intrínseca de cabeças não lineares suaves é suficiente para desestabilizar soluções triviais colapsadas, oferecendo uma alternativa geométrica a explicações que dependem exclusivamente de BatchNorm ou ruído em tempo discreto.
2. O Efeito Guilhotina: Prova que a cabeça deve ser descartada porque induz uma singularidade métrica que destrói informações necessárias para tarefas downstream. A cabeça serve como um "buffer geométrico universal", absorvendo as restrições destrutivas do objetivo de pré-treinamento para proteger a rede base semântica.

O trabalho sugere que substituir ReLU por ativações suaves não é meramente um heurística, mas um requisito topológico para otimização robusta em SSL, e que a arquitetura padrão de MLP de 2-3 camadas é validada empiricamente como a capacidade mínima necessária para satisfazer essas condições geométricas.