The role of class encoding in neural collapse

Resumo Técnico: O Papel da Codificação de Classes no Colapso Neural

Definição do Problema
O Colapso Neural (NC) é um fenômeno observado no estágio terminal de treinamento de classificadores de redes neurais profundas, caracterizado por estruturas geométricas específicas nas ativações da última camada oculta quando o erro de treinamento atinge zero. Embora o NC tenha sido extensamente estudado sob o Modelo de Características Não Restritas (UFM) com perda de Entropia Cruzada, seu comportamento sob a perda de Erro Quadrático Médio (MSE) permanece um objeto de investigação. Especificamente, trabalhos anteriores identificaram dois resultados estruturais distintos para as ativações médias das classes no UFM com perda MSE e codificações one-hot, um Quadro Ortogonal (OF) quando o viés do classificador está ausente ou fortemente regularizado, e um Quadro Estrito Equiangular de Simplex (Simplex ETF) quando um viés não regularizado está presente. A relação entre essas estruturas e a influência de codificações de rótulos arbitrárias sobre as propriedades do NC não é totalmente compreendida. Este artigo aborda o papel da codificação de rótulos e do termo de viés na emergência dessas estruturas geométricas.

Metodologia
Os autores analisam o problema utilizando o Modelo de Características Não Restritas (UFM) com uma perda de treinamento MSE. O problema de otimização envolve a minimização conjunta da perda sobre características não restritas ($H$), um classificador linear ($W$) e um termo de viés ($b$), sujeito à regularização $\ell_2$ em todos os parâmetros. O estudo considera:

1. Codificações de Rótulos: Desde a codificação one-hot padrão até matrizes de codificação arbitrárias $\bar{Y} \in \mathbb{R}^{K \times K}$, incluindo suavização de rótulos (label smoothing).
2. Regularização de Viés: O impacto da variação do coeficiente de regularização $\lambda_b$ associado ao viés do classificador.
3. Equilíbrio de Dados: A análise abrange cenários de dados balanceados e desbalanceados.

As derivações teóricas baseiam-se em condições de otimalidade de primeira ordem para caracterizar os minimizadores globais. Os autores introduzem o conceito de um "Quadro Estrito Equiangular de Simplex Deslocado" (SSETF) para unificar as estruturas geométricas observadas.

Principais Contribuições e Resultados

1. Unificação das Estruturas OF e Simplex ETF:
   O artigo demonstra que a transição entre um Quadro Ortogonal (OF) e um Simplex ETF é governada pelo termo de viés. Para rótulos one-hot e dados balanceados, conforme o coeficiente de regularização do viés $\lambda_b$ diminui, a média não centrada das características transita continuamente de um OF para um Simplex ETF.

   • Mecanismo: O viés ótimo $b^*$ atua para compensar a não centralização dos rótulos. No limite de um viés não regularizado ($\lambda_b = 0$), o viés é igual à média dos rótulos, efetivamente centralizando o problema e resultando em uma estrutura de Simplex ETF.
   • Definição de SSETF: Os autores definem um SSETF como uma generalização que engloba tanto OFs (parâmetro de deslocamento $\beta=0$) quanto Simplex ETFs (parâmetro de deslocamento $\beta=1$). Eles provam que centralizar qualquer SSETF resulta em um Simplex ETF.

2. Papel do Viés em Codificações Arbitrárias:
   Estendendo além da codificação one-hot, os autores mostram que, para qualquer codificação de rótulo arbitrária e dados desbalanceados, o viés ótimo no UFM visa centralizar os rótulos. Especificamente, se os rótulos estão centrados ($Y \mathbf{1}_N = 0$), o viés ótimo é zero, independentemente de $\lambda_b$. Se os rótulos não estão centrados, o termo de viés desloca a solução para compensar a discrepância entre a média global dos rótulos e a origem.

3. Robustez do Colapso de Variabilidade (NC1):
   O artigo prova que a primeira propriedade do Colapso Neural (NC1) — o colapso das características para suas médias de classe — mantém-se para qualquer codificação de rótulo e qualquer força de regularização de viés $\lambda_b \geq 0$, desde que os dados sejam balanceados. Isso indica que o colapso de variabilidade é independente do esquema de codificação específico.

4. Impacto na Auto-Dualidade (NC3) e NC3':
   O estudo revela que a propriedade padrão de auto-dualidade (NC3), onde os pesos do classificador se alinham com as médias das classes, não é robusta a codificações arbitrárias. Aplicar uma transformação ortogonal aos rótulos quebra o alinhamento direto entre $W^*$ e as médias das classes $\bar{H}^*$.

   • Solução Proposta: Os autores propõem uma variante mais fraca, NC3', que afirma que os pesos do classificador convergem para as médias das classes até uma reescala e uma rotação/reflexão ortogonal. Eles provam que o NC3' se mantém para qualquer codificação balanceada sob o UFM com perda MSE.

5. Convergência para Simplex ETF (NC2) e SSETF:
   O artigo estabelece que, se as médias das características ótimas formam um SSETF, suas contrapartes centradas formam um Simplex ETF (satisfazendo NC2). Os autores conjecturam que, para cenários balanceados, as médias das características formam um SSETF se, e somente se, a própria codificação de rótulo for um SSETF. Esta família inclui tanto a codificação one-hot quanto a suavização de rótulos.

Significância e Alegações
O artigo alega fornecer uma ponte teórica entre as estruturas anteriormente distintas de OF e Simplex ETF observadas em classificadores treinados com MSE, atribuindo a diferença unicamente ao papel do termo de viés no centralismo dos rótulos. Ao introduzir o framework SSETF, o trabalho generaliza a compreensão do Colapso Neural para codificações de rótulos arbitrárias.

Os autores observam modestamente que, embora tenham identificado condições suficientes para NC2 (via codificações SSETF) e provado a robustez de NC1 e NC3', a caracterização completa de quais codificações levam ao NC2 em configurações desbalanceadas permanece uma questão aberta. O trabalho não propõe novos algoritmos ou aplicações experimentais, mas oferece um esclarecimento teórico de como a codificação de rótulo e a regularização de viés interagem para moldar o panorama geométrico do colapso neural.