Neural collapse in the orthoplex regime

Título: Colapso Neural no Regime do Ortoplexo

Autores: James Alcala, Rayna Andreeva, Vladimir A. Kobzar, Dustin G. Mixon, Sanghoon Na, Shashank Sule, Yangxinyu Xie.

---

1. Problema e Contexto

O fenômeno de Colapso Neural (Neural Collapse) ocorre quando redes neurais profundas são treinadas para classificação até que a perda de treinamento chegue a zero. Neste estado final, os vetores de características de cada classe colapsam em um único ponto no espaço de características, e esses pontos de classe formam os vértices de um simplexo regular centrado na origem.

A literatura anterior focou predominantemente no regime onde o número de classes $n$ é menor ou igual à dimensão do espaço de características $d$ mais um ($n \le d + 1$), permitindo a existência de um simplexo regular. No entanto, em aplicações modernas como modelos de linguagem, o número de classes é frequentemente muito maior que a dimensão ($n \gg d$).

O problema central deste trabalho é caracterizar as figuras geométricas emergentes quando $n > d + 1$, especificamente no regime do ortoplexo, definido pela faixa $d + 2 \le n \le 2d$. A questão é: quais configurações de vetores de peso minimizam a perda de entropia cruzada (ou o problema "hardmax" associado) quando o número de classes excede a capacidade de formar um simplexo único?

2. Metodologia

Os autores utilizam uma abordagem teórica baseada em geometria convexa e teoremas de otimização, empregando o seguinte arcabouço:

• Modelo de Características Não Confinadas (Unconstrained Features Model): O modelo de análise desacopla a arquitetura da rede, tratando os vetores de características e os vetores de peso como variáveis livres na esfera unitária $S^{d-1}$.
• Limites de Temperatura: A análise começa com a minimização da perda de entropia cruzada $L_{CE}^{(\tau)}$ e considera o limite de temperatura zero ($\tau \to 0$), que converge para o problema de hardmax.
• Definições Chave:
  • Softmax Code: Uma configuração de vetores que maximiza a distância mínima de um ponto ao casco convexo dos demais pontos.
  • Spherical Code: Uma configuração que minimiza o produto interno máximo entre pares distintos (maximizando a distância angular).
  • Rattlers: Pontos que não estão "apertados" na configuração ótima (definidos como índices que violam certas condições de distância ou produto interno).
• Ferramentas Matemáticas: O uso principal é o Teorema de Radon (que garante que qualquer conjunto de $d+2$ pontos em $\mathbb{R}^d$ pode ser particionado em dois conjuntos cujos cascos convexos se intersectam) e propriedades de convexidade/concavidade de funções de perda.

3. Principais Contribuições e Resultados

O artigo estabelece três resultados fundamentais para o regime do ortoplexo ($d+2 \le n \le 2d$):

A. Caracterização dos Softmax Codes (Seção 2)

Os autores provam que, neste regime, os Softmax Codes (soluções para o problema de colapso neural) coincidem exatamente com os Spherical Codes (soluções para o problema de Tammes, de maximizar a distância mínima entre pontos na esfera).

• Teorema 2: Uma configuração $X$ é um softmax code se e somente se $\alpha(X) = 0$ (o produto interno máximo entre pontos distintos é zero).
• Isso implica que os vetores de peso formam subconjuntos dos vértices de um ortoplexo (o conjunto de pontos $\{\pm e_1, \dots, \pm e_d\}$), onde $n$ pontos são escolhidos de modo que nenhum par tenha produto interno positivo.

B. Auto-dualidade (Seção 3)

O trabalho demonstra que, no regime do ortoplexo, os códigos de hardmax são auto-duais.

• Teorema 5: Para qualquer código de hardmax $(W, H)$, onde $W$ são os vetores de peso e $H$ são os vetores de características, vale que $h_{k,i} = w_k$. Ou seja, os vetores de características colapsam exatamente nos vetores de peso.
• A prova baseia-se na demonstração de que não existem "rattlers" (pontos soltos) nem em códigos de softmax nem em códigos esféricos neste regime, utilizando o Teorema de Radon para garantir a interseção de cascos convexos contendo a origem.

C. Desigualdade entre Softmax Codes e Dependência da Temperatura (Seção 4)

Um dos resultados mais surpreendentes é que nem todos os softmax codes são equivalentes quando a temperatura $\tau$ é positiva. A preferência por uma configuração geométrica específica depende do valor de $\tau$:

• Baixa Temperatura ($\tau < \tau^-$): Os minimizadores da perda são códigos de baixa entropia. Estes consistem em um simplexo regular de $p$ pontos ortogonal a um ortoplexo. Geometricamente, isso agrupa as classes em poucos "super-grupos" grandes.
• Alta Temperatura ($\tau > \tau^+$): Os minimizadores são códigos de alta entropia. Estes consistem em múltiplos simplesos regulares menores e mutuamente ortogonais que preenchem o espaço.
• Teorema 12: Estabelece a existência de limiares de temperatura que determinam a transição entre essas duas estruturas ótimas. A análise utiliza a convexidade/concavidade de uma função objetivo discreta $f_{n,\tau}$ derivada da perda de entropia cruzada.

4. Significado e Implicações

1. Generalização do Colapso Neural: O trabalho expande a teoria do colapso neural para cenários onde o número de classes supera a dimensão do espaço, um cenário comum em modelos de linguagem modernos (LLMs).
2. Conexão com Teoria de Códigos: Estabelece uma ponte rigorosa entre o aprendizado de máquina (colapso neural) e a teoria clássica de códigos esféricos (problema de Tammes), mostrando que a solução ótima para o colapso neural é a mesma solução para o empacotamento esférico ótimo no regime do ortoplexo.
3. Papel da Temperatura: Revela que a "entropia" da solução final não é fixa, mas sim uma propriedade dinâmica controlada pela temperatura de suavização (temperature scaling). Isso sugere que a geometria das representações aprendidas pode ser manipulada ou entendida através da temperatura, alterando a estrutura de agrupamento das classes.
4. Auto-dualidade: Confirma que, mesmo em regimes de alta dimensionalidade relativa ($n \approx 2d$), a estrutura de peso e característica permanece perfeitamente alinhada, simplificando a análise teórica de redes profundas.

Em resumo, o artigo fornece uma caracterização completa e rigorosa da geometria emergente do colapso neural quando $n > d+1$, demonstrando que as soluções são códigos esféricos específicos (ortoplexos) e que a estrutura exata desses códigos depende criticamente da temperatura de treinamento.