Pruning-induced phases in fully-connected neural networks: the eumentia, the dementia, and the amentia

Título: Fases Induzidas por Poda em Redes Neurais Totalmente Conectadas: a Eumentia, a Demência e a Amentia

Autores: Haining Pan, Nakul Aggarwal e J. H. Pixley (Rutgers University e Flatiron Institute).

---

1. Problema e Motivação

As redes neurais modernas são altamente superparametrizadas, contendo muito mais parâmetros do que o necessário para ajustar os dados de treinamento. A poda (pruning) é uma técnica fundamental para comprimir essas redes removendo neurônios ou conexões redundantes. Embora métodos práticos de poda sejam bem desenvolvidos, questões fundamentais sobre a física desse processo permanecem abertas:

• A poda induz transições de fase agudas nas redes neurais?
• Se sim, a que classe de universalidade essas transições pertencem?
• Existe uma distinção clara entre regimes onde a rede pode aprender, onde ela esquece o aprendido e onde ela nunca aprendeu?

O artigo propõe abordar essas questões utilizando uma perspectiva de mecânica estatística, tratando a taxa de dropout (uma forma de poda estocástica) como um parâmetro de controle contínuo para mapear o diagrama de fases da rede.

2. Metodologia

Os autores estudam Redes Neurais Totalmente Conectadas (FCNNs) treinadas no conjunto de dados MNIST (dígitos manuscritos).

• Arquitetura: FCNNs com camadas ocultas de largura ($n_h$) e profundidade ($L$) variáveis (de 2 a 5 camadas).
• Mecanismo de Controle (Dropout): Diferentemente da prática padrão onde o dropout é usado apenas no treinamento e desligado na avaliação, os autores variam independentemente duas taxas de dropout:
  1. Taxa de Treinamento ($p_{train}$): Controla se a rede consegue aprender os dados.
  2. Taxa de Avaliação ($p_{eval}$): Controla a robustez da rede treinada quando neurônios são removidos durante o teste (simulando uma poda severa).
• Métrica Principal: Em vez de apenas usar a acurácia, o estudo foca no desvio padrão da entropia cruzada ($\langle L_{CE} \rangle$) em função do tamanho do conjunto de dados de treinamento ($N$).
• Análise de Escala: Investigam como a perda escala com $N$ ($\langle L_{CE} \rangle \sim N^{\alpha_{CE}}$) para identificar fases distintas e analisar transições críticas usando escalonamento de tamanho finito (finite-size scaling).

3. Contribuições Principais e Resultados

A. Identificação de Três Fases Distintas

Os autores mapearam um diagrama de fases no plano $(p_{train}, p_{eval})$ e identificaram três regimes distintos, nomeados com base em analogias neurológicas:

1. Fase Eumentia (Eumentia):

   • Condição: Baixas taxas de dropout no treinamento e na avaliação.
   • Comportamento: A rede aprende e generaliza eficazmente.
   • Sinal Físico: O expoente de escala $\alpha_{CE}$ é negativo ($\alpha_{CE} < 0$). A perda diminui conforme mais dados são adicionados (Lei de Escala Neural).
   • Analogia: Um cérebro saudável que aprende e melhora com a experiência.

2. Fase Demência (Dementia):

   • Condição: Baixa taxa de dropout no treinamento, mas alta taxa de dropout na avaliação.
   • Comportamento: A rede foi treinada com sucesso, mas perde a capacidade de generalizar quando neurônios são removidos na avaliação.
   • Sinal Físico: O expoente $\alpha_{CE}$ é positivo ($\alpha_{CE} > 0$). Curiosamente, adicionar mais dados de treinamento piora o desempenho (a perda aumenta), indicando que a rede "esqueceu" ou foi confundida pela poda excessiva.
   • Analogia: Um cérebro com declínio cognitivo severo; aprendeu, mas não consegue recuperar a informação sob estresse.

3. Fase Amentia (Amentia):

   • Condição: Alta taxa de dropout no treinamento (independentemente da avaliação).
   • Comportamento: A rede não consegue aprender de forma eficaz.
   • Sinal Físico: O expoente $\alpha_{CE}$ é próximo de zero ($\alpha_{CE} \approx 0$). A perda é insensível ao tamanho do conjunto de dados.
   • Analogia: Um cérebro que nunca desenvolveu a capacidade de aprender.

B. Transição de Fase e Universalidade (Tipo BKT)

A transição entre a fase Eumentia e a fase Demência foi analisada detalhadamente:

• Evidência de Transição: Observou-se um cruzamento claro nas curvas de perda para diferentes tamanhos de conjunto de dados ($N$) ao variar a taxa de dropout de avaliação.
• Classe de Universalidade: A análise de escalonamento de tamanho finito sugere que essa transição pertence a uma classe de universalidade semelhante à transição Berezinskii-Kosterlitz-Thouless (BKT).
  • Diferente de transições de segunda ordem convencionais (onde o comprimento de correlação diverge como uma lei de potência), aqui o comprimento de correlação diverge como uma exponencial esticada: $\xi \sim \exp(a / |p - p_c|^\sigma)$.
  • O expoente crítico $\sigma$ foi estimado em aproximadamente 0.8 a 1.0, consistentemente maior que o valor padrão da teoria BKT ($\sigma = 0.5$), mas a forma funcional da divergência confirma a natureza da transição.
• Ordem Quase-Longo Alcance (QLRO): A fase Eumentia, caracterizada pelo decaimento algébrico da perda, é interpretada como uma fase de ordem quase-longo alcance, análoga a fases ordenadas em sistemas de matéria condensada bidimensionais.

C. Robustez

A estrutura de três fases e a natureza da transição foram demonstradas ser robustas para diferentes larguras ($n_h$) e profundidades ($L$) da rede, embora as fronteiras exatas das fases variem ligeiramente.

4. Significado e Conclusão

• Ponte entre Física e Aprendizado de Máquina: O trabalho estabelece um cenário concreto onde o comportamento de redes neurais pode ser compreendido através das lentes da mecânica estatística, identificando fases da matéria e transições críticas em sistemas de aprendizado.
• Novo Diagnóstico: A introdução do expoente de escala da perda ($\alpha_{CE}$) como um indicador de fase oferece uma ferramenta mais sensível e fundamental do que a simples acurácia para entender a estabilidade e a capacidade de generalização de modelos podados.
• Implicações para Poda: Os resultados sugerem que a poda não é apenas um processo de compressão, mas um fenômeno que pode levar a transições de fase abruptas. Entender essas transições (especialmente a fronteira entre Eumentia e Demência) é crucial para desenvolver métodos de poda que não degradem a capacidade de generalização do modelo.
• Futuro: O estudo abre caminho para investigar se essas fases e transições BKT-like persistem em arquiteturas mais complexas (como Transformers) e para explorar conexões com a poda sináptica em redes neurais biológicas.

Em resumo, o artigo demonstra que a poda induzida por dropout revela uma estrutura de fase rica em redes neurais, onde a capacidade de aprender, esquecer ou nunca aprender pode ser quantificada e classificada através de leis de escala e teoria de transições de fase.