Resumo Técnico: Universalidade do Dropout: Leis de Escala e Agendamento Ótimo na Borda do Caos

Declaração do Problema

Redes neurais profundas inicializadas na "borda do caos" (criticalidade) exibem propagação de sinal e penetração de gradientes ótimas, caracterizadas por um comprimento de correlação divergente que permite que a informação atravesse arquiteturas profundas. No entanto, a introdução do dropout — uma técnica de regularização padrão que mascara aleatoriamente ativações — perturba esse estado crítico. Teorias de campo médio (MFT) anteriores sugeriam que o dropout destrói o ponto fixo de alinhamento perfeito ($c^*=1$), tornando o comprimento de correlação finito mesmo com inicialização crítica.

O problema central abordado neste trabalho é duplo:

1. Teórico: Como o dropout deforma quantitativamente o diagrama de fases da borda do caos, e se diferentes funções de ativação (suaves vs. com quinas) pertencem a classes de universalidade distintas sob essa deformação?
2. Prático: Dado um orçamento fixo de dropout, como o dropout deve ser alocado através da profundidade da rede para maximizar o comprimento de correlação efetivo e minimizar a perda de teste? O dropout uniforme padrão pode não ser ótimo, mas a base teórica para um agendamento espacial ótimo tem estado ausente.

Metodologia

Os autores empregam uma estrutura de teoria de campo médio (MFT), tratando redes profundas no limite de grande largura, onde as pré-ativações seguem estatísticas Gaussianas. A análise prossegue através de várias etapas-chave:

1. Perturbação da Propagação Crítica: O dropout é modelado como ruído Bernoulli multiplicativo aplicado pós-ativação. Os autores derivam as relações de recorrência para a variância e covariância das pré-ativações sob dropout. Eles demonstram que o dropout atua como um "campo" de quebra de simetria ($h$) que desloca o ponto fixo do mapa de correlação para longe de $c^*=1$, mesmo quando a rede é inicializada no ponto crítico ($\chi_\perp = 1$).
2. Classificação de Universalidade: A análise distingue entre duas classes de funções de ativação com base em sua estrutura analítica perto do alinhamento perfeito:
   • Ativações Suaves (ex: tanh, GELU): Admitem uma expansão de Taylor perto de $c=1$.
   • Ativações com Quinas (ex: ReLU): Possuem um "quebra" não analítico (derivada descontínua), levando a um ponto de ramificação no mapa de correlação.
     Os autores utilizam análise espectral de Hermite para mostrar que ativações suaves possuem coeficientes de Hermite que decaem exponencialmente, enquanto ativações com quinas exibem caudas de lei de potência, impulsionando comportamentos de escala distintos.
3. Teoria de Landau e Leis de Escala: Ao expandir o mapa de correlação em torno do ponto fixo deslocado, os autores derivam uma equação de estado de Landau para o parâmetro de ordem de decorrelação $m \equiv 1 - c^*$. Isso produz expoentes críticos ($\beta, \gamma, \delta, \nu, \alpha$) e estabelece um colapso de escala de dois parâmetros envolvendo a distância à criticalidade ($t$) e o campo de dropout ($h$).
4. Otimização Variacional: Tratando a taxa de dropout como um campo dependente da profundidade, os autores formulam um problema variacional restrito para maximizar o comprimento de correlação efetivo ($\xi_{eff}$) sob um orçamento total fixo de dropout. O objetivo de campo médio sugere uma alocação "saturada" (tipo degrau). Para resolver a invariância de permutação dessa solução (isto é, onde colocar o dropout), os autores introduzem um desempate de fluxo de posto, argumentando que o dropout é mais eficaz nas camadas iniciais, onde o colapso de posto e a co-adaptação são mais iminentes.

Contribuições Principais

1. Classes de Universalidade Distintas para Dropout

O artigo estabelece que ativações suaves e com quinas pertencem a diferentes classes de universalidade sob deformação de dropout, caracterizadas por expoentes críticos distintos:

• Classe Suave: Segue a escala padrão de Landau com um termo quadrático ($m^2$). O comprimento de correlação escala como $\xi \sim h^{-1/2}$ (onde $h$ é a força do campo de dropout).
• Classe com Quinas: Governada por um termo não analítico $m^{3/2}$ que surge da quina da ativação. O comprimento de correlação escala como $\xi \sim h^{-1/3}$.
  Essa distinção explica por que redes ReLU são frequentemente mais tolerantes a ajustes imperfeitos do que redes suaves; a classe com quinas possui uma janela de cruzamento mais ampla.

2. Colapso de Escala Universal

Os autores derivam uma função de escala universal de dois parâmetros que colapsa o comportamento do parâmetro de ordem $m$ através de diferentes forças de dropout e sintonias.

• Para ativações suaves: $\tilde{m} = \sqrt{1 + \tilde{t}^2} - \tilde{t}$.
• Para ativações com quinas: Uma forma de escala envolvendo $m \sim h^{2/3} F(t/h^{1/3})$.
  Essas previsões são verificadas contra relações de recorrência de campo médio, mostrando que as leis de escala teóricas se mantêm no regime assintótico próximo à criticalidade.

3. Agendamento Ótimo de Dropout

O artigo fornece uma derivação teórica para a distribuição espacial ótima de dropout:

• Magnitude: O funcional de campo médio favorece uma alocação saturada, tipo degrau (aplicando dropout máximo a uma fração de camadas e zero ao restante) em vez de distribuição uniforme.
• Posição: Embora a dinâmica de correlação de campo médio seja invariante à permutação, os autores introduzem um desempate de fluxo de posto. Como a diversidade de posto decai exponencialmente com a profundidade (especialmente em mecanismos de atenção), o "colapso futuro" que o dropout pode prevenir é monotonicamente decrescente com a profundidade. Consequentemente, a estratégia ótima é carregar na frente: concentrar o orçamento de dropout nas camadas iniciais.

Resultados

As previsões teóricas foram testadas em MLPs e Vision Transformers (ViT) usando os conjuntos de dados CIFAR-10 e CIFAR-100 em regimes controlados e superparametrizados (largura $\gg$ profundidade) onde as suposições de MFT se mantêm.

• Redução de Perda: Agendamentos carregados na frente (degrau ou decrescimento linear) reduziram consistentemente a perda de entropia cruzada mantida em comparação com baselines de dropout constante.
  • Em MLPs, as reduções de perda variaram de 18% a 35%, dependendo da ativação e do orçamento.
  • Em ViTs, agendamentos decrescentes linearmente alcançaram uma redução de perda de 4,2% e um ganho de precisão estatisticamente significativo (ex: 49,38% vs. 48,69% no CIFAR-100).
• Ganhos de Precisão: Melhorias de precisão foram observadas como um efeito secundário, consistente com a redução no sobreajuste.
• Robustez: Os benefícios persistiram através de diferentes funções de ativação (ReLU, GELU), larguras de rede e orçamentos de dropout, desde que a taxa de dropout permanecesse dentro do regime perturbativo.
• Ablação de Componentes: Em Transformers, aplicar dropout carregado na frente tanto aos blocos de atenção quanto aos blocos MLP produziu os melhores resultados, confirmando que o mecanismo se aplica a arquiteturas modernas.

Significado e Alegações

O artigo alega fornecer uma estrutura teórica unificada conectando a mecânica estatística da propagação de sinal crítica com a utilidade prática do agendamento de dropout.

• Insight Teórico: Reenquadra o dropout não meramente como um regularizador, mas como uma perturbação relevante que define uma nova superfície crítica com classes de universalidade distintas baseadas na suavidade da ativação. Isso oferece uma compreensão mais profunda de por que diferentes arquiteturas se comportam de maneira diferente sob regularização.
• Regra Prática: O trabalho traduz a complexa teoria de campo médio em uma simples regra de design acionável: carregue o dropout na frente. Ao concentrar o dropout nas camadas iniciais, os praticantes podem preservar o comprimento de correlação efetivo da rede, levando a uma melhor generalização sem aumentar o custo computacional.
• Escopo: Os autores afirmam explicitamente que sua análise é uma teoria de inicialização focada na propagação de sinal. Eles não alegam modelar dinâmicas completas de treinamento (por exemplo, aprendizado de características ou dinâmicas de catapulta) nem fornecer uma teoria completa para todas as arquiteturas (por exemplo, modos espaciais completos de ResNet ou CNN são deixados para trabalhos futuros). Os resultados são mais confiáveis em redes largas onde correções de largura finita são pequenas.

Em resumo, o artigo argumenta que tratar o dropout como um campo dependente da profundidade revela uma estrutura de escala universal que dita o agendamento ótimo, oferecendo uma alternativa principiante ao heurístico de dropout uniforme.