Learning from almost nothing: How neural networks survive heavy input corruption

Resumo Técnico: Aprendendo com Quase Nada

Definição do Problema
O artigo aborda o problema de aprender a partir de dados imperfeitos, focando especificamente no ruído de atributo (corrupção de características de entrada) enquanto mantém os rótulos intactos. Embora o ruído de rótulo tenha recebido atenção analítica significativa, o ruído de atributo — comum em cenários do mundo real devido a erros de sensores ou características ausentes — tem sido menos explorado teoricamente. A questão central é se as redes neurais conseguem aprender uma regra de classificação coerente e generalizar para dados de teste limpos quando treinadas em entradas severamente corrompidas, ao ponto de o sinal ser quase indistinguível de um ruído aleatório para observadores humanos.

Metodologia
Os autores empregam uma abordagem dupla combinando experimentação empírica com derivação analítica utilizando o framework do Kernel de Tangente Neural (NTK).

1. Configuração Empírica:

   • Modelos: Perceptrons multicamadas (MLPs) com 3 camadas ocultas e larguras variadas (128 a 2048).
   • Datasets: MNIST, Fashion-MNIST e KMNIST.
   • Modelos de Corrupção: Dois tipos de corrupção de entrada são testados:
     • Ruído de Substituição: Cada pixel é independentemente substituído por ruído uniforme com probabilidade $p$.
     • Ruído Aditivo: Cada pixel é uma combinação convexa do pixel limpo e de um ruído independente.
   • Treinamento: As redes são treinadas em entradas corrompidas com rótulos limpos usando perda de entropia cruzada ou erro quadrático médio (MSE).
   • Avaliação: O desempenho é medido em conjuntos de teste limpos e, em alguns casos, em conjuntos de teste simultaneamente corrompidos.

2. Framework Analítico:

   • Os autores analisam o limite de largura infinita dos MLPs usando a descrição NTK, onde o treinamento com perda MSE é equivalente à regressão de kernel.
   • Eles realizam uma expansão inspirada em campo médio (mean-field) no "regime de alta corrupção" (onde a força do sinal $\epsilon = 1-p$ é pequena e a dimensão das características $d$ é grande).
   • A derivação envolve a expansão do NTK e do preditor resultante em torno do ponto fixo de ruído puro ($\epsilon = 0$), tratando o sinal sobrevivente como uma perturbação linear.
   • Um argumento de simetria baseado em invariância de permutação no limite de ruído puro é utilizado para explicar a universalidade da regra de decisão resultante.

Principais Contribuições e Resultados

1. Robustez Empírica:

   • Experimentos demonstram que os MLPs permanecem notavelmente robustos ao ruído de atributo. Mesmo quando as entradas de treinamento estão >90% corrompidas (ex: $p=0.9$), as redes alcançam uma acurácia de teste muito acima do acaso aleatório (ex: ~70–80% no MNIST), apesar de as imagens de treinamento serem quase irreconhecíveis para humanos.
   • O desvio padrão da acurácia de teste exibe um comportamento não monotônico em relação à probabilidade de corrupção, atingindo o pico em níveis de ruído intermediários, em vez de no ruído máximo.
   • Quando tanto os dados de treinamento quanto os de teste estão corrompidos, o desempenho ideal ocorre quando o nível de corrupção do conjunto de treinamento coincide com o do conjunto de teste ($p_{train} \approx p_{test}$), sugerindo que o modelo aprende a generalizar dentro da distribuição corrompida específica.

2. A Regra de Decisão de Centróide:

   • A principal descoberta teórica é que, no limite de alto ruído, a rede não linear complexa colapsa para um classificador simples e universal de média de classe mais próxima (centróide).
   • A regra de decisão de primeira ordem para um ponto de teste $x_*$ é atribuí-lo à classe $i$ que maximiza a sobreposição com o centro da média empírica (centróide) dos dados de treinamento limpos:
     $$i^* = \arg\max_i \frac{1}{d} \sum_{k=1}^d x_{k*} (\bar{x}^i_k - \bar{x}_k)$$
     onde $\bar{x}^i_k$ é a média da classe $i$ e $\bar{x}_k$ é a média global.
   • Esta regra é universal: ela se mantém independentemente da profundidade da rede, função de ativação ou da distribuição específica do ruído (desde que seja i.i.d.), dependendo apenas dos dois primeiros momentos da distribuição do ruído.

3. Validação Analítica:

   • A forma analítica derivada (Eq. 13/16) coincide com o comportamento de redes de largura finita (largura 2048) com alta precisão ($R^2 > 0.96$) no regime de alto ruído ($p \approx 0.97$).
   • O modelo prevê com precisão tanto os outputs de logit médios quanto as flutuações que determinam a acurácia de classificação.
   • Uma lei de escala de Relação Sinal-Ruído (SNR) derivada sugere que a acurácia melhora com a fração de sinal sobrevivente $(1-p)$, a dimensão de características $d$ e o número de exemplos de treinamento por classe $N/C$.

Significância e Alegações
O artigo afirma que a surpreendente robustez das redes neurais à pesada corrupção de entrada não se deve a um mecanismo complexo de denoising ou recuperação de características. Em vez disso, surge porque a rede efetivamente agrega a fraca informação de classe sobrevivente em uma regra de decisão baseada em protótipos.

• Simplicidade a partir da Complexidade: Apesar da complexidade arquitetural e não linearidade das redes profundas, a regra aprendida no limite de alto ruído torna-se simples, interpretável e linear (correspondência de template contra centróides de classe).
• Universalidade via Simetria: Os autores atribuem a universalidade desta regra à simetria de permutação do kernel de ruído puro. No limite de ruído puro, os exemplos de treinamento são permutáveis; a resposta de primeira ordem a um pequeno sinal que quebra essa simetria é forçada a depender das médias de classe centradas.
• Tratabilidade Analítica: O trabalho identifica um regime raro onde o aprendizado de redes neurais pode ser descrito em termos excepcionalmente explícitos, fornecendo um ponto fixo tratável (ruído puro) a partir do qual se pode derivar as correções de primeira ordem para o preditor.

Os autores mantêm a modéstia quanto ao escopo, observando que, embora a regra de decisão seja universal, a acurácia depende da geometria do dataset específico (ou seja, se os centróides das classes limpas contêm informação discriminativa suficiente). Eles não alegam que isso se aplica a todos os datasets ou níveis arbitrários de corrupção, mas estabelecem um comportamento genérico de primeira ordem para MLPs no regime de alto ruído de atributo.