Learning from almost nothing: How neural networks survive heavy input corruption

Resumen Técnico: Aprendiendo de casi la nada

Planteamiento del problema
El artículo aborda el problema de aprender de datos imperfectos, centrándose específicamente en el ruido de atributos (corrupción de las características de entrada) manteniendo intactas las etiquetas. Mientras que el ruido de etiquetas ha recibido una atención analítica significativa, el ruido de atributos —común en escenarios del mundo real debido a errores de sensores o características faltantes— ha sido menos explorado teóricamente. La cuestión central es si las redes neuronales pueden aprender una regla de clasificación coherente y generalizar a datos de prueba limpios cuando se entrenan con entradas severamente corrompidas, hasta el punto en que la señal es casi indistinguible del ruido aleatorio para observadores humanos.

Metodología
Los autores emplean un enfoque dual que combina la experimentación empírica con la derivación analítica utilizando el marco del Kernel de Tangente Neural (NTK).

1. Configuración empírica:

   • Modelos: Perceptrones multicapa (MLP) con 3 capas ocultas y anchuras variables (128 a 2048).
   • Conjuntos de datos: MNIST, Fashion-MNIST y KMNIST.
   • Modelos de corrupción: Se prueban dos tipos de corrupción de entrada:
     • Ruido de reemplazo: Cada píxel es reemplazado independientemente con ruido uniforme con una probabilidad $p$.
     • Ruido aditivo: Cada píxel es una combinación convexa del píxel limpio y un ruido independiente.
   • Entrenamiento: Las redes se entrenan con entradas corruptas con etiquetas limpias utilizando pérdida de entropía cruzada o error cuadrático medio (MSE).
   • Evaluación: El rendimiento se mide en conjuntos de prueba limpios y, en algunos casos, en conjuntos de prueba simultáneamente corruptos.

2. Marco analítico:

   • Los autores analizan el límite de ancho infinito de los MLP utilizando la descripción NTK, donde el entrenamiento con pérdida MSE es equivalente a la regresión por kernel.
   • Realizan una expansión inspirada en el campo medio en el "régimen de fuerte corrupción" (donde la fuerza de la señal $\epsilon = 1-p$ es pequeña y la dimensión de las características $d$ es grande).
   • La derivación implica expandir el NTK y el predictor resultante alrededor del punto fijo de ruido puro ($\epsilon = 0$), tratando la señal superviviente como una perturbación lineal.
   • Se utiliza un argumento de simetría basado en la invariancia de permutación en el límite de ruido puro para explicar la universalidad de la regla de decisión resultante.

Contribuciones clave y resultados

1. Robustez empírica:

   • Los experimentos demuestran que los MLP siguen siendo notablemente robustos al ruido de atributos. Incluso cuando las entradas de entrenamiento están >90% corrompidas (por ejemplo, $p=0.9$), las redes alcanzan una precisión de prueba muy superior al azar (por ejemplo, ~70–80% en MNIST), a pesar de que las imágenes de entrenamiento son casi irreconocibles para los humanos.
   • La desviación estándar de la precisión de prueba exhibe un comportamiento no monotónico con respecto a la probabilidad de corrupción, alcanzando su máximo en niveles de ruido intermedios en lugar de en el ruido máximo.
   • Cuando tanto los datos de entrenamiento como los de prueba están corruptos, el rendimiento óptimo ocurre cuando el nivel de corrupción del conjunto de entrenamiento coincide con el del conjunto de prueba ($p_{train} \approx p_{test}$), lo que sugiere que el modelo aprende a generalizar dentro del espectro de la distribución corrupta específica.

2. La regla de decisión del centroide:

   • El principal hallazgo teórico es que, en el límite de alto ruido, la compleja red no lineal colapsa en un clasificador de centroide de clase más cercano (nearest-class-mean) simple y universal.
   • La regla de decisión de primer orden para un punto de prueba $x_*$ es asignar el punto a la clase $i$ que maximiza el solapamiento con el centro empírico (centroide) de los datos de entrenamiento limpios:
     $$i^* = \arg\max_i \frac{1}{d} \sum_{k=1}^d x_{k*} (\bar{x}^i_k - \bar{x}_k)$$
     donde $\bar{x}^i_k$ es la media de la clase $i$ y $\bar{x}_k$ es la media global.
   • Esta regla es universal: se mantiene independientemente de la profundidad de la red, la función de activación o la distribución específica del ruido (siempre que sea i.i.d.), dependiendo únicamente de los dos primeros momentos de la distribución del ruido.

3. Validación analítica:

   • La forma analítica derivada (Eq. 13/16) coincide con el comportamiento de las redes de ancho finito (anchura 2048) con alta precisión ($R^2 > 0.96$) en el régimen de alto ruido ($p \approx 0.97$).
   • El modelo predice con precisión tanto las salidas de los logits medios como las fluctuaciones que determinan la precisión de la clasificación.
   • Una ley de escala de la Relación Señal-Ruido (SNR) derivada sugiere que la precisión mejora con la fracción de señal superviviente $(1-p)$, la dimensión de las características $d$ y el número de ejemplos de entrenamiento por clase $N/C$.

Significado y afirmaciones
El artículo afirma que la sorprendente robustez de las redes neuronales ante la fuerte corrupción de entrada no se debe a un mecanismo complejo de eliminación de ruido o recuperación de características. En cambio, surge porque la red agrega eficazmente la débil información de clase superviviente en una regla de decisión basada en prototipos.

• Simplicidad a partir de la complejidad: A pesar de la complejidad arquitectónica y la no linealidad de las redes profundas, la regla aprendida en el límite de alto ruido se vuelve simple, interpretable y lineal (coincidencia de plantillas contra centroides de clase).
• Universalidad vía Simetría: Los autores atribuyen la universalidad de esta regla a la simetría de permutación del kernel de ruido puro. En el límite de ruido puro, los ejemplos de entrenamiento son intercambiables; la respuesta de primer orden a una pequeña señal que rompe esta simetría está forzada a depender de los promedios de clase centrados.
• Tractabilidad Analítica: El trabajo identifica un régimen poco común donde el aprendizaje de redes neuronales puede describirse en términos inusualmente explícitos, proporcionando un punto fijo tratable (ruido puro) desde el cual derivar las correcciones de primer orden al predictor.

Los autores mantienen la modestia respecto al alcance, señalando que, si bien la regla de decisión es universal, la precisión depende de la geometría del conjunto de datos específico (es decir, si los centroides de clase limpios contienen información discriminativa suficiente). No pretenden que esto se aplique a todos los conjuntos de datos o a niveles de corrupción arbitrarios, sino que establecen un comportamiento genérico de primer orden para los MLP en el régimen de alto ruido de atributos.