What do CNNs Learn in the First Layer and Why? A Linear Systems Perspective

Resumen Técnico: ¿Qué aprenden las CNN en la primera capa y por qué? Una perspectiva de sistemas lineales

1. El Problema

Las Redes Neuronales Convolucionales (CNN) han demostrado un éxito notable en tareas de reconocimiento de imágenes, atribuido a su capacidad para aprender representaciones efectivas. Se ha observado empíricamente que diferentes CNNs, independientemente de su arquitectura, inicialización o conjunto de datos, tienden a aprender representaciones muy similares en su primera capa.

Sin embargo, la explicación de por qué ocurre esta consistencia ha sido un tema de debate:

• Hipótesis de la utilidad semántica: ¿Aprenden estas capas filtros óptimos para la tarea de reconocimiento de objetos (por ejemplo, ignorando frecuencias bajas de iluminación o altas de ruido)?
• Hipótesis de reducción de redundancia: ¿Están las capas aprendiendo a "desenredar" (whitening) las correlaciones espaciales de los píxeles naturales?

El problema central es determinar si esta consistencia es un subproducto de la minimización de la pérdida de clasificación (optimización para la tarea) o si surge de propiedades inherentes a los datos de entrada y al algoritmo de entrenamiento, incluso sin una tarea semántica específica.

2. Metodología

Los autores proponen una nueva metodología basada en la perspectiva de sistemas lineales para cuantificar y analizar la consistencia de las representaciones en la primera capa.

• Perfil de Energía (Energy Profile): En lugar de comparar pesos directamente (lo cual es difícil debido a invariancias de rotación y permutación), definen la primera capa como un banco de filtros. Utilizan los vectores propios de la descomposición PCA (Componentes Principales) de los parches de imagen para caracterizar la respuesta en frecuencia del banco de filtros.
  • La energía del perfil $e_i$ mide la sensibilidad del banco de filtros a la $i$-ésima componente PCA (frecuencia espacial).
  • La similitud se mide mediante el coeficiente de correlación entre estos perfiles de energía.
• Experimentos Empíricos:
  • Entrenamiento de modelos (VGG, ResNet) en diversos datasets (CIFAR-10, CIFAR-100, CelebA, ImageNet) con diferentes inicializaciones y anchos.
  • Congelamiento de la primera capa: Se congelan los filtros aleatorios de la primera capa para ver si la red puede compensar y aprender en capas posteriores.
  • Etiquetas Aleatorias: Se entrena la red con etiquetas aleatorias para descartar que la consistencia sea debida a la semántica de los objetos.
• Análisis Teórico:
  • Derivan una fórmula analítica para el perfil de energía de una CNN lineal simple (una capa oculta, pérdida MSE) entrenada con descenso de gradiente.
  • Asumen que los parches de imagen y las etiquetas son no correlacionados (una suposición válida para etiquetas aleatorias y aproximada para etiquetas reales en datos naturales).

3. Contribuciones Clave

1. Cuantificación de la Consistencia: Demuestran que el perfil de energía de las CNNs entrenadas es altamente consistente (correlación > 0.98 entre diferentes inicializaciones y arquitecturas) y muy diferente de la inicialización aleatoria (correlación ~0). El perfil muestra sensibilidad máxima en frecuencias espaciales intermedias.
2. Refutación de la Hipótesis Semántica:
   • Las redes con la primera capa congelada (con filtros aleatorios) alcanzan un rendimiento de pérdida y precisión casi idéntico al de las redes entrenadas completamente. Esto sugiere que la red puede compensar filtros subóptimos en la primera capa aprendiendo en capas posteriores, por lo que el perfil específico no es estrictamente necesario para la tarea de clasificación.
   • Las redes entrenadas con etiquetas aleatorias aprenden el mismo perfil de energía que las redes con etiquetas reales. Esto indica que la consistencia no depende de la semántica de la tarea.
3. Derivación Analítica: Obtienen una fórmula cerrada para el perfil de energía de una CNN lineal:
   $$e_i \propto \frac{|1 - (1 - \eta \lambda_i^2)^t|}{\eta^2 \lambda_i^2} \lambda_i$$
   Donde $\lambda_i$ es el perfil de energía de los parches de entrenamiento (estadísticas de segundo orden) y $t$ es el número de iteraciones.
4. Convergencia al "Whitening": Demuestran teóricamente que, a medida que el número de iteraciones tiende a infinito, el perfil de energía converge a una transformación de blanqueamiento (whitening), donde la sensibilidad es inversamente proporcional a la varianza de la entrada ($e_i \propto 1/\lambda_i$). Esto reduce la redundancia espacial.
5. Generalización a Redes No Lineales: Muestran que la fórmula analítica derivada para redes lineales ajusta con gran precisión (correlación > 0.9) los perfiles de energía de redes no lineales complejas (ResNet, VGG) entrenadas con pérdida de entropía cruzada, tanto con etiquetas reales como aleatorias.

4. Resultados Principales

• Consistencia Universal: Los perfiles de energía son consistentes a través de diferentes datasets, arquitecturas, inicializaciones y tipos de etiquetas (reales vs. aleatorias).
• Independencia de la Tarea: La consistencia persiste incluso cuando la tarea de clasificación es artificial (etiquetas aleatorias), lo que descarta que sea un óptimo para el reconocimiento de objetos.
• Validación de la Teoría:
  • La correlación entre la fórmula teórica y las redes reales es alta (>0.9) en datasets complejos como ImageNet.
  • Al manipular las estadísticas de los datos (introduciendo correlación entre etiquetas y energía de los parches), la consistencia entre etiquetas reales y aleatorias se rompe, confirmando que la teoría depende de la falta de correlación entre entrada y salida.
  • Al modificar las estadísticas de los parches (aumentando la varianza en una dirección PCA específica), el perfil aprendido cambia exactamente como predice la fórmula teórica.
• Decorrelación Espacial: Las redes aprendidas reducen significativamente la autocorrelación espacial de las activaciones en comparación con la entrada RGB o filtros aleatorios, acercándose a un blanqueamiento parcial.

5. Significado e Implicaciones

• Sesgo Inductivo del Descenso de Gradiente: El hallazgo más importante es que la "reducción de redundancia" (whitening) no es un objetivo explícito ni una necesidad para la clasificación, sino un sesgo inductivo que surge naturalmente del algoritmo de descenso de gradiente aplicado a datos con estadísticas específicas (parches correlacionados, etiquetas no correlacionadas con los componentes principales).
• Reinterpretación de las Capas Iniciales: La primera capa de las CNNs actúa como un pre-procesador que realiza un blanqueamiento aproximado de las entradas. Esto facilita el aprendizaje en capas posteriores al descorrelacionar las características de entrada.
• Implicaciones para Transfer Learning: Dado que las redes entrenadas con etiquetas aleatorias aprenden representaciones de la primera capa casi idénticas a las de redes entrenadas con etiquetas reales, esto sugiere que las primeras capas de modelos "roto" (entrenados con ruido) podrían ser útiles para tareas de transferencia de aprendizaje, apoyando la idea de que la estructura de la primera capa es una propiedad de los datos y el optimizador, no de la tarea.
• Conexión con Biología: El resultado respalda la hipótesis de reducción de redundancia en sistemas biológicos (como la visión humana), sugiriendo que este comportamiento emerge de principios de optimización lineales básicos en lugar de ser una adaptación evolutiva específica para la visión de objetos.

En resumen, el paper demuestra que la consistencia observada en la primera capa de las CNNs es un fenómeno emergente de la interacción entre las estadísticas de segundo orden de las imágenes naturales y el sesgo del algoritmo de optimización (descenso de gradiente), conduciendo a una transformación de blanqueamiento aproximado, independientemente de la tarea de aprendizaje supervisado.