Resumen Técnico: Cómo la Aumento de Datos Moldea las Representaciones Neuronales

Enunciado del Problema

Si bien el aumento de datos (DA) es una técnica fundamental para mejorar la generalización en redes neuronales profundas, los mecanismos específicos mediante los cuales diferentes estrategias de aumento alteran la geometría de las representaciones internas aprendidas permanecen poco comprendidos. Las prácticas actuales suelen depender de heurísticas o búsquedas basadas en el rendimiento para ajustar los hiperparámetros de aumento (por ejemplo, intensidad, probabilidad, extensión espacial). Sin embargo, combinaciones distintas de estos hiperparámetros pueden producir precisiones de tarea casi idénticas, lo que sugiere que las métricas de rendimiento estándar oscurecen diferencias significativas en cómo los modelos aprenden a representar los datos.

Los autores plantean varias preguntas clave:

1. ¿Los métodos de DA mueven las representaciones a lo largo de trayectorias bien definidas a medida que varían los hiperparámetros?
2. ¿Los tipos de aumento distintos (por ejemplo, rotación frente a recorte) esculpen los cálculos de las capas ocultas de maneras fundamentalmente diferentes, o sus efectos son redundantes?
3. ¿Puede la diversidad geométrica de las representaciones predecir las ganancias funcionales logradas al ensamblar modelos entrenados con diferentes aumentos?
4. ¿Cómo se comparan los cambios inducidos por el aumento en magnitud con la variabilidad introducida por la inicialización aleatoria de pesos?

Metodología

El artículo propone un marco geométrico para analizar las representaciones neuronales incrustándolas en un espacio de formas Riemanniano. Este enfoque trata los patrones de activación de las capas ocultas como nubes de puntos (hitos) en un espacio de alta dimensión y analiza su geometría independientemente de transformaciones lineales arbitrarias.

1. Distancia de Forma Riemanniana

Para comparar las representaciones $X^A_\ell$ y $X^B_\ell$ de dos redes (entrenadas con diferentes estrategias de DA o hiperparámetros) en un conjunto de $M$ imágenes de prueba limpias, los autores definen una métrica de distancia invariante a traslación, escalado, rotación y reflexión.

• Preprocesamiento: Las respuestas neuronales se centran y reescalan a norma unitaria para formar "pre-formas" ($Z_i$).
• Alineación: La distancia se calcula encontrando la transformación ortogonal óptima $O \in O(N)$ que alinea las pre-formas.
• Métrica: La distancia de forma Riemanniana $\rho(X_i, X_j)$ se define como la distancia geodésica en la hipersuperficie de pre-formas:
  $$\rho(X_i, X_j) = \arccos\left( \sup_{O \in O(N)} \text{Tr}[Z_j^\top Z_i O] \right)$$
  Esta métrica trata dos representaciones como equivalentes si sus nubes de puntos pueden superponerse mediante transformaciones rígidas y escalado, implicando que portan la misma información decodificable linealmente.

2. Análisis de Trayectorias

El marco conceptualiza los cambios graduales en la intensidad del aumento como movimientos a lo largo de caminos suaves (geodésicas) en la variedad de formas.

• Ángulos Geodésicos: El ángulo entre dos trayectorias que se originan en una forma de referencia (sin aumento) se calcula utilizando vectores tangentes en la variedad de formas. Esto cuantifica la similitud direccional de cómo diferentes aumentos reconfiguran las representaciones.
• Desplazamiento de Hitos: Los autores analizan los vectores de desplazamiento específicos ($\Delta z_\mu$) de imágenes de prueba individuales (hitos) entre representaciones alineadas. Esto revela qué entradas específicas son más distorsionadas por un aumento dado y cómo estas distorsiones varían a través de las capas de la red.

3. Configuración Experimental

• Modelos: ResNet-18 y Transformadores de Visión (ViT).
• Conjunto de Datos: CIFAR-10 (con ejemplos de ajuste fino en ImageNet en el apéndice).
• Aumentos: Un espectro de métodos que incluye ruido gaussiano, Gaussiano de parche (similar a CutOut), rotación, cizallamiento, vibración de color, escala de grises y recorte aleatorio, aplicados con magnitudes variables.
• Evaluación: Se recopilaron representaciones de capas ocultas (por ejemplo, capa 2, avgpool) para 10,000 imágenes de prueba limpias.

Resultados Clave

1. Trayectorias Estructuradas en el Espacio de Formas

Los autores demuestran que aumentar la intensidad del aumento dirige las representaciones a lo largo de trayectorias bien comportadas y estructuradas en el espacio de formas, pero no en el espacio euclidiano ingenuo.

• Necesidad de Alineación: Sin alineación ortogonal, las matrices de distancia y las visualizaciones MDS-PCA no muestran una organización coherente con respecto a los parámetros de aumento. Con alineación, emergen trayectorias claras y suaves donde la distancia se correlaciona con la magnitud del aumento.
• Predecibilidad: Los modelos de regresión lineal pueden predecir con precisión los hiperparámetros de aumento (por ejemplo, desviación estándar del ruido $\sigma$, tamaño de parche $C$) a partir de las representaciones de forma alineadas de imágenes limpias, confirmando que las representaciones están organizadas sistemáticamente con respecto a los parámetros de DA.

2. Magnitud del Cambio: DA vs. Semilla Aleatoria

El estudio compara la escala del cambio de representación inducido por DA contra la variabilidad causada por diferentes semillas aleatorias.

• Unidades Naturales: Al definir $D_{aug}$ (distancia debida a DA) y $D_{seed}$ (distancia debida a la semilla), los autores identifican un punto de transición. Para intensidades de aumento pequeñas, $D_{aug} \approx D_{seed}$. A medida que aumenta la intensidad (por ejemplo, desviación estándar del ruido $s > 0.2$), $D_{aug}$ se desvía y supera a $D_{seed}$. Esto proporciona una escala de "unidad natural" para determinar cuándo los efectos de DA se vuelven distinguibles del ruido de inicialización.

3. La Diversidad Geométrica Predice las Ganancias del Ensamble

Los diferentes tipos de aumento producen trayectorias distintas en el espacio de formas.

• Direcciones Distintas: Los mapas de calor de los ángulos geodésicos entre las trayectorias de diferentes tipos de DA (por ejemplo, rotación frente a ruido) muestran que mueven las representaciones en direcciones no redundantes.
• Correlación del Ensamble: Existe una fuerte correlación positiva entre el ángulo geodésico entre dos trayectorias de aumento y la ganancia de precisión lograda al ensamblar modelos entrenados con esos respectivos aumentos. Los modelos entrenados con representaciones geométricamente diversas (ángulos grandes) producen mejoras mayores en el ensamble.

4. Desplazamientos de Hitos Dependientes de la Capa

El análisis de los desplazamientos de hitos revela que los efectos de DA no son uniformes en toda la red.

• Especificidad de Capa: En las capas tempranas (por ejemplo, capa 2 de ResNet-18), los hitos con desplazamiento máximo se correlacionan con características de imagen de bajo nivel (por ejemplo, bordes diagonales, fondos brillantes). En capas más profundas (por ejemplo, avgpool), estos patrones son menos obvios y los desplazamientos son de menor dimensión.
• Mecanismo: Esto sugiere que DA reconfigura las representaciones a través de mecanismos específicos de la capa, atenuando o amplificando características de subconjuntos específicos de imágenes dependiendo del tipo de aumento y la profundidad de la red.

Significado y Afirmaciones

El artículo afirma proporcionar una herramienta principista para comprender y comparar métodos de aumento de datos a través de la lente de la geometría representacional.

• Más allá de la Precisión: Los autores argumentan que las métricas de rendimiento por sí solas son insuficientes para distinguir entre protocolos de entrenamiento que producen precisiones similares pero representaciones internas diferentes. El análisis del espacio de formas revela estas diferencias ocultas.
• Marco Unificado: El marco ofrece un lenguaje común para comparar modelos entrenados con diferentes hiperparámetros, arquitecturas o semillas de inicialización utilizando herramientas de la geometría diferencial.
• Utilidad Práctica: Los hallazgos sugieren que analizar las trayectorias en el espacio de formas puede guiar:
  • Búsqueda de Hiperparámetros: Identificar regímenes donde los efectos de DA son significativos.
  • Construcción de Ensamble: Seleccionar estrategias de aumento que maximicen la diversidad geométrica para mejorar el rendimiento del ensamble.
  • Interpretabilidad: Comprender cómo aumentos específicos deforman las representaciones capa por capa mediante el análisis de desplazamiento de hitos.

Los autores limitan explícitamente su alcance a la clasificación de imágenes, métodos clásicos de DA y análisis post-hoc de imágenes de prueba fijas, señalando que extender esto a políticas de aumento aprendidas o dinámicas de entrenamiento es trabajo futuro. También reconocen el costo computacional de la distancia de forma Riemanniana para representaciones de alta dimensión, lo que hace necesaria la reducción de dimensionalidad en la práctica.