Resumen Técnico: Aprendizaje de Representaciones Robustas en Autoencoders Enmascarados

Planteamiento del Problema

Si bien los Autoencoders Enmascarados (MAE, por sus siglas en inglés) han demostrado un rendimiento de vanguardia en tareas de clasificación de imágenes mediante el preentrenamiento autosupervisado, los mecanismos internos que impulsan este éxito siguen sin comprenderse del todo. Específicamente, no está claro cómo se organiza el espacio latente de un MAE preentrenado con respecto a la estructura por clases a través de la profundidad de la red, particularmente dada la ausencia de etiquetas durante el preentrenamiento. Además, aunque los MAE superan a los Vision Transformers (ViT) estándar, la robustez de sus representaciones aprendidas frente a perturbaciones de entrada (como el desenfoque y la oclusión) y las propiedades geométricas específicas que permiten esta robustez no han sido caracterizadas sistemáticamente. La literatura existente se ha centrado principalmente en variantes arquitectónicas o refinamientos de entrenamiento, en lugar de analizar la evolución y el comportamiento de las representaciones aprendidas en sí mismas.

Metodología

Los autores proponen un pipeline de análisis exhaustivo para investigar las representaciones internas de los MAE tanto durante el preentrenamiento como durante el ajuste fino (fine-tuning). El estudio utiliza la arquitectura MAE ViT-Base entrenada en ImageNet-1K.

1. Análisis Estructural por Capas (Preentrenamiento):

• Evolución de la Incrustación de Tokens: Los autores extraen embeddings de tres fuentes en cada una de las 12 capas del codificador: el token CLS, los tokens de parches brutos y los tokens de parche promedio (agregados a través de los parches visibles). Estos se visualizan mediante t-SNE para observar la emergencia de clústeres de clases.
• Geometría de Subespacios: Para cuantificar la estructura geométrica, los autores aplican la Descomposición en Valores Singulares (SVD) a los embeddings de parches de cada clase en cada capa. Esto genera un subespacio de baja dimensión para cada clase. La separación entre clases se mide utilizando ángulos principales entre estos subespacios. Además, se rastrea la evolución de los valores singulares para evaluar la capacidad informativa de las direcciones de la base.
• Mecanismo de Atención: El estudio calcula las distancias de atención media para determinar si el codificador MAE depende del contexto local o global, comparando su comportamiento con los ViT estándar.

2. Evaluación de Robustez (Ajuste Fino):

• Tipos de Perturbación: El modelo ajustado se evalúa bajo dos tipos específicos de degradación:
  • Desenfoque Gaussiano (Gaussian Blur): Aplicado con diversos tamaños de núcleo y desviaciones estándar.
  • Oclusión Guiada por Atención: En lugar de un enmascaramiento aleatorio, se enmascaran sistemáticamente los parches más atendidos (identificados mediante el despliegue de atención o attention rollout) para atacar las regiones críticas del modelo.
• Indicadores de Robustez: Se introducen dos métricas para cuantificar la robustidad de la representación:
  • Alineación Direccional: Medida mediante la similitud de coseno entre los embeddings de parche promedio limpios y aquellos derivados de entradas perturbadas.
  • Retención de Características por Cabeza: Los autores identifican "características activas" (dimensiones de alta magnitud) dentro de las cabezas de atención individuales para entradas limpias. Luego calculan la retención de estas características específicas en las entradas perturbadas, cuantificando la caída de las características activas comunes ($\Delta C$).

Contribuciones Clave

El artículo realiza cinco contribuciones principales:

1. Emergencia de Estructura Separable por Clases: Demuestra que los MAE preentrenados desarrollan progresivamente estructuras separables por clases a través de la profundidad de la red. Clústeres de clases distintos emergen no solo en los tokens CLS, sino también en las representaciones de los tokens de parche promedio y de parches brutos, incluso sin supervisión explícita.
2. Caracterización Geométrica: A través del análisis de subespacios, los autores muestran que los subespacios específicos de cada clase divergen y se vuelven cada vez más separables a medida que aumenta la profundidad de la red. Esto se evidencia por el aumento de los ángulos principales y el incremento de los valores singulares mínimos.
3. Mecanismo de Atención Global: A diferencia de los ViT estándar, que transicionan de una atención local a una global, los MAE exhiben una atención global persistente (altas distancias de atención media) en todas las capas y cabezas desde el inicio, ofreciendo una explicación mecánica para su rápida organización estructural.
4. Cuantificación de la Robustez: El estudio evalúa los MAE ajustados bajo desenfoque gaussiano y oclusión guiada por atención, demostrando que el rendimiento de la clasificación permanece estable a través de un amplio rango de niveles de perturbación.
5. Indicadores de Sensibilidad: El artículo introduce dos indicadores complementarios —la invariancia direccional y la retención de características activas por cabeza— para cuantificar cómo las representaciones latentes responden a las perturbaciones, vinculando la estabilidad de la representación directamente con la precisión de la clasificación.

Resultados

• Evolución Estructural: En las primeras capas del codificador, los embeddings de diferentes clases se solapan significamente. Sin embargo, para las capas 9–10, emergen clústeres de clases distintos, los cuales se vuelven altamente separables en las capas más profundas. Esta tendencia se mantiene para los tokens CLS, de parche promedio y de parches brutos.
• Divergencia de Subespacios: El análisis de ángulos principales confirma que los subespacios específicos de clase rotan alejándose unos de otros a medida que aumenta la profundidad. El valor singular mínimo también aumenta con la profundidad, lo que sugiere que el codificador selecciona direcciones de base cada vez más significativas.
• Robustez ante Perturbaciones:
  • Desenfoque: A pesar de las caídas significativas en la calidad de la imagen (el PSNR cae de 28.12 dB a 20.06 dB), la precisión top-1 se mantiene por encima del 80% incluso bajo el desenfoque más fuerte.
  • Oclusión: El modelo mantiene una alta precisión incluso cuando se enmascara el 50% de los parches más atendidos. La precisión solo cae drásticamente después de una oclusión del 60%, manteniéndose en un 60.8% incluso cuando se eliminan el 90% de los parches atendidos.
  • ImageNet-C: El modelo muestra una fuerte robustez ante cambios climáticos, desenfoque y artefactos digitales, aunque presenta dificultades con cambios de distribución mayores (ej. interpretaciones artísticas en ImageNet-R).
• Estabilidad de la Representación:
  • Alineación Direccional: La similitud de coseno entre los embeddings limpios y perturbados permanece alta (>0.85) bajo perturbaciones moderadas. Un descenso pronunciado en la similitud se correlaciona con la clasificación errónea.
  • Retención de Características: Bajo perturbaciones moderadas, el conjunto de características activas dentro de las cabezas de atención permanece mayormente consistente con las entradas limpias. Un colapso rápido en la retención de características ocurre solo ante niveles de perturbación extremos, reflejando la caída en la precisión de la clasificación.

Significado y Reivindicaciones

El artículo sostiene que el fuerte rendimiento en la clasificación de los MAE está fundamentalmente ligado a la estructura y el comportamiento de las representaciones latentes formadas durante el preentrenamiento. Específicamente, los autores argumentan que:

• La emergencia progresiva de una estructura discriminativa de clase en ausencia de etiquetas proporciona una inicialización robusta para el ajuste fino.
• El mecanismo de atención global inherente al MAE permite al modelo inferir la estructura global a partir de un contexto limitado, facilitando la rápida separación de los subespacios de clase.
• La robustez es intrínseca: La estabilidad del rendimiento de la clasificación bajo degradación no es simplemente un resultado de la aumentación de datos o de los esquemas de entrenamiento, sino que está arraigada en la invariancia direccional y la retención de características de las representaciones latentes aprendidas.
• Los indicadores de sensibilidad propuestos proporcionan un marco cuantitativo para entender por qué los MAE fallan o tienen éxito bajo tipos específicos de degradación de la entrada, vinculando la estabilidad de la representación directamente con el rendimiento de la tarea descendente (downstream task).