Entropy Reveals Block Importance in Masked Self-Supervised Vision Transformers

Resumen Técnico: La entropía revela la importancia de los bloques en los Transformers de visión autosupervisados con enmascaramiento

Planteamiento del problema
Los modelos de visión transformer autosupervisados con enmascaramiento (por ejemplo, MAE, VideoMAE) han establecido un paradigma dominante para el preentrenamiento, aprendiendo representaciones visuales ricas a partir de datos no etiquetados. Sin embargo, su considerable tamaño de modelo crea barreras significativas para el despliegue en entornos con recursos limitados (por ejemplo, dispositivos de borde/edge) y para el aprendizaje por transferencia eficiente. Una pregunta fundamental permanece sin respuesta: ¿son todos los bloques del transformer igualmente importantes para el rendimiento en tareas posteriores (downstream)?

Las soluciones existentes enfrentan limitaciones críticas. La poda basada en la sensibilidad, aunque efectiva, requiere la eliminación iterativa de bloques y un ajuste fino (finetuning) completo, lo que incurre en un costo computacional prohibitivo. Los métodos de poda basados en datos dependen de datos de tareas posteriores o estadísticas de activación, lo que introduce sesgo de conjunto de datos y limita la aplicabilidad cuando los datos no están disponibles o son restringidos. La poda no estructurada suele resultar en patrones de dispersión irregulares que son difíciles de desplegar eficientemente en el hardware moderno. En consecuencia, existe la necesidad de un método basado en principios, libre de datos y computacionalmente eficiente para estimar la importancia de los bloques e identificar la redundancia sin acceso a datos de entrenamiento o gradientes.

Metodología: Gardener y la Entropía de Número de Pesos
Los autores proponen Gardener, un algoritmo de poda de un solo paso (one-shot), a nivel de bloque y libre de datos para los transformers de visión autosupervisados con enmascaramiento. La idea central es que la importancia del bloque está codificada dentro de los propios parámetros preentrenados, específicamente en la distribución estructural de los pesos.

El método se basa en una métrica novedosa llamada entropía de número de pesos. A diferencia de las definiciones convencionales de entropía que operan sobre las magnitudes de los pesos o las activaciones, esta formulación caracteriza la distribución de los conteos de parámetros a través de intervalos de valores dentro de un bloque transformer.

1. Formulación: Para un bloque $B_l$ con $N_l$ pesos escalares, el rango de valores de los pesos se particiona en $K$ intervalos disjuntos. La masa de probabilidad empírica $p_l(i)$ se calcula como la relación entre los pesos que caen en el intervalo $i$ y el número total de pesos en el bloque.
2. Cálculo de la Entropía: La entropía de número de pesos $H(B_l)$ se calcula como $-\sum p_l(i) \log p_l(i)$. Esta métrica captura la diversidad estructural de los pesos dentro de un bloque manteniéndose invariante al escalado de los pesos.
3. Estrategia de Poda: Gardener calcula esta entropía para cada bloque en una sola pasada sobre los parámetros preentrenados. Los bloques se clasifican en orden ascendente de entropía. Una entropía más baja indica una distribución de parámetros más concentrada, lo que los autores hipotetizan corresponde a una menor importancia para el aprendizaje por transferencia. El algoritmo elimina los bloques con menor clasificación basándose en una ratio de poda objetivo en un solo paso, sin requerir propagación hacia adelante/atrás (forward/backward propagation), acceso a datos o ajuste fino iterativo.

Contribuciones Clave

• Formulación del Problema: El artículo define el desafío de la estimación de la importancia de los bloques libre de datos para los transformers de visión autosupervisados con enmascaramiento bajo entornos de recursos limitados.
• Perspectiva Teórica: Introduce la entropía de número de pesos como un criterio de información que se calcula únicamente a partir de los parámetros preentrenados, demostrando una fuerte correlación con la sensibilidad de oráculo (derivada de la eliminación iterativa de bloques y el ajuste fino).
• Propuesta de Algoritmo: Los autores proponen Gardener, un algoritmo de poda de un solo paso, de complejidad lineal y con una sobrecarga de memoria insignificante que opera enteramente sin datos.
• Validación Empírica: Experimentos extensos en VideoMAE-B a través de múltiples ratios de poda y benchmarks de reconocimiento de video (UCF101) muestran que Gardener iguala o supera consistentemente a las líneas base existentes libres de datos y se aproxima estrechamente al rendimiento de la poda basada en sensibilidad (oráculo).
• Análisis Estructural: El trabajo proporciona evidencia empírica de una heterogeneidad estructural sistemática en los modelos autosupervisados con enmascaramiento, revelando que los bloques tempranos e intermedios tienden a tener una mayor entropía (capturando patrones diversos de bajo/medio nivel), mientras que los bloques profundos muestran una menor entropía (especializándose en la abstracción semántica).

Resultados
Los experimentos realizados en VideoMAE-B (preentrenado en Kinetics-400) y ajustado mediante finetuning en UCF101 arrojan los siguientes hallazgos:

• Heterogeneidad de Bloques: Eliminar diferentes bloques del transformer conduce a rendimientos drásticamente distintos en las tareas posteriores, confirmando que los bloques no son igualmente importantes. Por ejemplo, eliminar el Bloque 1 causó una caída masiva en el Recuerdo Promedio Ponderado (WAR) al 46.73%, mientras que eliminar el Bloque 12 resultó en un WAR de 91.29% (comparado con el original de 91.78%).
• Correlación con el Oráculo: La clasificación de los bloques por entropía de número de pesos se alinea fuertemente con la clasificación de sensibilidad del oráculo. Los bloques con mayor entropía corresponden consistentemente a mayores caídas de rendimiento cuando se eliminan.
• Rendimiento de la Poda: Gardener supera a otros criterios libres de datos (incluyendo los basados en magnitud, varianza y selección aleatoria) en todos los ratios de poda. Notablemente, incluso después de podar hasta el 91.7% de los bloques, el modelo podado retiene un rendimiento de transferencia competitivo (WAR de 68.81%), igualando de cerca el resultado de la poda basada en sensibilidad al mismo ratio.
• Eficiencia: El método incurre en una sobrecarga computacional insignificante, operando en una sola pasada sobre los parámetros, lo que lo hace órdenes de magnitud más eficiente que los métodos iterativos basados en sensibilidad.

Significado y Reivindicaciones
El artículo sostiene que el análisis de información teórica de los pesos preentrenados ofrece un camino principista y eficiente para la compresión de modelos y el aprendizaje por transferencia eficiente en recursos. Al demostrar que la importancia de los bloques puede estimarse con precisión sin ningún acceso a datos, los autores desafían la necesidad de la poda basada en datos o iterativa para los transformers de visión autosupervisados con enmascaramiento.

El trabajo destaca que existe una redundancia sustancial de nivel de bloque en estos modelos y que la entropía de número de pesos captura propiedades representacionales intrínsecas aprendidas durante el preentrenamiento. Esto permite la identificación de bloques redundantes mediante mediciones simples, facilitando la rápida adaptación del modelo. Los autores posicionan a Gardener no como un reemplazo perfecto para todos los escenarios de poda, sino como un sustituto robusto y de bajo costo que aproxima el comportamiento del oráculo bajo restricciones estrictas de cero datos, facilitando el despliegue de modelos fundacionales de gran escala en entornos donde los datos y el cómputo son limitados.

Limitaciones
Los autores reconocen que la entropía de número de pesos es una medida estática y de grano grueso que no tiene en cuenta el comportamiento dependiente de la entrada o los patrones de activación específicos de la tarea, lo que puede limitar la adaptabilidad a tareas posteriores altamente especializadas. Además, el estudio actual se centra en la poda a nivel de bloque en modelos de autoencoder con enmascaramiento basados en ViT; extender estos criterios a estructuras de grano más fino (por ejemplo, cabezales de atención) sigue siendo una cuestión abierta. Finalmente, aunque la correlación con la sensibilidad es fuerte, no se garantiza que sea perfecta en todas las arquitecturas o regímenes de entrenamiento.