Resumen Técnico: La Relevancia de la Tarea No Es la Reemplazabilidad Local

Enunciado del Problema

En las redes de visión, la importancia de los canales se resume típicamente mediante una única puntuación escalar. Esta práctica confunde dos preguntas distintas:

1. Relevancia de la Tarea: ¿Cuánta información transmite un canal sobre la tarea objetivo?
2. Reemplazabilidad Local: Si se elimina un canal, ¿pueden los canales restantes en la misma capa suministrar la información necesaria para mantener la función de la red?

Los autores argumentan que estas propiedades no necesitan alinearse. Un canal altamente predictivo puede ser fácilmente eliminable si sus pares portan información superpuesta, mientras que un canal menos predictivo puede ser crítico si ningún par cubre su rol específico. Las métricas existentes (magnitud, sensibilidad del gradiente, error de reconstrucción, etc.) a menudo comprimen estos efectos en un único valor, fallando en distinguir explícitamente entre la contribución a la tarea y la recuperabilidad por parte de los pares de la misma capa.

Metodología

El artículo introduce una visión de dos ejes de la información del canal, separando la relevancia de la tarea de la reemplazabilidad local. El análisis se realiza post-hoc en redes congeladas entrenadas en CIFAR-100 (ResNet-18, VGG-16, MobileNetV2) utilizando un conjunto de calibración fijo.

Los Dos Ejes

1. Eje Local (Reemplazabilidad):

   • Captura de Entrada ($I_X$): Un proxy para la fuerza con la que un canal captura la variación de entrada, calculado mediante el cociente de Rayleigh del vector de pesos y la covarianza de entrada ($w_i^\top \Sigma_X w_i$).
   • Superposición de Pares ($\bar{R}_X$): Una medida de cuánto se superpone la señal de un canal con los pares de la misma capa, derivada de la matriz de correlación por pares de las activaciones de los canales.
   • Definición: Un canal con alta $I_X$ y baja $\bar{R}_X$ porta una estructura local distintiva y es más difícil de reemplazar.

2. Eje Objetivo (Relevancia):

   • Información Mutua de la Tarea ($I(T; Y)$): Mide la información que un canal posee sobre el margen de la tarea (margen de logit de la verdad fundamental).
   • Redundancia/Exceso del Objetivo: Utiliza proxies de Descomposición de Información Parcial (PID) Gaussiana. El artículo señala que, bajo la definición escalable de MMI Gaussiana (Información Mutua Máxima), la redundancia del objetivo colapsa en la relevancia de la tarea de un solo elemento, haciéndola distinta de la superposición local de pares.

Protocolo Experimental

• Análisis Estructural: Medición de correlaciones y agrupamientos (Índice Rand Ajustado) entre los dos ejes a través de capas y semillas.
• Trayectorias de Entrenamiento: Seguimiento de la alineación de los ejes desde la inicialización aleatoria hasta la convergencia para determinar si la separación se aprende.
• Análisis de Gradientes: Derivación de un modelo lineal gaussiano para explicar el desacoplamiento geométrico de los dos ejes mediante direcciones de gradiente residualizadas.
• Pruebas de Intervención:
  • Lesiones: Eliminación de canales individuales sin ajuste fino para medir el aumento inmediato de la pérdida.
  • Poda: Poda estructurada con recuperación ajustada a FLOPs (ajuste fino) para evaluar la retención de precisión.
  • Reemplazo de Pares: Reemplazo de la activación de un canal eliminado con una reconstrucción lineal de los mejores pares para probar la recuperabilidad.

Contribuciones Clave

1. Separación Estructural de Ejes

El estudio demuestra que en redes entrenadas, los ejes local y objetivo están débilmente alineados (Spearman $\rho \approx 0.01$) y definen diferentes agrupaciones de canales (bajo Índice Rand Ajustado). Esto contrasta con la inicialización aleatoria, donde los ejes están fuertemente acoplados ($\rho \approx 0.7$). La separación es un fenómeno aprendido, no un artefacto de la inicialización.

2. Mecanismo de Desacoplamiento

Los autores proponen un mecanismo de residualización gaussiana. En un modelo lineal-gaussiano, el gradiente para la captura de entrada sigue la dirección de la potencia de señal proyectada, mientras que el gradiente para la relevancia de la tarea sigue una dirección de covarianza de tarea residualizada. Cuando la dirección de la covarianza de la tarea está débilmente alineada con las direcciones dominantes de potencia de entrada, los dos gradientes se vuelven casi ortogonales, explicando el desacoplamiento observado durante el entrenamiento.

3. Predictibilidad de la Poda

Bajo un protocolo de poda fijo ajustado a FLOPs, las métricas del eje local son predictores más fiables de eliminabilidad que las métricas del eje objetivo.

• Evidencia de Lesión: Dentro de bins de relevancia de tarea coincidente, la $R^2$ de reconstrucción por pares (soporte local) predice la recuperación del daño, mientras que la relevancia de la tarea y la captura de entrada no lo hacen.
• Resultados de Poda: En ResNet-18, VGG-16 y MobileNetV2, los mejores métodos del eje local superan a los mejores métodos del eje objetivo por márgenes significativos (por ejemplo, +8.0% a +10.1% de AUC).
• Dependencia de la Arquitectura: Si bien la reemplazabilidad local es generalmente superior, el artículo señala que en VGG-16, la magnitud de los pesos sigue siendo una línea base fuerte, lo que sugiere que los detalles específicos de la asignación de la arquitectura aún importan.

4. Estructura de Orden Superior

El análisis revela que la reemplazabilidad local cambia de "duplicados de un solo elemento" en las primeras capas a "cubiertas distribuidas" en capas más profundas. Por el contrario, la información del lado objetivo requiere cada vez más sinergia a nivel de tripletes en capas más profundas, lo que sugiere que las capas intermedias son más difíciles de comprimir desde el lado de la tarea debido a la información sinérgica distribuida.

Resultados

• Alineación Débil: La correlación entre la captura de entrada ($I_X$) y la relevancia de la tarea ($I(T; Y)$) cae bruscamente durante el entrenamiento, estabilizándose cerca de cero en los modelos finales.
• Divergencia de Agrupamientos: Los canales agrupados por características locales (redundancia) y características objetivo (relevancia) muestran una superposición casi aleatoria (ARI $\approx 0.02$), confirmando que identifican subconjuntos diferentes de canales.
• Rendimiento de Poda:
  • ResNet-18: Mejor método local (+8.0 pp) > Mejor método objetivo.
  • VGG-16: Mejor método local (+6.6 pp) > Mejor método objetivo, aunque la magnitud (una línea base basada en norma) sigue siendo competitiva.
  • MobileNetV2: Mejor método local (+10.1 pp) > Mejor método objetivo.
  • Pruebas de Estrés: La jerarquía local-sobre-objetivo se mantiene en CIFAR-10, Tiny-ImageNet, ImageNet-100 y un piloto de ConvNeXt-T, aunque el grado de separación de ejes varía.
• Ortogonalidad de Gradientes: Las mediciones empíricas confirman que la dirección de actualización de SGD se vuelve casi ortogonal a ambos gradientes de información después del entrenamiento temprano, apoyando la hipótesis de residualización.

Significado y Afirmaciones

El artículo afirma una distinción a nivel de eje en lugar de una clasificación universal de puntuaciones de poda.

• Insight Central: La poda es fundamentalmente una intervención de reemplazabilidad. Pregunta si un canal sigue siendo necesario cuando el resto de la capa está disponible. La relevancia de la tarea explica qué representa un canal, pero la reemplazabilidad local explica si la red lo necesita.
• Limitaciones: La evidencia más sólida se deriva de CNNs en CIFAR-100. Si bien las pruebas de estrés en ImageNet y ConvNeXt apoyan la tendencia, los autores no afirman una aplicabilidad universal en todas las arquitecturas (por ejemplo, Transformers) sin una validación adicional.
• Implicación Práctica: Los hallazgos sugieren que las heurísticas de poda deben tener en cuenta explícitamente el soporte local de pares. Las puntuaciones basadas en normas (como la magnitud) pueden seguir siendo competitivas en arquitecturas específicas (como VGG-16) donde actúan como un proxy para la captura de entrada local, pero fallan en capturar la superposición de pares, que es el factor crítico para la eliminabilidad.

El trabajo replantea la importancia del canal no como un único escalar, sino como una propiedad bidimensional, ofreciendo un diagnóstico más matizado para comprender la redundancia de la red y guiar estrategias de poda.