Sparse but not Simpler: A Multi-Level Interpretability Analysis of Vision Transformers

Resumen Técnico

1. Planteamiento del Problema

Existe una hipótesis común en el campo de la interpretabilidad mecánica de redes neuronales: se cree que los modelos esparsos (con menos conexiones activas) son más interpretables que los modelos densos. La intuición subyacente es que la reducción de conexiones debería generar circuitos computacionales más compactos y fáciles de rastrear, similar a lo observado en ciertos modelos de lenguaje.

Sin embargo, este trabajo cuestiona si la esparsidad estructural (la eliminación de pesos) conduce realmente a una mejora en la interpretabilidad semántica. Específicamente, se desconoce si esta relación se mantiene en Vision Transformers (ViTs), modelos que procesan imágenes naturales y poseen representaciones altamente distribuidas y complejas, a diferencia de las secuencias de tokens discretos de los modelos de lenguaje.

2. Metodología: El Marco IMPACT

Para abordar esta incertidumbre, los autores introducen IMPACT (Interpretability Multi-level Pipeline for Assessing Computational Transparency), un marco de evaluación sistemático que analiza la interpretabilidad en cuatro niveles complementarios.

• Modelos Base: Los experimentos se realizan sobre DeiT-III B/16 (un ViT supervisado de alto rendimiento) y sus variantes esparsas generadas mediante el método de poda Wanda (Weight-Adaptive Neural Network Pruning), seguido de un fine-tuning en ImageNet-1K.
• Niveles de Análisis:
  1. Nivel de Neuronas: Evalúa si la esparsidad reduce la polisemanticidad (neuronas que responden a múltiples conceptos). Se utilizan cuatro métricas:
     • Impacto de Ablación: Cuánto contribuyen las neuronas más importantes a la señal de la clase.
     • Selectividad: Capacidad de una neurona para correlacionarse con una clase específica (medido por AUROC).
     • Varianza de Clase: Consistencia de la respuesta dentro de una misma clase.
     • Entropía de Etiqueta: Medida de monosemanticidad (baja entropía indica respuesta a una sola clase).
  2. Nivel de Capa (Representaciones): Utiliza Autoencoders Esparsos (SAEs), específicamente la variante BatchTopK, para descomponer las activaciones densas en características latentes esparsas. Se evalúa la calidad de reconstrucción y la interpretabilidad de estas características latentes usando las mismas métricas que en el nivel de neuronas.
  3. Nivel de Circuito: Extrae los circuitos mínimos necesarios para la predicción de categorías individuales (100 clases de ImageNet). Se compara la estructura de estos circuitos (número de bordes, uso de nodos) y se introduce una nueva métrica: Calidad de Circuito Normalizada (NCQ), que equilibra la fidelidad (precisión) con la compresión (tamaño del circuito).
  4. Nivel de Modelo: Evalúa la fidelidad de los mapas de atribución (explicaciones de entrada) utilizando el método de atribución de Transformers de Chefer et al., medido mediante métricas de inserción y borrado (AUC).

3. Contribuciones Clave

1. Comparación Sistemática: Proporciona la primera comparación exhaustiva de la interpretabilidad entre ViTs densos y esparsos, extendiendo el análisis de circuitos esparsos (previamente limitado a modelos de lenguaje) al dominio de la visión.
2. Marco IMPACT: Presenta un pipeline de evaluación multinivel que integra métricas a nivel de neurona, capa, circuito y modelo, junto con la métrica NCQ para evaluar circuitos de manera justa.
3. Hallazgo Contraintuitivo: Demuestra empíricamente que, aunque la esparsidad reduce el tamaño estructural de los circuitos, no garantiza una mejora en la interpretabilidad semántica ni en la desentrelazación de características.

4. Resultados Principales

• Relación Esparsidad-Accuracy: Los modelos podados con Wanda mantienen una precisión cercana a la del modelo denso hasta un 70% de esparsidad. A partir de ahí, la degradación es significativa. El estudio se centra en el punto de operación del 70% de esparsidad.
• Nivel de Circuito (Reducción Estructural):
  • Los modelos esparsos (70%) producen circuitos con aproximadamente 2.5 veces menos bordes que los modelos densos.
  • Sin embargo, estos circuitos esparsos recrutan una fracción mayor de los nodos restantes (41.6% de nodos activos frente al 29% en modelos densos).
  • Interpretación: La poda no aísla módulos funcionales más simples; en su lugar, redistribuye la computación a través de más componentes sobrevivientes. La reducción de bordes es un artefacto de la arquitectura, no una simplificación intrínseca de la lógica predictiva.
• Nivel de Neuronas y Capas (SAE):
  • No se observan mejoras sistemáticas en la selectividad de neuronas, la entropía de etiquetas o la varianza de clase.
  • Las neuronas y las características de los SAE en modelos esparsos siguen siendo altamente polisemánticas, similares a las de los modelos densos. La esparsidad no reduce significativamente la superposición de representaciones.
• Nivel de Modelo (Atribución):
  • La fidelidad de la atribución muestra mejoras modestas solo en niveles de esparsidad muy bajos (10-30%), probablemente debido a un efecto de regularización leve.
  • A medida que aumenta la esparsidad (50-70%), la calidad de la atribución no mejora consistentemente y las visualizaciones cualitativas no muestran una localización espacial más clara ni una fundamentación semántica superior.

5. Significado y Conclusión

El trabajo concluye que la esparsidad estructural por sí sola no es suficiente para generar modelos de visión más interpretables.

• Redistribución vs. Simplificación: La poda elimina conexiones, pero obliga al modelo a distribuir la carga computacional a través de un número similar o mayor de unidades activas, evitando la formación de "circuitos compactos" semánticamente claros.
• Implicaciones: La búsqueda de interpretabilidad en Vision Transformers no debe depender únicamente de técnicas de compresión o poda post-hoc. Para lograr representaciones más modulares y desentrelazadas, es probable que se requieran objetivos de entrenamiento o priors arquitectónicos que fomenten explícitamente la estructura semántica, en lugar de confiar solo en la eliminación de pesos.

En resumen, el artículo desafía la noción de que "menos conexiones" equivale automáticamente a "más comprensión", demostrando que la complejidad semántica en ViTs persiste incluso cuando la estructura subyacente se vuelve altamente esparsa.