🤖 AI

Interpretability-Guided Soft Pruning of Attention Heads in Vision Transformers

Este artículo presenta SAPER, un marco de poda suave guiada por interpretabilidad que aprovecha el análisis espectral y la agrupación semántica de las cabezas de atención para reducir eficientemente el costo computacional de los Vision Transformers manteniendo una alta precisión de clasificación.

Autores originales: Kamil KsiąĊek, Piotr Suszyński, Michał Jan Włodarczyk, Jacek Tabor, Przemysław Biecek

Publicado 2026-08-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Kamil KsiąĊek, Piotr Suszyński, Michał Jan Włodarczyk, Jacek Tabor, Przemysław Biecek

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el mundo de la inteligencia artificial como una bulliciosa ciudad de alta tecnología donde las computadoras aprenden a ver el mundo. En esta ciudad, los edificios más poderosos se llaman "Vision Transformers" (Transformadores de Visión). Estos no son simples cámaras; son estructuras masivas y complejas que pueden reconocer un gato, un coche o una nube con una precisión increíble. Lo hacen dividiendo una imagen en diminutas piezas de rompecabezas y enviándolas a través de una red de "cabezales de atención". Piensa en estos cabezales como un equipo de detectives especializados, cada uno escaneando la imagen en busca de diferentes pistas. Algunos buscan bordes, otros colores y otros la forma general de un objeto.

Sin embargo, hay un inconveniente. Para hacer que estos detectives sean superinteligentes, los ingenieros los han construido dentro de rascacielos enormes y ávidos de energía. Estos edificios son tan grandes que requieren cantidades masivas de electricidad y computadoras potentes para funcionar, lo que los hace difíciles de usar en dispositivos más pequeños como teléfonos o robots. La gran pregunta que se hacen los científicos es: ¿Realmente necesitamos a cada uno de los detectives del equipo? ¿O es que algunos solo están parados por ahí, copiando el trabajo de los demás o mirando cosas que no importan? Si pudiéramos despedir a los detectives redundantes sin perder la capacidad del equipo para resolver crímenes, podríamos reducir el rascacielos a una acogedora cabaña, ahorrando energía y haciendo que estos sistemas inteligentes sean accesibles para todos.

Este es exactamente el rompecabezas que aborda un equipo de investigadores que desarrolló un nuevo método llamado SAPER (Soft Attention PrunER - Poda de Atención Suave). Se dieron cuenta de que la redundancia en estos modelos de IA no es un error; es en realidad un efecto secundario de cómo los modelos son entrenados para ser superflexibles. Debido a que los modelos son enseñados con millones de imágenes sin instrucciones específicas, construyen muchos caminos de respaldo en caso de ser necesario. Los investigadores querían encontrar una manera de identificar qué "detectives" están realizando un trabajo único e importante y cuáles solo se están repitiendo, para poder ser eliminados de forma segura.

Para resolver esto, el equipo primero inventó una nueva forma de "ver" lo que cada detective está pensando. Crearon algo llamado mapas de Laplace, que son como mapas de calor coloridos o huellas dactilares espectrales para cada cabezal de atención. En lugar de solo mirar números, estos mapas convierten la matemática compleja de cómo un cabezal se enfoca en una imagen en un patrón visual. Es un poco como escuchar a un coro y darse cuenta de que, mientras algunos cantantes están dando las mismas notas, otros están cantando melodías completamente diferentes. Al analizar estos patrones, los investigadores descubrieron que los "detectives" no están dispuestos en filas ordenadas; forman grupos funcionales. Algunos cabezales en las capas iniciales de la red actúan como cabezales "convolucionales", enfocándose en bordes y texturas simples, mientras que otros en las capas más profundas se enfocan en formas globales complejas. Sorprendentemente, descubrieron que los cabezales que hacen el mismo trabajo pueden estar dispersos por todo el edificio, no solo atrapados en un piso específico.

Armados con este entendimiento, construyeron SAPER, una herramienta inteligente que actúa como un editor gentil. En lugar de cortar partes del modelo a ciegas, SAPER utiliza un proceso de selección "suave" para decidir qué cabezales conservar y cuáles dejar ir. Es como un tamiz que filtra gradualmente los cabezales redundantes mientras mantiene los esenciales, permitiendo que el modelo aprenda cuáles son realmente necesarios. Lo probaron en enormes conjuntos de datos de imágenes como ImageNet-1K y CIFAR-100. Los resultados fueron prometedores: SAPER logró reducir significativamente el número de cabezales de atención —a veces manteniendo solo una fracción del equipo original— mientras mantenía una alta precisión en la identificación de objetos. Por ejemplo, demostraron que incluso con muy pocos cabezales, el modelo aún podía funcionar bien, especialmente cuando se utiliza una técnica llamada "destilación de conocimiento", donde el modelo más pequeño aprende del más grande y más inteligente.

El artículo sugiere que este enfoque ofrece un mejor equilibrio entre velocidad e inteligencia que los métodos anteriores. Mientras que otras técnicas intentaban cortar bloques enteros del modelo a la vez, la capacidad de SAPER para elegir y escoger cabezales individuales permitió un control mucho más fino. En sus experimentos, SAPER a menudo utilizó menos potencia de cómputo (medida en FLOPs) que los métodos competidores, logrando resultados similares o mejores. Los investigadores concluyen que, al comprender los roles específicos de estos cabezales de atención a través de sus firmas espectrales, podemos construir modelos de visión que no solo son poderosos, sino también eficientes y transparentes, allanando el camino para una IA más inteligente que quepa en nuestros bolsillos sin agotar nuestras baterías.

Resumen Técnico: Poda Suave de Cabezales de Atención Guiada por la Interpretabilidad en Vision Transformers

Declaración del Problema

Los modelos de visión fundacionales, particularmente las arquitecturas auto-supervisadas como DINOv2, han alcanzado un rendimiento notable en diversas tareas de seguimiento. Sin embargo, su éxito depende de arquitecturas masivas y sobre-parametrizadas que crean cuellos de botella computacionales y demandas de memoria significativas. El mecanismo de auto-atención de múltiples cabezales, aunque potente, contribuye a la opacidad y redundancia del modelo.

El problema central abordado es la falta de comprensión respecto a los roles funcionales específicos de los cabezales de atención individuales y la existencia de redundancias funcionales dentro de estos modelos. La reducción ciega del tamaño del modelo basándose únicamente en métricas de rendimiento a menudo no logra tener en cuenta la mecánica interna de la red. Además, a medida que estos modelos migran a dispositivos periféricos (edge devices), cada cabezal retenido se traduce directamente en latencia, uso de memoria y consumo de energía, lo que hace necesario el uso de estrategias de compresión estructuradas a nivel de cabezal que se alineen con la agenda de la "IA Verde". Los autores postulan que esta redundancia no es un defecto, sino una consecuencia emergente de entrenar representaciones de propósito general en vastos conjuntos de datos, donde se mantienen muchos caminos paralelos para asegurar la robustez ante posibles tareas de seguimiento.

Metodología

El artículo presenta SAPER (Soft Attention PrunER), un marco de poda diferenciable de extremo a extremo que une la interpretabilidad y la eficiencia. La metodología procede en tres etapas principales:

1. Análisis Espectral y Visualización (Mapas de Laplace)

Para comprender la estructura funcional de los cabezales de atención, los autores proponen un enfoque basado en la teoría de grafos. Un mapa de atención se trata como un grafo ponderado donde los tokens son vértices y los pesos de atención son aristas.

Autovectores de Laplace: El método calcula el Laplaciano normalizado del grafo de atención para cada cabezal.
Visualización: Se extraen los autovectores correspondientes al segundo, tercer y cuarto autovalores más pequeños. El autovector asociado con el segundo autovalor más pequeño (el vector de Fiedler) captura el comportamiento de partición dominante del cabezal.
Mapeo RGB: Estos tres autovectores se mapean a los canales Rojo, Verde y Azul para crear mapas de Laplace. Esta visualización revela que los cabezales de las capas iniciales suelen exhibir un comportamiento "convolucional" (respondiendo a patrones globales o bordes), mientras que los cabezales más profundos se enfocan en estructuras de nivel de objeto.

2. Agrupamiento Semántico (Semantic Clustering)

Los autores realizan un agrupamiento semántico para identificar redundancias funcionales a través de la red.

Extracción de Características: Para un conjunto de datos de imágenes, se extraen las matrices de logits de atención pre-softmax. Se analizan los vectores de probabilidad de atención espacial (desde el token CLS hacia los parches espaciales).
Matriz de Similitud: Se utiliza el valor máximo de atención a través de los parches espaciales para construir una matriz de características. Se calcula un coeficiente de correlación de Pearson entre todos los pares de cabezales para generar una matriz de similitud.
Agrupamiento: Se aplica agrupamiento espectral a esta matriz para particionar los cabezales en distintos grupos (clusters). A diferencia de trabajos previos (por ejemplo, RAPTOR) que asumen estructuras de bloques contiguos, este enfoque asigna cabezales individuales a grupos basándose únicamente en las representaciones que producen, revelando que cabezales funcionalmente análogos pueden existir en diferentes profundidades de la red.

3. Selección de Cabezales Diferenciable (LapSum Soft Top-K)

SAPER emplea un mecanismo de selección diferenciable para podar cabezales sin operaciones discretas no diferenciables.

LapSum: El marco utiliza el algoritmo LapSum, que formula una relajación suave del problema de selección discreta Top-K.
Mecanismo: Dado un vector de puntuación para los cabezales, LapSum calcula probabilidades de selección suaves utilizando la función de distribución acumulativa (CDF) de la distribución de Laplace. Un parámetro de temperatura negativa ( $\alpha$ ) controla la nitidez de la selección; a medida que $\alpha \to 0$ , la máscara suave se aproxima a una selección Top-K rígida.
Pipeline de Entrenamiento: El modelo atraviesa una fase de entrenamiento "suave" donde los cabestales Top-K son seleccionados mediante la máscara diferenciable, seguido de una fase de ajuste fino (fine-tuning) o destilación de conocimiento "rígida" utilizando solo los cabezales seleccionados.

Contribuciones Clave

Mapas de Laplace: Una novedosa técnica de visualización espectral para cabezales de atención individuales basada en el Laplaciano del grafo de atención, permitiendo la interpretación de tareas específicas de los cabezales (por ejemplo, detección de bordes frente a estructura semántica global).
Agrupamiento Semántico de Cabezales: Un método para identificar representaciones compartidas a través de la red agrupando cabezales individuales en lugar de capas completas. Esto generaliza el descubrimiento de fases representacionales en los Vision Transformers (ViTs), mostrando que la redundancia funcional existe a través de diversas profundidades, no solo dentro de bloques contiguos.
Marco SAPER: Un marco de selección de cabezales Top-K diferenciable que logra un rendimiento de clasificación competitivo con una reducción significativa de FLOPs. Ofrece mayor flexibilidad que los métodos de poda basados en bloques al permitir la selección de un número arbitrario de cabezales individuales.

Resultados Experimentales

Los autores evaluaron SAPER en ImageNet-1K y CIFAR-100 utilizando backbones DINOv2 (ViT-Small y ViT-Base).

Compromiso Precisión-Eficiencia: SAPER demuestra un compromiso altamente favorable. Por ejemplo, en ViT-S con solo 6 cabezales retenidos (de 72), SAPER logra aproximadamente un 73% de precisión de clasificación (vía destilación de conocimiento), lo cual es solo un ~8% inferior al modelo con 24 cabezales.
Comparación con RAPTOR: SAPER supera al baseline competitivo RAPTOR en términos de reducción de FLOPs. Con un número de cabezales comparable (por ejemplo, 24 cabezales), SAPER reduce los GFLOPs en aproximadamente un factor de dos comparado con RAPTOR (por ejemplo, 32.17 frente a 61.86 GFLOPs para ViT-B), a pesar de retener un mayor número de parámetros. Esta eficiencia proviene de la capacidad de SAPER para seleccionar cabezales individuales en lugar de estar restringido a los múltiplos de bloques contiguos de RAPTOR.
Robustez del Conjunto de Datos: En CIFAR-100, SAPER supera consistentemente a RAPTOR en cada presupuesto de cabezales comparable, utilizando sustancialmente menos GFLOPs.
Modos de Entrenamiento: El estudio compara el ajuste fino puro y la destilación de conocimiento. La destilación de conocimiento generalmente produjo mejores resultados, particularmente en ImageNet-1K, y los autores señalan que mantener los cabezales de atención pre-entrenados congelados durante el ajuste fino fue a menudo beneficioso.

Significado y Reivindicaciones

El artículo se posiciona como un paso hacia modelos de visión fundacionales interpretables y transparentes. Su principal significancia radica en:

Interpretabilidad Mecanicista: Proporcionar herramientas para previsualizar el comportamiento de los cabezales de atención individuales mediante visualización espectral, yendo más allá de la poda de caja negra.
Poda Flexible: Demostrar que la poda puede verse como una especialización de un modelo general en lugar de una reparación de un modelo defectuoso. Al identificar y eliminar cabezales funcionalmente redundantes, el método adapta el modelo a restricciones de eficiencia específicas sin una pérdida catastrófica de precisión.
IA Verde: Ofrecer una solución práctica para desplegar grandes modelos fundacionales en dispositivos periféricos con recursos limitados, reduciendo significativamente los costos computacionales (FLOPs) mientras se mantiene un fuerte rendimiento.

Los autores concluyen que su enfoque cierra la breancia entre la interpretabilidad y la eficiencia, validando la hipótesis de que existen cabezales funcionalmente análogos en diferentes profundidades de la red y que estos pueden ser retenidos selectivamente para optimizar el rendimiento del modelo. Se propone trabajo futuro para extender este marco al nivel de token e incluir pesos de MLP.