💬 NLP

High-Layer Attention Pruning with Rescaling

Este artículo presenta la Poda de Atención de Capas Altas con Reescalado (HARP, por sus siglas en inglés), un novedoso método libre de entrenamiento que elimina estratégicamente cabezales de atención de las capas superiores de los modelos de lenguaje de gran tamaño y aplica un reescalado adaptativo para preservar la magnitud de la representación, logrando así un rendimiento superior en diversas tareas de generación y discriminación en comparación con las técnicas de poda estructurada existentes.

Autores originales: Songtao Liu, Peng Liu

Publicado 2026-08-11

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Songtao Liu, Peng Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un cerebro de robot súper inteligente, un "Modelo de Lenguaje Extenso" (LLM, por sus siglas en inglés), que puede escribir historias, resolver problemas matemáticos y charlar como un humano. Estos cerebros son increíblemente poderosos, pero también son masivos —como intentar cargar una biblioteca en tu mochila—. Debido a que son tan grandes, son lentos para pensar y ocupan mucho espacio, lo que los hace difíciles de usar en teléfonos o computadoras portátiles comunes. Para solucionar esto, los científicos utilizan una técnica llamada "poda" (pruning). Piensa en la poda como recortar un bonsái: cortas cuidadosamente las ramas que no están haciendo mucho trabajo para que el árbol se mantenga sano pero sea más pequeño y rápido.

Normalmente, cuando la gente poda estos cerebros de robot, observan los "cabezales de atención" (attention heads)—las pequeñas partes del cerebro que ayudan al modelo a decidir qué palabras son importantes entre sí. Imagina estos cabezales como un equipo de detectives en una habitación, cada uno observando una pista diferente. La forma antigua de podar era simplemente elegir a unos pocos detectives de cada una de las habitaciones y echarlos, con la esperanza de que el equipo siga funcionando. Pero este artículo sugiere que esa no es la forma más inteligente de hacerlo. Resulta que en las habitaciones más altas del edificio (las capas superiores del modelo), los detectives suelen estar simplemente repitiendo lo que los de abajo ya dijeron. No están aportando mucho valor nuevo. Los autores de este artículo, Songtao Liu y Peng Liu de la Universidad Estatal de Pensilvania, querían ver si podíamos obtener un mejor resultado si solo podábamos a los detectives de los pisos superiores y dejábamos solos a los que trabajan duro en los pisos inferiores. También idearon un truco ingenioso para asegurar que el cerebro no se confunda cuando eliminamos a esos detectives de los pisos superiores.

La Gran Idea: Cortar desde Arriba, No desde el Medio

Los investigadores propusieron un nuevo método llamado HARP (Poda de Atención Reescalada de Capas Altas). Su principal descubrimiento es que las "capas superiores" de un Modelo de Lenguaje Extenso son en realidad menos importantes que las inferiores. Para entender por qué, imagina una carrera de relevos. Los corredores al inicio (las capas inferiores) están haciendo el trabajo pesado, descifrando la forma básica de las palabras y las oraciones. A medida que el testigo avanza por la pista hacia las capas superiores, los corredores solo lo están pasando. Para cuando el testigo llega a la parte más alta de la pista, los corredores están tan sincronizados que todos están haciendo exactamente lo mismo. Si eliminas a un corredor de la parte superior de la pista, la carrera no cambia realmente porque solo estaba copiando a la persona de abajo de todos modos.

Los autores descubrieron que si podas (cortas) los cabezales de atención en estas capas superiores, el modelo en realidad funciona mejor que si los cortaras de forma aleatoria en todas partes. Probaron esto en varios modelos famosos como LLaMA3.1-8B, Mistral-7B, Qwen2-7B y Gemma2-9B. En sus experimentos, eliminaron cabezales de atención específicos de las 8 capas más altas de los modelos.

El Truco de la "Perilla de Volumen"

Hubo un inconveniente, sin embargo. Cuando eliminas a esos detectives de la capa superior, la señal que el cerebro envía sale un poco más silenciosa o más fuerte de lo que era antes. Es como si eliminaras un altavoz de un sistema estéreo; la música podría seguir sonando, pero el volumen estaría mal y el sonido podría distorsionarse. Para solucionar esto, los autores introdujeron un "parámetro de reescalado". Piensa en esto como una perilla de volumen o un interruptor de regulación. Después de cortar las capas superiores, giraron esta perilla para ajustar el tamaño de las señales, asegurándose de que las partes restantes del cerebro pudieran escucharse claramente entre sí. No adivinaron la configuración correcta; utilizaron un método de búsqueda inteligente para encontrar el nivel de volumen perfecto para cada capa, probando diferentes números hasta que el modelo sonó lo mejor posible.

Lo que Encontraron

Los resultados fueron bastante impresionantes. Cuando probaron su método HARP en 27 tareas diferentes—que iban desde responder preguntas de trivia hasta resolver problemas matemáticos complejos y resumir documentos largos—, superó consistentemente a los otros métodos populares de poda.

Tareas de Generación: Aquí es donde el modelo tiene que escribir cosas nuevas, como resolver un problema matemático paso a paso. Aquí, HARP brilló más. Por ejemplo, en el modelo LLaMA3.1-8B, HARP obtuvo una puntuación promedio del 31.10% en tareas de generación, mientras que el siguiente mejor método solo obtuvo un 20.58%. ¡Es un salto enorme!
Contexto Largo: El artículo también analizó qué tan bien manejaban los modelos historias o documentos muy largos (hasta 65,536 tokens). Debido a que el mecanismo de atención es la parte que se vuelve más lenta con textos largos, cortar las capas superiores hizo que el modelo fuera significكamente más rápido. Encontraron que para una secuencia de 65,536 tokens, su modelo podado era un 16.7% más rápido que el modelo original no podado, manteniendo al mismo tiempo la calidad alta.
Tareas Discriminativas: Estas son tareas donde el modelo simplemente elige la respuesta correcta de una lista (como un examen de opción múltiple). Aquí, la mejora fue menor pero seguía siendo positiva. HARP funcionó tan bien como o mejor que los otros métodos, demostrando que cortar las capas superiores no rompió la capacidad del modelo para comprender hechos.

Por Qué Esto Importa

Los autores sugieren que este método es un cambio de juego para hacer que la IA sea más rápida y barata de ejecutar sin necesidad de reentrenar todo el modelo desde cero. Al darse cuenta de que los pisos superiores del edificio de la IA son los más "redundantes" (los que hacen menos trabajo único), pueden recortar la grasa sin dañar el músculo. El truco de "reescalado" asegura que el modelo no se maree cuando se eliminan esas partes.

En resumen, el artículo argumenta que no debemos tratar todas las partes de un cerebro de IA de la misma manera. Al igual que un rascacielos, los pisos superiores pueden ser menos críticos para la estructura que los cimientos. Al recortar cuidadosamente la parte superior y ajustar el volumen, podemos hacer que estos cerebros de IA gigantes sean más pequeños, más rápidos y estén listos para el uso diario. El código para este método está disponible para que cualquiera lo pruebe, y los autores esperan que ayude a que la IA de contexto largo (como leer libros enteros en segundos) sea mucho más práctica para el mundo real.

Resumen Técnico: Poda de Atención de Capas Altas con Reescalado (HARP)

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) logran un rendimiento de vanguardia, pero sufren de alta latencia de inferencia y costos de memoria, particularmente en escenarios de contexto largo. Aunque la poda estructurada ofrece una solución sin entrenamiento para reducir parámetros, los métodos existentes suelen emplear métricas heurísticas que eliminan indiscriminadamente cabezales de atención en todas las capas de la red. Estos enfoques no tienen en cuenta la redundancia posicional de los cabezales de atención dentro de la arquitectura. Específicamente, los métodos actuales no distinguen si los cabezales de atención en las capas inferiores (que procesan representaciones de tokens diversas) son más críticos que aquellos en las capas superiores (donde las representaciones pueden haberse vuelto altamente alineadas). Además, eliminar cabezales de atención altera la magnitud de las representaciones de los tokens porque el paso de agregación (el promedio ponderado) se omite, lo que potencialmente desestabiliza la escala de la salida del modelo.

Metodología

Los autores proponen HARP (High-layer Attention Rescaled Pruning), un algoritmo de poda estructurada sin entrenamiento diseñado para abordar estos problemas mediante dos mecanismos centrales:

1. Poda de Atención de Capas Altas

HARP opera bajo la premisa teórica y empírica de que los cabezales de atención en las capas superiores de los LLMs son menos importantes que los de las capas inferiores.

Base Teórica: A medida que los tokens se propagan a través de la red, sus representaciones ocultas tienden a volverse cada vez más similares (sobre-suavizado o over-smoothing). Cuando la similitud de coseno promedio entre pares de tokens se acerca a 1, las consultas (queries) y las claves (keys) se vuelven casi paralelas. Consecuentemente, los pesos de atención softmax se vuelven uniformes, causando que el cabezal de atención se degrade en un simple operador de promedio que no puede distinguir entre tokens.
Base Empírica: Métricas como las puntuaciones de Importancia de Bloque (BI) indican que los parámetros en las capas inferiores generalmente tienen un mayor impacto en el rendimiento del modelo que los parámetros en las capas superiores.
Implementación: HARP poda selectivamente los parámetros de Consulta ( $Q$ ) y Clave ( $K$ ) de los cabezales de atención en las capas más altas del modelo. Al eliminar $Q$ y $K$ , el mecanismo de auto-atención se evita efectivamente para estas capas. La capa entonces solo aplica las proyecciones de Valor ( $V$ ) y Salida ( $O$ ), reduciendo la complejidad computacional de $O(N^2d)$ a $O(Nd)$ para las capas podadas.

2. Reescalado Adaptativo

Podar el paso de agregación de la atención altera la escala (magnitud) de las representaciones de los estados ocultos, ya que la operación de promedio ponderado es eliminada.

Problema: Sin el paso de agregación, la norma de Frobenius de los estados ocultos cambia, lo que potencialmente conduce a una degradación del rendimiento.
Solución: HARP introduce un parámetro de reescalado no diferenciable, $\alpha$ , en la conexión residual de las capas podadas. La salida se formula como $H = H + \alpha H W_V W_O$ .
Optimización: Dado que $\alpha$ es un hiperparámetro no diferenciable en lugar de un parámetro entrenable, los autores emplean una estrategia de búsqueda codiciosa (greedy) de arriba hacia abajo. Comenzando desde la capa podada más alta, buscan el valor óptimo de $\alpha$ (de un conjunto discreto $\{0, 0.1, \dots, 1.0\}$ ) minimizando la Perplejidad (PPL) en un corpus de reserva. Este proceso se repite capa por capa hacia abajo en la red.

Contribuciones Clave

Estrategia de Poda Novedosa: La introducción de HARP, que apunta específicamente a los cabezales de atención en las capas superiores de los LLMs, basándose en la observación de que estos cabezales son menos informativos debido al sobre-suavizado de la representación.
Mecanismo de Reescalado: La propuesta de un parámetro de reescalado adaptativo para calibrar las magnitudes de las representaciones de los tokens post-poda, contrarrestando el cambio de escala causado por omitir el paso de agregación de la atención.
Evaluación Exhaustiva: Experimentos extensos a través de cuatro arquitecturas de LLM diversas (LLaMA3.1-8B, Mistral-7B-v0.3, Qwen2-7B, Gemma2-9B) y 27 tareas de seguimiento, cubriendo tanto benchmarks de generación como discriminativos.
Ganancias de Eficiencia: Demostración de mejoras significativas en la velocidad de inferencia, particularmente en tareas de contexto largo, al reducir la complejidad cuadrática del mecanismo de atención en las capas podadas.

Resultados Experimentales

Los autores evaluaron HARP contra líneas base de vanguardia incluyendo Magnitude Pruning (Mag-sp), LLM-Pruner, FLAP y Wanda.

Tareas de Generación: HARP superó consistentemente a todas las líneas base. En LLaMA3.1-8B, HARP logró un puntaje promedio del 31.10% en tareas de generación (TriviaQA, NaturalQuestions, GSM8K, MATH-hard, BBH), superando significativamente a FLAP (15.05%) y Wanda-sp (12.61%). La mejora fue particularmente notable en tareas que requieren respuestas largas (por ejemplo, GSM8K), donde la propagación de errores es un desafío importante para los modelos podados.
Tareas Discriminativas: HARP logró el mayor rendimiento promedio en LLaMA3.1-8B, Mistral-7B-v0.3 y Qwen2-7B, y se desempeñó a la par con la mejor línea base en Gemma2-9B.
Modelado de Contexto Largo: En el benchmark LongBench, HARP demostró una robustez superior en tareas de preguntas y respuestas multi-documento y resumen, preservando mejor las dependencias de largo alcance que otros métodos.
Estudios de Ablación:
- Selección de Capas: Podar las 8 capas superiores (Top-8) produjo resultados significativamente mejores que podar las 8 capas inferiores (Bottom-8) o usar métricas basadas en Hessian/Similitud para seleccionar capas.
- Reescalado: La inclusión del parámetro $\alpha$ buscado resultó en ganancias de rendimiento sustanciales, particularmente en tareas de generación, confirmando la necesidad de la calibración de magnitud.
Eficiencia: Para una secuencia de 65,536 tokens, HARP logró una aceleración del 16.7% en el tiempo de inferencia con solo una reducción del 3.3% en los parámetros, resaltando la eficiencia de apuntar a los cabezales de atención en escenarios de contexto largo.

Significado y Reivindicaciones

El artículo afirma que HARP proporciona un método práctico y sin entrenamiento para comprimir LLMs sin requerir cambios arquitectónicos o reentrenamiento desde cero. Al apuntar estratégicamente a la redundancia en las capas superiores y corregir los cambios de escala resultantes, HARP facilita el despliegue de LLMs en entornos con recursos limitados y permite un servicio más rápido para aplicaciones interactivas. Los autores enfatizan que su enfoque hace que el razonamiento de contexto largo sea más asequible en sistemas del mundo real.

El estudio reconoce limitaciones, señalando que se enfoca principalmente en la poda de cabezales de atención en las capas superiores, dejando otros componentes menos explorados. Se sugiere como trabajo futuro extender HARP a modelos más grandes y multimodales, así como combinarlo con técnicas de cuantización o compresión de KV-cache.