💬 NLP

Batch-wise Adaptive Pruning: Periodic Neuron Activation-Aware Weight Pruning for Language Reasoning Model

Este artículo propone un método de poda adaptativa por lotes y sin entrenamiento para Grandes Modelos de Razonamiento que utiliza una selección periódica top-k y un mecanismo de memoria de activación para superar la degradación de la precisión de los métodos existentes en la inferencia por lotes, logrando aceleraciones significativas mientras mantiene un alto rendimiento de razonamiento.

Autores originales: Yongmin Kim, Shota Takashiro, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo

Publicado 2026-08-17

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yongmin Kim, Shota Takashiro, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un rompecabezas realmente difícil, como un problema matemático complejo o un acertijo lógico complicado. Tienes un asistente brillante pero con mucha hambre (un Modelo de Razonamiento Grande) que puede pensar a través de los pasos para encontrar la respuesta. El problema es que este asistente es tan minucioso que escribe un diario masivo de sus pensamientos paso a paso antes de darte la respuesta final. Aunque esta "cadena de pensamiento" lo hace increíblemente inteligente, también lo hace lento y costoso de ejecutar, como intentar alimentar una supercomputadora con una sola pila AA.

Para hacer a este asistente más rápido, los científicos a menudo intentan "podarlo" (pruning)—básicamente, le dicen al asistente que ignore ciertas partes de su cerebro (neuronas) que no parece necesitar en ese momento. Piensa en ello como un chef que, mientras cocina un gran banquete, decide dejar de picar verduras para platos que aún no han sido pedidos. El problema es que, cuando intentas cocinar para una multitud a la vez (inferencia por lotes o batched inference), los métodos antiguos para decidir qué picar fallan. Utilizan una regla fija que funciona para una persona, pero que se confunde cuando se aplica a un grupo. Esto hace que el asistente olvide cómo pensar y comience a repetir tonterías. Este artículo introduce una forma nueva y más inteligente de decidir qué picar, asegurando que el asistente se mantenga ágil incluso cuando sirve a una multitud.

El Probleo: El error de "talla única"

Imagina que eres un director dirigiendo una orquesta. Si tienes solo un violinista, puedes decirle fácilmente: "Toca fuerte ahora, luego toca suave después". Pero si tienes toda una sección de violinistas tocando juntos (un lote o batch), y les das a todos exactamente la misma instrucción basada en lo que un solo violinista suele hacer, la música podría convertirse en un desastre.

Esto es exactamente lo que sucede con los modelos de IA actuales cuando intentan procesar múltiples solicitudes a la vez. Los métodos existentes para acelerar estos modelos utilizan una regla de "umbral". Es como decir: "Si la actividad de una neurona es superior a 5, mantenla; si es inferior a 5, apágala". Esto funciona bien cuando la IA está pensando sola. Pero cuando le alimentas con un lote de diferentes preguntas, los "niveles de actividad" de las neuronas se mezclan, desplazando el promedio. La regla antigua (el umbral de 5) ya no coincide con la nueva realidad. El resultado es que la IA apaga accidentalmente las neuronas equivocadas, su "cerebro" se nubla y comienza a fallar en las tareas de razonamiento. El artículo muestra que cuando intentas ejecutar estos modelos en un lote de 4 solicitudes, los mejores métodos existentes pierden casi toda su inteligencia, cayendo en precisión por márgenes enormes (a veces más de 50 puntos).

La Solución: Una estrategia "Top-K" periódica con memoria

Los autores proponen un nuevo método llamado Poda Adaptativa por Lotes (Batch-wise Adaptive Pruning). En lugar de usar una línea rígida de "aprobado/reprobado" (umbral), utilizan un enfoque más inteligente y flexible con dos trucos principales.

Primero, dejan de usar la línea fija y comienzan a usar una selección "Top-K". Imagina que tienes un grupo de 100 corredores (neuronas) y solo tienes espacio para 50 en el autobús. En lugar de decir: "Solo corre si eres más rápido de 10 segundos", simplemente dices: "Los 50 corredores más rápidos suben al autobús". Esto no importa si los corredores son generalmente rápidos o lentos hoy; siempre eliges a los mejores 50. Esto resuelve el problema de la "distribución cambiante" que rompió los métodos antiguos.

Segundo, se dieron cuenta de que las neuronas importantes no solo se activan una vez y desaparecen; tienen un ritmo. El artículo observó que durante las tareas largas de razonamiento, las neuronas más importantes tienden a "re-activarse" (despertar y trabajar) en un patrón regular, aproximadamente cada 22.8 tokens (fragmentos de texto). Para capturar este ritmo, el nuevo método actualiza su máscara de poda solo periódicamente (cada 20 pasos) en lugar de cada palabra. Esto ahorra tiempo porque la computadora no tiene que detenerse y recalcular qué neuronas mantener en cada momento diminuto.

Pero aquí está la parte más ingeniosa: añadieron una Memoria de Activación. Piensa en esto como un "resumen de momentos destacados" o una nota adhesiva. Si una neurona fue súper importante en el primer lote de pensamientos, la memoria guarda ese registro. Incluso si la neurona está tranquila durante algunos pasos, la memoria asegura que no sea expulsada del autobús solo porque tomó una pequeña siesta. De esta manera, la IA retiene las neuronas que son consistentemente importantes a lo largo del tiempo, evitando que olvide la lógica con la que comenzó.

Los Resultados: Rápido, Inteligente y Listo para la Multitud

El artículo probó este nuevo método en modelos de razonamiento potentes (específicamente DeepSeek-R1-Distill-Qwen-7B y DeepSeek-R1-Distill-Llama-8B) utilizando evaluaciones difíciles de matemáticas y ciencias. Los resultados fueron impactantes.

Al ejecutar con un tamaño de lote de 4 (procesando cuatro preguntas a la vez) y con el objetivo de reducir el tamaño del modelo en un 50%:

El antiguo mejor método (TEAL) colapsó, logrando solo un 14.3% de precisión promedio.
El nuevo método mantuvo una sólida precisión promedio del 54.0%.
Esto es una mejora masiva de 39.7 puntos porcentuales.

Además, el nuevo método hizo que los modelos fueran más rápidos. Al eliminar el trabajo innecesario, logró una aceleración de 1.40x en comparación con la ejecución del modelo completo, sin podar. El artículo señala que esta aceleración es especialmente útil cuando la computadora está ocupada (limitada por cómputo), lo cual sucede cuando estás procesando muchas solicitudes a la vez.

Qué significa esto

Los autores advierten cuidadosamente que este método es "libre de entrenamiento" (training-free), lo que significa que no requiere re-enseñar al modelo; solo ajusta cómo el modelo se ejecuta en tiempo real. También señalan que, aunque otros métodos podrían funcionar para tareas simples, fallan estrepitosamente en el razonamiento complejo cuando se procesan en lotes. Este nuevo enfoque, al utilizar una actualización periódica y una memoria de lo que es importante, mantiene agudo el razonamiento de la IA mientras la hace lo suficientemente eficiente para manejar cargas de trabajo del mundo real donde muchos usuarios hacen preguntas al mismo tiempo. Es una solución práctica que permite que estos modelos gigantes y brillantes funcionen más rápido sin perder su capacidad de pensar profundamente.

Resumen Técnico: Poda Adaptativa por Lotes para Grandes Modelos de Razonamiento

Declaración del Problema
Los Grandes Modelos de Razonamiento (LRM) logran un alto rendimiento en tareas complejas mediante la generación extendida de cadena de pensamiento (chain-of-thought), pero incurren en costos computacionales sustanciales. En entornos de producción, un alto rendimiento requiere inferencia por lotes (procesar múltiples muestras simultáneamente). Sin embargo, los métodos de poda adaptativa existentes sin entrenamiento, como TEAL y CATS, fallan significamente en este régimen.

El mecanismo de fallo central es doble:

Desplazamiento de Distribución: Los métodos existentes utilizan una máscara de poda única para todo el lote. Estos agregan las activaciones por muestra (por ejemplo, mediante la media) y aplican un umbral calibrado fuera de línea sobre distribuciones de muestra única. Esta agregación desplaza la distribución de activación, lo que provoca que el umbral ya no coincza con los datos, causando un desvío en la ratio de dispersión realizada y un colapso en la precisión del razonamiento.
Compromiso entre Estático y Dinámico: Los métodos de poda estática (patrones fijos) no pueden rastrear los patrones de activación evolutivos durante largas cadenas de razonamiento. Por el contrario, seleccionar una nueva máscara en cada paso de token es computacionalmente prohibitivo, lo que anula cualquier aceleración.

Metodología
Los autores proponen la Poda Adaptativa por Lotes, un método sin entrenamiento diseñado específicamente para la inferencia por lotes en LRM. El enfoque se basa en dos componentes principales:

Selección Top-k Periódica:
- En lugar de utilizar un umbral calibrado (que es sensible a los desplazamientos de distribución), el método emplea la selección top-k sobre puntuaciones de importancia agregadas. La selección top-k depende únicamente del orden relativo de las puntuaciones, lo que la hace robusta a los desplazamientos de distribución causados por la agregación de lotes.
- Para evitar la sobrecarga computacional de actualizar la máscara en cada paso de token, la máscara de poda se actualiza periódicamente (cada $T_{trans}$ pasos) en lugar de en cada paso de decodificación.
- Agregación por Lotes: Para un lote de $B$ muestras, las puntuaciones de importancia por muestra se agregan en un único vector utilizando un máximo elemento a elemento (en lugar de una media). Este enfoque conservador asegura que una neurona crítica para al menos una muestra mantenga una puntuación alta, evitando que sea podada debido a una baja activación en otras muestras dentro del mismo lote.
Memoria de Activación:
- Las observaciones de los patrones de activación de los LLM revelan que las neuronas importantes exhiben un re-disparo periódico durante las largas generaciones de razonamiento (por ejemplo, re-disparándose cada ~22 tokens con un ratio de re-disparo del ~76%).
- Para capturar esto, el método mantiene una memoria de activación que acumula las puntuaciones de importancia a través de las fases de actualización. La memoria se actualiza mediante un máximo elemento a elemento ( $m_n \leftarrow \max(m_{n-1}, s_n)$ ).
- Esto asegura que las neuronas identificadas como importantes en fases anteriores permanezcan como candidatas para la retención, incluso si su activación disminuye temporalmente, permitiendo que la máscara se adapte a los patrones evolutivos sin perder componentes críticos.

Flujo del Algoritmo
El método opera en tres fases durante la generación autorregresiva:

Fase de Entrada: Procesa el prompt inicial para calcular las puntuaciones de importancia iniciales.
Fase de Exploración Densa: Realiza un número determinado de pasos densos ( $T_{init}$ ) para establecer la dirección del razonamiento y recolectar estadísticas de activación específicas del contexto. La memoria se actualiza y se genera la primera máscara de poda.
Fase de Poda Adaptativa Periódica: Alterna entre computación dispersa ( $T_p$ pasos) y exploración densa ( $T_E$ pasos). Al final de cada etapa de exploración densa, la memoria de activación se actualiza y se genera una nueva máscara top-k basada en la memoria acumulada.

Contribuciones Clave

Identificación Empírica del Colapso por Lotes: El artículo es el primero en demostrar empíricamente que los métodos de poda adaptativa existentes (tanto estáticos como adaptativos) degradan severamente el rendimiento en tareas de razonamiento bajo inferencia por lotes. Específicamente, los métodos adaptativos como TEAL pierden entre 58.4 y 67.7 puntos porcentuales de precisión promedio en un tamaño de lote de 4 en comparación con los modelos densos.
Marco de Poda por Lotes Robusto: Los autores introducen un método que mantiene la precisión en entornos de lotes al reemplazar la selección basada en umbrales con la selección periódica top-k e incorporar una memoria de activación para rastrear la importancia recurrente de las neuronas.
Operación Libre de Calibración: A diferencia de los métodos que requieren calibración fuera de línea en corpus externos (por ejemplo, Wanda, TEAL), este método depende únicamente de las activaciones en tiempo de ejecución, lo que lo hace libre de calibración.

Resultados Experimentales
Los experimentos se realizaron en DeepSeek-R1-Distill-Qwen-7B y DeepSeek-R1-Distill-Llama-8B a través de cinco benchmarks de razonamiento (GSM8K, MATH500, MINERVA, AMC23, GPQA-DIAMOND).

Precisión: Con una dispersión objetivo del 50% y un tamaño de lote de 4, el método propuesto supera al estado del arte anterior (TEAL) por 39.7 puntos porcentuales en la precisión promedio en el modelo Qwen-7B (54.0% vs. 14.3%) y por 24.1 puntos en el modelo Llama-8B.
Estabilidad: A diferencia de TEAL, que muestra un alto rendimiento con un tamaño de lote de 1 pero colapsa a medida que el tamaño del lote aumenta, el método propuesto mantiene un rendimiento constante en todos los tamaños de lote (1, 4, 8, 16).
Aceleración: El método logra una aceleración de 1.40× sobre la inferencia densa con una dispersión real del 50% en el modelo Qwen-7B. La aceleración es más pronunciada en entornos de lotes porque el método reduce estructuralmente las dimensiones de la matriz de pesos, disminuyendo directamente la computación, mientras que los métodos que dependen de saltar activaciones cero se vuelven menos efectivos a medida que las cargas de trabajo pasan de estar limitadas por memoria a estar limitadas por cómputo.
Alta Dispersión: El método mantiene un fuerte rendimiento incluso en niveles de dispersión altos (por ejemplo, 71.0% de precisión con un 50% de dispersión objetivo), mientras que los baselines se degradan bruscamente más allá del 40% de dispersión.

Significancia y Reivindicaciones
El artículo afirma que su método aborda un cuello de botella crítico en el despliegue de Grandes Modelos de Razonamiento: la incompatibilidad de las técnicas de poda adaptativa existentes con la inferencia por lotes. Al resolver el problema del desplazamiento de distribución inherente a la agregación de lotes y aprovechar la naturaleza periódica del re-disparo de neuronas, el método permite una inferencia eficiente y de alto rendimiento sin el colapso de rendimiento visto en enfoques previos. Los autores enfatizan que sus ganancias son impulsadas por la selección top-k periódica y la memoria de activación, más que por la elección específica del operador de agregación (máximo vs. media), que mostró diferencias de rendimiento solo marginales.

Resumen Técnico: Poda Adaptativa por Lotes para Grandes Modelos de Razonamiento

Más como este