💻 computer science

F-WANDA: Fisher-Reweighted Post-Training Pruning for Sustainable Deployment of Large Language Models

F-WANDA es un método de poda post-entrenamiento de un solo paso y eficiente en energía que mejora a WANDA al reasignar los presupuestos de retención de neuronas basándose en la información de Fisher empírica, logrando un rendimiento superior en modelos de lenguaje con costos computacionales significativamente menores que SPARSEGPT.

Autores originales: Himanshu Mishra (University of British Columbia)

Publicado 2026-08-04

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Himanshu Mishra (University of British Columbia)

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot gigante e increíblemente inteligente que puede escribir historias, resolver problemas matemáticos y charlar como un humano. Este robot es un "Modelo de Lenguaje Extenso" (LLM). Pero hay un inconveniente: este robot es enorme. Es tan grande que ejecutarlo requiere computadoras masivas y mucha electricidad, algo así como intentar alimentar una ciudad con una sola batería. Los científicos siempre están buscando formas de encoger estos robots para que puedan funcionar en dispositivos más pequeños sin perder su inteligencia.

Una forma popular de encogerlos es la "poda" (pruning). Piensa en el cerebro del robot como una enorme biblioteca de conexiones entre neuronas. La poda es como revisar esa biblioteca y tirar los libros que parecen menos importantes. El objetivo es mantener la biblioteca lo suficientemente pequeña como para que quepa en una mochila, pero aún lo suficientemente inteligente como para responder preguntas. Sin embargo, hay un equilibrio delicado: si tiras demasiados libros "importantes" por accidente, el robot empieza a cometer errores o a sonar robótico. Si intentas ser demasiado cuidadoso con cuáles libros conservar, el proceso de clasificación tarda una eternidad y consume toda tu energía. Este artículo aborda exactamente ese problema: cómo clasificar los libros de forma rápida, barata y sin perder la genialidad del robot.

El Problema: El error de "Talla Única"

Los investigadores comenzaron observando un método popular llamado WANDA. Imagina que WANDA es un bibliotecario que decide qué libros tirar. WANDA observa dos cosas: qué tan "fuerte" es un libro (su peso) y con qué frecuencia la gente lo lee (la activación de entrada). Si un libro es silencioso y rara vez se lee, WANDA lo desecha.

El problema es que WANDA aplica un enfoque uniforme. Trata cada estante de la biblioteca exactamente igual. Decide: "Bien, tiraré el 50% de los libros de cada estante". Pero aquí está el problema: algunos estantes están llenos de los datos más críticos del robot (como "París es la capital de Francia"), mientras que otros están llenos de cosas aburridas y repetitivas. Al tirar el 50% de los libros del estante de "París" solo por ser un estante, WANDA borra accidentalmente el conocimiento del robot.

Otro método, llamado SPARSEGPT, intenta ser súper cuidadoso. Observa cada libro, calcula exactamente cuánto le dolería al cerebro del robot si se eliminara y luego edita cuidadosamente los libros restantes para reparar el daño. Esto funciona de maravia para mantener la inteligencia del robot, pero es como contratar a un equipo de doctores en PhD para organizar la biblioteca. Requiere una cantidad enorme de tiempo y energía, tanto que a menudo no vale la pena el esfuerzo.

La Solución: F-WANDA (El Bibliotecario Inteligente)

El autor de este artículo introdujo F-WANDA, una mejora ingeniosa al enfoque estándar. Se dieron cuenta de que, en lugar de solo mirar qué tan fuerte es un libro, también deberían preguntar: "¿Cuánto le importa al cerebro del robot este estante específico?".

Para averiguar esto, F-WANDA realiza un chequeo rápido adicional. Hace pasar el cerebro del robot por una pequeña prueba (un "paso hacia atrás" o backward pass) para ver qué estantes están realmente impulsando las respuestas del robot. Si un estante es crítico para obtener la respuesta correcta, el cerebro del robot mostrará una señal fuerte (llamada información de Fisher). Si un estante es solo ruido, la señal es débil.

Aquí está el truque mágico: F-WANDA usa esta señal para cambiar las reglas.

En el estante de "París" (señal alta): El robot se preocupa mucho. F-WANDA dice: "¡No tires el 50% de estos libros! Solo tira el 20%. Necesitamos conservar la mayoría".
En el estante "Aburrido" (señal baja): Al robot no le importa. F-WANDA dice: "Adelante, tira el 80% de estos libros. No los necesitamos".

De esta manera, el robot mantiene sus datos más importantes a salvo mientras se vuelve mucho más pequeño. ¿Y lo mejor de todo? F-WANDA no necesita reentrenar al robot ni actualizar ningún peso. Simplemente realiza un chequeo rápido y luego comienza la poda.

Lo que Encontraron

El equipo probó esto en LLAMA-2, una familia famosa de modelos de lenguaje extensos (específicamente las versiones de 7 mil millones y 13 mil millones de parámetros). Querían ver si F-WANDA podía superar a la competencia.

Inteligencia: Cuando redujeron los modelos al 50% de dispersión no estructurada (es decir, se eliminó la mitad de las conexiones), F-WANDA mantuvo al robot mucho más inteligente que el WANDA original. En una prueba llamada MMLU (que mide el conocimiento general), F-WANDA mejoró la puntuación en 1.6 puntos porcentuales en el modelo de 7B y en 1.4 puntos porcentuales en el de 13B en comparación con WANDA. Incluso superó al método supercuidadoso de SPARSEGPT.
Fluidez: El robot seguía sonando natural. En una prueba llamada WikiText-2, F-WANDA obtuvo una puntuación de perplejidad de 6.85 para el modelo de 7B, lo cual es casi idéntico al WANDA original. Esto significa que el robot no empezó a sonar robótico o confundido.
Energía y Velocidad: Aquí es donde F-WANDA realmente brilla. El método supercuidadoso de SPARSEGPT tomó mucho tiempo y usó mucha energía para podar el modelo. F-WANDA fue mucho más rápido y barato. De hecho, F-WADA utilizó solo un tercio de la energía y el tiempo que utilizó SPARSEGPT. Tardó unos 12 minutos en podar el modelo de 7B en una potente GPU H100, usando 4.3 kJ de energía, mientras que SPARSEGPT tardó 35 minutos y 12.6 kJ.

Los Compromisos y Límites

El autor es cuidadoso al señalar que F-WANDA no es una varita mágica para todas las situaciones.

Reglas de Hardware: Si el chip de la computadora requiere un patrón estrico de mantener y eliminar conexiones (como mantener exactamente 2 de cada 4 conexiones en un bloque), F-WANDA no puede hacer su presupuesto inteligente. En esos casos específicos, actúa como el WANDA original.
Memoria: Debido a que F-WANDA realiza ese chequeo extra, necesita un poco más de memoria de computadora (aproximadamente el doble de lo que necesita WANDA) mientras trabaja. Para modelos muy enormes (como los de 70 mil millones de parámetros), esto podría requerir trucos especiales para caber en la memoria.
Generalización: Solo probaron esto en la familia LLAMA-2. Aún no están seguros de si funciona exactamente igual en otros tipos de cerebros de robot (como LLaMA-3 o Mistral), aunque sospechan que lo hará.

Por Qué Esto Importa

La gran conclusión es que F-WANDA se encuentra en la "frontera de Pareto". Esa es una forma elegante de decir que es el mejor trato posible que puedes obtener: obtienes la mayor calidad (el robot más inteligente) por el menor costo (menos energía y tiempo).

Simplemente añadiendo un chequeo rápido para ver qué partes del cerebro están trabajando duro, los investigadores lograron ahorrar una cantidad masiva de energía mientras hacían al robot más inteligente. Es un recordatorio de que, a veces, no necesitas reconstruir toda la biblioteca para mejorarla; solo necesitas ser más inteligente sobre qué libros tirar. Esto hace que sea mucho más fácil y barato ejecutar estos poderosos modelos de IA en el mundo real, ayudando a que la IA sea más sostenible para todos.

Resumen Técnico: F-WANDA

Planteamiento del Problema
El despliegue de Modelos de Lenguaje de Gran Escala (LLMs) está cada vez más limitado por los costos de cómputo y energía en el lado de la inferencia. Si bien la poda post-entrenamiento de un solo paso ofrece una estrategia de compresión frugal en energía que evita el reentrenamiento o el uso de datos etiquetados, los métodos existentes enfrentan un compromiso entre calidad y costo computacional.

WANDA (Sun et al., 2024) es altamente eficiente, requiriendo solo una pasada hacia adelante (forward pass), pero asigna el presupuesto de dispersión de manera uniforme a través de las neuronas de salida. Esta uniformidad no tiene en cuenta el hecho de que ciertas neuronas portan un conocimiento factual desproporcionado, lo que conduce a un rendimiento subóptimo en tareas intensivas en conocimiento.
SPARSEGPT (Frantar y Alistarh, 2023) logra una mayor calidad realizando un barrido de columnas al estilo de Optimal Brain Surgeon con inversión de la Hessiana y actualizaciones de pesos. Sin embargo, este enfoque es un orden de magnitud más costoso en términos de cómputo y energía, y es delicado de implementar.

El cuello de botella central identificado es la incapacidad de WANDA para distinguir entre neuronas "portadoras de conocimiento" (que impulsan consistentemente la pérdida) y neuronas "confiadas" (con gradientes cercanos a cero) al distribuir el presupuesto de poda.

Metodología: F-WANDA
F-WANDA introduce una modificación directa (drop-in modification) para WANDA que reasigna el presupuesto de dispersión por fila basándose en la información de Fisher empírica de las pre-activaciones, sin actualizar ningún peso.

Recolección de la Señal de Fisher: El método realiza una única pasada adicional hacia atrás (backward pass) sobre el mismo corpus de calibración utilizado por WANDA. Para cada neurón de salida $i$ en una capa, calcula el escalar de Fisher empírico $\bar{\omega}_i$ , definido como la media del cuadrado del gradiente de la pérdida con respecto a la pre-activación:
$\bar{\omega}_i = \frac{1}{N} \sum_{t=1}^{N} \left( \frac{\partial L_t}{\partial y_{t,i}} \right)^2$
Reasignación del Presupuesto: En lugar de usar la señal de Fisher para reponderar la puntuación de saliencia directamente (lo que sería degenerado bajo la selección top- $k$ $k$ por fila de WANDA), F-WANDA utiliza $\bar{\omega}_i$ $\overset{ω}{ˉ}_{i}$ para determinar el número de pesos a mantener ( $k_i$ $k_{i}$ ) para cada fila $i$ $i$ .
- Las neuronas con valores de Fisher altos (sensibles a la pérdida) reciben un presupuesto mayor.
- Las neuronas con valores de Fisher bajos (saturadas) se podan de forma más agresiva.
- La asignación está restringida por el objetivo global de dispersión y se impone mediante un algoritmo de llenado de agua (water-filling) con redondeo de resto mayor para asegurar conteos enteros exactos.
Ejecución de la Poda: Para cada fila, el algoritmo retiene los $k_i$ pesos superiores basados en la puntuación de saliencia original de WANDA ( $|W_{ij}| \cdot \|X_j\|^2$ ) y pone en cero el resto.
Eficiencia Computacional: El método requiere una pasada hacia adelante y una pasada hacia atrás sobre el conjunto de calibración (128 secuencias de 2048 tokens). Evita la inversión de la Hessiana por capa y las actualizaciones de pesos, lo que resulta en un costo asintótico de $O(N \cdot |\theta|)$ , significativamente menor que el de SPARSEGPT de $O(\sum d_{in}^3)$ .

Contribuciones Clave

Innovación Algorítmica: Una modificación de WANDA que utiliza la información de Fisher empírica para reasignar el presupuesto de dispersión por fila, mejorando la preservación de las neuronas intensivas en conocimiento sin actualizaciones de pesos ni datos adicionales.
Implementación Eficiente: Un asignador de presupuesto exacto mediante water-filling que preserva el objetivo de dispersión a nivel de capa mientras acomoda la señal de Fisher.
Contabilidad de Sostenibilidad: Una evaluación rigurosa de los costos de poda (tiempo de ejecución, memoria GPU pico y energía en kJ), demostrando que F-WANDA se sitúa en la frontera de Pareto entre calidad y energía de poda.
Ganancias de Rendimiento: Evidencia empírica que muestra mejoras en benchmarks pesados en conocimiento manteniendo la fluidez.

Resultados Experimentales
Evaluado en LLAMA-2-7B y LLAMA-2-13B con un 50% de dispersión no estructurada:

Calidad: F-WANDA logra la menor perplejidad en WikiText-2 entre los métodos de poda (6.85 en 7B, 5.93 en 13B). Crucialmente, mejora la precisión de MMLU en 5-shot en +1.6 puntos porcentuales (pp) en el modelo 7B y +1.4 pp en el 13B en comparación con WANDA. También supera a SPARSEGPT por +1.1 pp en MMLU (7B).
Eficiencia: F-WANDA incurre en solo un tercio del tiempo de ejecución de la poda y el costo energético de SPARSEGPT. Aunque requiere aproximadamente 2.4× el tiempo de poda de WANDA (debido a la pasada hacia atrás), sigue siendo significativamente más barato que SPARSEGPT.
Inferencia: La energía por token en el tiempo de inferencia es idéntica en todos los métodos con la misma dispersión, ya que la densidad de pesos resultante es la misma; los ahorros se realizan enteramente en el tiempo de compresión.
Ablaciones: El método es robusto al tamaño del conjunto de calibración (estable por encima de $N=128$ ). Reemplazar la Fisher empírica con el cuadrado de la media del gradiente colapsa el rendimiento a los niveles de WANDA, confirmando la necesidad de la señal de varianza de la Fisher.

Significancia y Reivindicaciones
El artículo afirma que F-WANDA resuelve el compromiso entre la calidad de la poda y el costo. Al aprovechar una sola pasada hacia atrás para identificar neuronas sensibles a la pérdida, convierte el presupuesto uniforme de WANDA en una asignación informada por la Fisher. Esto permite:

Retención de Conocimiento Superior: Ganancias significativas en MMLU sin ajuste fino (fine-tuning).
Compresión Sostenible: Un proceso de poda que es sustancialmente más eficiente energéticamente que los métodos basados en la Hessiana como SPARSEGPT, situando al método en la frontera de Pareto para el despliegue sostenible de LLMs.
Claridad Metodológica: El artículo destaca una distinción específica en cómo debe aplicarse la información de Fisher: como una señal de presupuesto en lugar de un modificador de saliencia a nivel de peso, lo que hace que la combinación con WANDA sea tratable en una sola pasada.

El autor señala limitaciones, específicamente que el método se reduce a WANDA estándar bajo una dispersión estricta fijada por hardware N:M (por ejemplo, 2:4) porque las restricciones de densidad por bloque impiden la reasignación del presupuesto por fila. Además, la evaluación se limita actualmente a la familia LLAMA-2, y la generalizabilidad a otras arquitecturas o funciones de activación sigue siendo una pregunta abierta.

El Problema: El error de "Talla Única"

La Solución: F-WANDA (El Bibliotecario Inteligente)

Lo que Encontraron

Los Compromisos y Límites

Por Qué Esto Importa

Más como este