💻 computer science

SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs

SHIFT-LLM es un marco de post-poda libre de entrenamiento que restaura la precisión en modelos de lenguaje de gran tamaño podados en profundidad mediante la inserción de adaptadores residuales lineales ligeros calibrados vía regresión de forma cerrada para corregir los desplazamientos distribucionales causados por la eliminación de bloques Transformer.

Autores originales: Ali Bahri, Hang Li, Hongliang Li, Zhitang Chen

Publicado 2026-08-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ali Bahri, Hang Li, Hongliang Li, Zhitang Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los modelos de lenguaje extensos son los motores detrás de muchas de las herramientas de inteligencia artificial más avanzadas de la actualidad, capaces de escribir historias, resolver problemas y responder preguntas complejas. Estos sistemas están construidos a partir de capas de unidades de procesamiento digital apiladas una sobre otra, muy parecido a un edificio de varios pisos donde cada planta refina la información pasada desde la que está debajo. Cuantos más pisos tiene un edificio, más detallada y sofisticada puede ser su producción final, pero esto también hace que la estructura sea increíblemente pesosa y costosa de operar. Para muchas aplicaciones prácticas, especialmente en dispositivos con potencia o memoria limitadas, estos modelos masivos son simplemente demasiado grandes para ser utilizados. Para hacerlos más pequeños, los investigadores han desarrollado métodos para eliminar pisos enteros del edificio, un proceso conocido como poda de profundidad (depth pruning). Si bien esto logra aligerar la carga y acelerar el modelo, a menudo hace que las plantas restantes tropiecen. Debido a que las plantas eliminadas fueron diseñadas para pasar tipos específicos de información a las que están arriba, quitarlas deja a las capas superiores confundidas, recibiendo señales que ya no coinciden con lo que estaban entrenadas para esperar. Este desajuste, conocido como un cambio de distribución (distribution shift), provoca que el modelo pierda precisión y cometa errores, obligando a los desarrolladores a dedicar una cantidad significativa de tiempo y potencia de cómputo para reentrenar el modelo y corregir los errores.

Un equipo de investigadores de Huawei Noah's Ark Lab ha introduído un nuevo enfoque llamado SHIFT-LLM que resuelve este problema sin la necesidad de reentrenamiento. En lugar de intentar reconstruir los pisos faltantes o reenseñar a los restantes, su método inserta un módulo de corrección pequeño y ligero en cada punto donde se eliminó una capa. Imagine que si usted eliminara un piso de un edificio, instalaría una rampa sencilla y hecha a medida que conecte perfectamente el hueco, asegurando que las personas en los pisos superiores sigan recibiendo exactamente las mismas instrucciones que recibirían si el piso faltante todavía estuviera allí. En el mundo digital, esta rampa es un adaptador lineal que preserva el camino directo de la información mientras añade un ajuste pequeño y calculado. Este ajuste está diseñado para imitar la contribución específica que la capa eliminada habría aportado, engañando efectivamente al resto del modelo para que crea que el piso faltante aún está presente.

La brillantez de este método reside en cómo calcula ese ajuste. En lugar de ejecutar miles de horas de entrenamiento para determinar qué debería haber hecho la capa faltante, los investigadores utilizan un pequeño conjunto de datos de muestra para medir exactamente qué información se perdió. Luego, utilizan un cálculo matemático sencillo para determinar la corrección precisa necesaria para restaurar esa información perdida. Este proceso es completamente automático y no requiere optimización basada en gradientes, que es el complejo proceso iterativo de aprendizaje que normalmente se requiere para arreglar modelos rotos. Al utilizar este cálculo de forma cerrada (closed-form calculation), el equipo puede corregir el estado interno del modelo en cuestión de minutos utilizando solo unos pocos cientos de ejemplos, en lugar de días de tiempo de cómputo. El resultado es un modelo podado que conserva la velocidad y eficiencia de tener menos capas, pero funciona con una precisión casi idéntica a la del modelo masivo original.

En sus experimentos, los investigadores probaron esta técnica en cinco familias diferentes de modelos de lenguaje extensos, que van desde modelos más pequeños de 1.500 millones de parámetros hasta versiones más grandes de 14.000 millones de parámetros. Aplicaron seis métodos diferentes para decidir qué capas eliminar y evaluaron los resultados en siete bancos de pruebas (benchmarks) diseñados para probar el conocimiento general y el razonamiento. Los hallazgos fueron consistentes: los módulos de corrección recuperaron con éxito la precisión perdida durante la poda en casi todas las configuraciones. En un caso notable que involucró un modelo de 8.000 millones de parámetros, el método recuperó la asombrosa cifra de 15,7 puntos de precisión en un banco de pruebas estándar, una ganancia que típicamente requeriría un reentrenamiento extenso y costoso. Incluso cuando los modelos ya estaban siendo ajustados (fine-tuned) después de la poda, añadir este módulo de corrección proporcionó un impulso adicional, lo que sugiere que ambos enfoques funcionan bien juntos para elevar el rendimiento aún más.

Los investigadores también demostraron que estos módulos de corrección pueden comprimirse aún más para ahorrar espacio y fusionarse cuando se eliminan varias capas de forma consecutiva, asegurando que las ganancias de eficiencia de la poda no se pierdan debido a la sobrecarga del arreglo mismo. Este trabajo sugiere que el obstosáculo principal para hacer que los modelos de lenguaje extensos sean más pequeños no es solo la eliminación de partes, sino la interrupción del flujo de información entre ellas. Al enfocarse en reparar ese flujo con ajustes sencillos y dirigidos, SHIFT-LLM ofrece una forma general y eficiente de hacer que los modelos de IA potentes sean prácticos para el uso diario. El estudio confirma que, con la corrección adecuada, podemos despojar a estos cerebros digitales de las partes pesadas y redundantes sin perder su capacidad de pensar con claridad, abriendo la puerta a una inteligencia artificial más rápida, barata y accesible.

Resumen Técnico: SHIFT-LLM

Planteamiento del Problema

La poda de profundidad en Modelos de Lenguaje Extensos (LLMs) busca mejorar la eficiencia de la inferencia eliminando bloques Transformer completos. Sin embargo, este proceso introduce un problema crítico: el desplazamiento de distribución (distribution shift). Cuando se elimina un bloque intermedio, la actualización residual que este habría producido se pierde. En consecuencia, las capas descendentes reciben estados ocultos que difieren sistemáticamente de los encontrados durante el preentrenamiento. Este desplazamiento se propaga a través de la red, provocando una degradación significativa de la precisión. Si bien el ajuste fino (fine-tuning) posterior a la poda puede recuperar el rendimiento, requiere recursos computacionales sustanciales, tiempo de optimización y entrenamiento basado en gradientes, lo que limita su aplicabilidad en escenarios con restricciones de recursos.

Metodología: SHIFT-LLM

Los autores proponen SHIFT-LLM, un marco de corrección post-poda libre de entrenamiento diseñado para mitigar este desplazamiento de distribución sin computación de gradientes. El mecanismo central es el Adaptador Residual Lineal (LRA), insertado en cada sitio de poda.

1. Formulación del Adaptador Residual Lineal (LRA)

En lugar de reconstruir todo el estado oculto desde cero, el LRA preserva la vía de identidad original y añade una corrección residual afín ligera.

Estructura: Para una capa podada $\ell$ , la salida original $h^{(\ell)} = h^{(\ell-1)} + f_\ell(h^{(\ell-1)})$ se aproxima mediante $\hat{h}^{(\ell)} = h^{(\ell-1)} + g_\ell(h^{(\ell-1)})$ .
Función de Corrección: El adaptador $g_\ell(\cdot)$ se modela como una transformación afín: $g_\ell(h) = hA^{(\ell)} + \mathbf{1}(b^{(\ell)})^\top$ , donde $A^{(\ell)}$ es una matriz de pesos y $b^{(\ell)}$ es un vector de sesgo (bias).
Objetivo: El LRA aproxima específicamente la actualización residual faltante ( $\delta^{(\ell)} = f_\ell(h^{(\ell-1)})$ ) en lugar del estado oculto completo. Esto simplifica el problema de aproximación al aprovechar la estructura residual sobre la cual fue preentrenado el modelo.

2. Estimación de Forma Cerrada (Libre de Entrenamiento)

Los parámetros del LRA ( $A^{(\ell)}$ y $b^{(\ell)}$ ) se estiman sin retropropagación ni optimización iterativa:

Recolección de Datos: El modelo original no podado realiza una pasada hacia adelante (forward pass) en un pequeño conjunto de calibración mantenido aparte. Se recolectan los estados ocultos de entrada ( $H^{(\ell)}$ ) y las correspondientes actualizaciones residuales de verdad fundamental ( $\Delta^{(\ell)}$ ).
Regresión de Ridge: Los parámetros se resuelven mediante una regresión de mínimos cuadrados (regresión de ridge) de forma cerrada para minimizar el error entre las actualizaciones residuales predichas y las reales:
$X^{(\ell)*} = \left((H^{(\ell)}_{aug})^\top H^{(\ell)}_{aug} + \lambda I\right)^{-1} (H^{(\ell)}_{aug})^\top \Delta^{(\ell)}$
donde $H^{(\ell)}_{aug}$ incluye una columna de sesgo, y $\lambda$ es un coeficiente de regularización.
Eficiencia: Este proceso requiere solo una pasada hacia adelante y una resolución lineal por cada capa podada, evitando la necesidad de computación de gradientes o ajuste fino.

3. Extensiones Prácticas

Factorización de Bajo Rango: La matriz de pesos ajustada $A^{(\ell)}$ puede comprimirse mediante la Descomposición en Valores Singulares (SVD) truncada para reducir el recuento de parámetros de $d^2$ a $2dr + d$.
Fusión Exacta: Dado que los LRA definen mapeos afines, los LRA consecutivos en sitios de poda adyacentes pueden fusionarse matemáticamente en una única transformación sin error de aproximación, mejorando aún más la compresión.

Contribuciones Clave

Marco SHIFT-LLM: Un método de corrección post-poda libre de entrenamiento que aborda explícitamente el desplazamiento de la distribución del estado oculto causado por la poda de profundidad.
Adaptador Residual Lineal (LRA): Un componente novedoso que preserva la vía de identidad mientras aproxima las actualizaciones residuales faltantes mediante una corrección afín ligera, calibrada mediante regresión de forma cerrada.
Modularidad y Generalidad: El marco es agnóstico a la estrategia específica de selección de capas (por ejemplo, Influencia de Bloque, sensibilidad de Taylor, Magnitud) y puede aplicarse a diversas familias de modelos.
Complementariedad: El método está diseñado para trabajar junto con el ajuste fino eficiente en parámetros (por ejemplo, LoRA), proporcionando una recuperación adicional más allá del ajuste fino por sí solo.

Resultados Experimentales

Los autores evaluaron SHIFT-LLM a través de cinco familias de modelos (Qwen2-1.5B, Qwen1.5-7B, Llama-3.1-8B-Instruct, Vicuna-7B y Qwen2.5-14B), seis criterios de selección de capas y siete benchmarks zero-shot.

Recuperación Libre de Entrenamiento: Sin ningún ajuste fino, SHIFT-LLM recupera consistentemente la precisión perdida debido a la poda de profundidad.
- En Llama-3.1-8B-Instruct con poda de orden inverso (25% de profundidad), el método logró una ganancia de +15.74 puntos en la precisión promedio zero-shot.
- En Qwen1.5-7B, las ganancias alcanzaron los +6.88 puntos bajo la poda de Magnitud- $\ell_1$ .
- La perplejidad en WikiText-2 se redujo sustancialmente en la mayoría de las configuraciones (por ejemplo, una reducción de más de 1000 puntos de perplejidad para Llama-3.1-8B bajo la poda de orden inverso).
Escalabilidad: El método sigue siendo efectivo cuando se escala a Qwen2.5-14B, mostrando ganancias de hasta +5.36 puntos en precisión zero-shot.
Compatibilidad con Ajuste Fino: Cuando se combina con LoRA o ajuste fino de capas parciales, SHIFT-LLM proporciona una recuperación complementaria, mejorando aún más el rendimiento en la mayoría de los escenarios evaluados (por ejemplo, +1.14 puntos en Llama-3.1-8B-Instruct cuando se combina con LoRA).
Comparación con el Estado del Arte: Integrado con el pipeline Navigation LLM, SHIFT-LLM mejoró la precisión promedio de 59.08 a 59.54 en Llama-3.1-8B-Instruct, demostrando que no degrada los baselines fuertes mientras aporta valor.

Significado y Reivindicaciones

El artículo afirma que SHIFT-LLM ofrece una solución simple, general y efectiva al problema del desplazamiento de distribución inherente a la poda de profundidad. Al aproximar explícitamente la actualización residual faltante mientras preserva la estructura residual original del modelo, el método mitiga el desplazamiento sin el costo computacional del reentrenamiento.

Los autores enfatizan que este enfoque es particularmente significativo para entornos donde el entrenamiento post-poda es indeseable o inviable. La capacidad del marco para lograr una recuperación de precisión sustancial (hasta +15.7 puntos) utilizando solo unos pocos cientos de muestras de calibración y sin computación de gradientes lo posiciona como una alternativa práctica al ajuste fino extensivo. Además, la capacidad de fusionar adaptadores consecutivos y comprimir pesos mediante la factorización de bajo rango asegura que las ganancias de eficiencia de la poda de profundidad se preserven y, potencialmente, se mejoren.