Resumen Técnico: Capas Fantasma – Alineación de Activaciones Sin Restricciones para la Recuperación de LLMs con Capas Podadas

1. Declaración del Problema

El podado de capas es una técnica práctica de compresión para Modelos de Lenguaje Grandes (LLM) que elimina bloques completos de decodificadores Transformer para reducir el tamaño del modelo y el costo de inferencia sin requerir kernels personalizados ni cambios arquitectónicos. Sin embargo, la eliminación de estos bloques genera una discrepancia en la activación de los límites. El estado oculto transmitido a la siguiente capa superviviente difiere significativamente de la distribución que la capa fue originalmente entrenada para procesar. Este desplazamiento de distribución se propaga a través de las capas posteriores, lo que conduce a una degradación sustancial del rendimiento tanto en la perplejidad como en la precisión de tareas posteriores.

Los métodos existentes de recuperación sin entrenamiento intentan mitigar esta discrepancia, pero sufren limitaciones estructurales:

• ReplaceMe aproxima el cálculo del bloque podado mediante una transformación lineal absorbida en los pesos supervivientes, pero no aborda directamente la discrepancia en los límites.
• LinearPatch aborda directamente la discrepancia en la activación de los límites insertando un operador lineal parametrizado como una escala por canales rotada mediante Hadamard. Crucialmente, esta parametrización es simétrica por construcción, lo que restringe el espacio de búsqueda a un subespacio estricto de operadores lineales y evita que el método alcance el óptimo global del objetivo de alineación.

El análisis empírico muestra que estos métodos dejan una porción significativa del error de activación en los límites sin corregir, lo que sugiere que la naturaleza restringida de sus operadores es insuficiente para recuperar completamente el rendimiento del modelo podado.

2. Metodología: Capas Fantasma

Los autores proponen Capas Fantasma, un módulo de recuperación sin entrenamiento, plug-and-play, que aborda la discrepancia en la activación de los límites resolviendo el operador lineal óptimo sin restricciones.

Formulación Central

El método formula la recuperación como un problema de alineación de activaciones. Sea $X_{pre}$ el estado oculto de entrada a la primera capa podada y $X_{post}$ el estado oculto de salida de la última capa podada (entrada a la siguiente capa superviviente) en el modelo original, sin podar. El objetivo es encontrar un operador lineal $W$ tal que $X_{pre}W \approx X_{post}$.

Los autores definen la brecha de activación en los límites como $\Delta = X_{post} - X_{pre}$. Reparametrizan el operador como $W = I + M$, transformando el objetivo en la minimización del error de reconstrucción de la brecha:
$$\min_{M \in \mathbb{R}^{C \times C}} \| X_{pre}M - \Delta \|_F^2$$

Solución de Forma Cerrada

A diferencia de los métodos anteriores que optimizan sobre subespacios restringidos, Capas Fantasma deriva una solución de mínimos cuadrados de norma mínima de forma cerrada sobre el espacio completo de operadores lineales $\mathbb{R}^{C \times C}$:
$$M^* = X_{pre}^\dagger \Delta$$
donde $X_{pre}^\dagger$ es la pseudoinversa de Moore-Penrose de las activaciones previas al límite. El operador final es $W^* = I + M^*$.

Implementación

1. Calibración: Un pequeño conjunto de secuencias de calibración (por ejemplo, 128 secuencias de C4) se pasa a través del modelo original sin podar para recopilar $X_{pre}$ y $X_{post}$ mediante ganchos de pre-avance.
2. Cálculo: El operador óptimo $M^*$ se calcula fuera de línea utilizando un solucionador de mínimos cuadrados regularizado (o SVD) para garantizar la estabilidad numérica.
3. Despliegue: El operador $W^*$ se inserta en el límite de poda mediante un gancho de avance. La operación es $x_{new} = x W^* = x + x M^*$, donde el término aditivo $x M^*$ estima la actualización incremental que habrían aportado las capas podadas.

Ventaja Teórica

El artículo demuestra que el operador óptimo $W^*$ contiene un componente antisimétrico sustancial. Dado que LinearPatch restringe su búsqueda a matrices simétricas (donde $W = W^\top$), estructuralmente no puede acceder a este componente antisimétrico. Capas Fantasma, al operar sobre el espacio sin restricciones, captura este componente, alcanzando teóricamente el verdadero óptimo del objetivo de alineación.

3. Contribuciones Clave

1. Formulación de la Recuperación Post-Poda: Los autores formulan la recuperación como un problema de alineación de activaciones y derivan su solución óptima de forma cerrada directamente a partir de las activaciones en los límites.
2. Optimalidad Sin Restricciones: Demuestran que esta formulación produce un óptimo sin restricciones que incluye un componente antisimétrico significativo, el cual es inaccesible para construcciones simétricas como LinearPatch.
3. Módulo Capas Fantasma: Proponen un módulo sin entrenamiento, plug-and-play, compatible con cualquier criterio de poda y arquitectura de modelo. Supera consistentemente a las líneas base sin entrenamiento anteriores con costos de inferencia equivalentes.

4. Resultados Experimentales

El método se evaluó en múltiples núcleos de LLM (LLaMA-3-8B, LLaMA-3.1-8B, DeepSeek-R1-Distill-LLaMA-8B y otros en el apéndice) y estrategias de poda (LLM-Streamline, ShortGPT, LLaMA Abreviado).

• Precisión: Capas Fantasma logra consistentemente la precisión cero-shot promedio más alta o competitiva en nueve puntos de referencia de razonamiento de sentido común (ARC, HellaSwag, WinoGrande, etc.) en comparación con las líneas base sin entrenamiento. Por ejemplo, en LLaMA-3.1-8B con 7 capas podadas, Capas Fantasma logró una precisión promedio del 60.01%, superando a LinearPatch (Rotate) con 53.27% y a ReplaceMe (LS) con 59.68%.
• Perplejidad: El método reduce significativamente la perplejidad en WikiText-2, C4 y Penn Treebank. En escenarios de poda agresiva (11 capas eliminadas), el margen de mejora sobre las líneas base se amplía, logrando Capas Fantasma la perplejidad más baja en la mayoría de las combinaciones.
• Eficiencia: A pesar de resolver para una matriz completa $C \times C$, Capas Fantasma no incurre en costo adicional de inferencia en comparación con LinearPatch. Ambos métodos fusionan sus operaciones en una única multiplicación de matriz densa $C \times C$ en el límite. Las mediciones empíricas de latencia confirman que son indistinguibles dentro de los márgenes de ruido.
• Sensibilidad a la Calibración: El método es robusto al tamaño del conjunto de calibración; la precisión se satura con tan solo 32 secuencias, y la elección del conjunto de datos de calibración (C4 vs. WikiText-2) tiene un impacto mínimo en el rendimiento.
• Ajuste Fino: Incluso cuando se combina con destilación de conocimiento ligera, Capas Fantasma mantiene una ventaja de rendimiento sobre las variantes de LinearPatch ajustadas finamente, lo que sugiere que la inicialización de forma cerrada proporciona un punto de partida superior.

5. Significado y Afirmaciones

El artículo afirma que resolver la alineación de activaciones en los límites en su óptimo sin restricciones es suficiente para recuperar sustancialmente el rendimiento de los LLMs con capas podadas sin reentrenamiento.

La importancia de este trabajo radica en demostrar que la degradación del rendimiento en los modelos podados no es meramente un resultado de la capacidad faltante, sino de un desplazamiento de distribución corregible. Al ir más allá de los subespacios de operadores restringidos (como las matrices simétricas) hacia el espacio completo de mapas lineales, Capas Fantasma recupera información estructural (específicamente componentes antisimétricos) que los métodos anteriores pasaron por alto. Este enfoque ofrece una solución simple, computacionalmente eficiente y altamente efectiva para desplegar LLMs más pequeños y podados, preservando sus capacidades originales.