Resumen Técnico: Poda de Redundancia Consciente de la Localidad para la Compresión de la Profundidad de los LLM

1. Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) basados en arquitecturas Transformer sufren de una profundidad extrema y sobreparametrización, lo que genera costos computacionales y de memoria sustanciales durante la inferencia. Si bien la poda a nivel de capa (profundidad) es una estrategia efectiva para reducir la latencia y la memoria eliminando bloques completos de Transformer, los métodos existentes de un solo disparo y sin entrenamiento se basan en suposiciones erróneas sobre la redundancia.

Los enfoques actuales generalmente caen en dos categorías:

1. Métodos basados en importancia local: Estiman la redundancia utilizando puntuaciones de capas aisladas (por ejemplo, Influencia de Bloque).
2. Métodos basados en similitud contigua: Asumen que la redundancia se concentra dentro de regiones de profundidad adyacentes.

Sin embargo, el análisis empírico revela que estas suposiciones son insuficientes. La redundancia intercapa no es uniforme en todas las arquitecturas; puede ser localizada (concentrada en regiones de profundidad específicas) o globalmente distribuida (extendida a través de toda la red). Los priores de poda fijos no tienen en cuenta estas diferencias estructurales dependientes de la arquitectura, lo que conduce a una degradación del rendimiento subóptima.

2. Metodología: Poda de Redundancia Consciente de la Localidad (LoRP)

Los autores proponen LoRP, un marco de poda de profundidad de un solo disparo y sin entrenamiento que se adapta a la geometría de representación específica de cada LLM. El flujo de trabajo consta de cinco etapas clave:

2.1 Medición de Similitud Intercapa

Utilizando un pequeño conjunto de datos de calibración (128 secuencias de C4), LoRP recopila las activaciones de los estados ocultos de entrada para cada bloque Transformer. Calcula una matriz de similitud coseno de estados ocultos intercapa ($S$) por pares, donde cada entrada $S_{ij}$ representa la similitud coseno media por token entre las representaciones de entrada de las capas $i$ y $j$.

2.2 Puntuación de Localidad de Representación (RLS)

Para cuantificar la estructura global de la redundancia, los autores introducen la Puntuación de Localidad de Representación (RLS).

• Primero, se calcula la media global de similitud fuera de la diagonal ($\bar{S}_{off}$) a través de todos los pares de capas.
• La RLS se define como: $RLS(S) = -\log_2(\bar{S}_{off})$.
• Interpretación: Una RLS alta indica un decaimiento rápido en la similitud a través de la profundidad, lo que implica redundancia localizada (la redundancia se concentra en regiones específicas). Una RLS baja indica una fuerte similitud global, lo que implica redundancia distribuida (la redundancia se extiende a través de la red).

2.3 Agrupamiento de Capas

Basándose en la matriz de similitud $S$ y la RLS, las capas se dividen en grupos representacionales utilizando agrupamiento espectral sobre una matriz de afinidad $A = (S + 1)/2$.

• La granularidad del agrupamiento está guiada por la RLS: una RLS más alta conduce a un agrupamiento más grueso (regiones concentradas), mientras que una RLS más baja fomenta una partición más fina para manejar la redundancia distribuida.
• Esta etapa agrupa capas que procesan representaciones de flujo residual similares, independientemente de su adyacencia física.

2.4 Poda Consciente de la Redundancia en Dos Etapas

LoRP asigna el presupuesto de poda ($k$ capas a eliminar) mediante un procedimiento de dos etapas para equilibrar la cobertura y la redundancia:

1. Etapa 1: Inicialización consciente de la cobertura: Para evitar que la poda colapse en un solo grupo, el método selecciona la capa elegible más redundante de cada grupo para formar un conjunto inicial de candidatos.
2. Etapa 2: Asignación de Redundancia Residual: El presupuesto restante se asigna de forma iterativa. En cada paso, el algoritmo identifica el grupo con la redundancia residual más alta (similitud media por pares entre las capas elegibles restantes) y poda la capa más redundante dentro de ese grupo.

Esta asignación dinámica asegura que las arquitecturas con redundancia localizada poden dentro de regiones concentradas, mientras que aquellas con redundancia distribuida podan a través de múltiples regiones.

3. Contribuciones Clave

El artículo hace las siguientes contribuciones específicas:

• Observación Empírica: Demostró que la localidad de la representación varía sustancialmente entre las familias de LLM (por ejemplo, los modelos Qwen exhiben similitud distribuida, mientras que LLaMA/Mistral exhiben redundancia localizada).
• Propuesta de Métrica: Introdujo la Puntuación de Localidad de Representación (RLS), una métrica simple derivada de la similitud global de estados ocultos intercapa para cuantificar este fenómeno.
• Diseño de Marco: Propuso LoRP, un marco de poda de un solo disparo y sin entrenamiento que agrupa capas por similitud representacional y asigna la poda basándose en la estructura de redundancia específica de la arquitectura.
• Validación del Rendimiento: Mostró que LoRP mejora consistentemente la perplejidad y la precisión de razonamiento aguas abajo en diversas familias de LLM sin requerir recuperación posterior a la poda o ajuste fino.

4. Resultados Experimentales

Los experimentos se realizaron en cinco LLM de código abierto (LLaMA-3.1-8B, OLMo-3-7B, Mistral-Nemo-12B, Qwen3-8B, Qwen3-14B) utilizando nueve benchmarks de razonamiento de cero disparos y tres conjuntos de datos de perplejidad (WikiText-2, C4, PTB).

• Perplejidad (PPL): LoRP logró la perplejidad promedio más baja en la mayoría de los modelos y presupuestos de poda en comparación con las líneas base (ShortGPT, LLM-Streamline, LaCo). La mejora fue particularmente significativa para los modelos Qwen, donde los métodos de poda contigua fallaron.
• Precisión Aguas Abajo: LoRP preservó el rendimiento de razonamiento de cero disparos mejor que los métodos existentes. Por ejemplo, en Qwen3-8B con 7/36 capas podadas, LoRP alcanzó una precisión promedio del 56.65%, superando a ShortGPT (51.50%) y LaCo (55.82%).
• Patrones de Poda: La visualización confirmó que LoRP adapta su patrón de poda al modelo: elimina capas de regiones concentradas para LLaMA/Mistral (RLS alta) y distribuye las eliminaciones a través de la red para Qwen (RLS baja).
• Comparación con Métodos Iterativos: Si bien los métodos iterativos como Shortened LLaMA a veces lograron una perplejidad más baja (debido a la adaptación al objetivo de calibración), LoRP mantuvo una precisión de generalización aguas abajo superior, lo que sugiere una mejor robustez más allá del conjunto de calibración.

5. Significado y Afirmaciones

El artículo afirma que la localidad de la representación es un factor crítico y dependiente de la arquitectura para una poda de profundidad efectiva. El significado de este trabajo radica en cambiar el paradigma de la puntuación fija, contigua o aislada de capas hacia un enfoque global y consciente de la geometría.

• Afirmaciones Modestas: Los autores declaran explícitamente que sus hallazgos sugieren que la redundancia es una propiedad estructurada de la geometría de la representación. No afirman que LoRP sea una solución universal para todas las tareas de compresión, sino un marco que mejora la eficiencia respetando las diferencias arquitectónicas.
• Limitaciones: Los autores reconocen que su política de agrupamiento guiada por RLS se deriva empíricamente de los modelos evaluados. Señalan que el método actual depende de un número de grupos ($K$) especificado manualmente basado en rangos de RLS y aún no incluye recuperación posterior a la poda o ajuste fino. Se necesita trabajo futuro para validar la generalización en arquitecturas, escalas y recetas de entrenamiento más amplias, y para desarrollar estrategias completamente automáticas para seleccionar los parámetros de agrupamiento.

En resumen, LoRP demuestra que al caracterizar y adaptarse a la estructura de redundancia específica de un LLM, se puede lograr una compresión de profundidad más eficiente sin sacrificar el rendimiento del modelo.