Resumen Técnico: Entropía y la Importancia (HIES)

1. Planteamiento del Problema

Los modelos basados en Transformers, particularmente los Modelos de Lenguaje de Gran Escala (LLMs), han alcanzado un rendimiento de vanguardia, pero sufren costos computacionales y de memoria significativos durante la inferencia debido a sus estructuras profundas y numerosos cabezales de atención. Aunque los métodos de poda estructurada, específicamente la Poda de Cabezales (Head Pruning), ofrecen una solución al eliminar cabezales de atención redundantes, los enfoques actuales enfrentan limitaciones críticas:

• Dependencia de Puntuaciones Basadas en Gradientes (HIS): Los métodos actuales utilizan predominantemente Puntuaciones de Importancia de Cabezal (HIS), que cuantifican la contribución de un cabezal a la función de pérdida mediante la sensibilidad del gradiente. Aunque son efectivos con una dispersión moderada, los métodos basados en HIS exhiben una "caída brusca" (sharp-drop) en la precisión cuando las proporciones de poda son agresivas.
• Inestabilidad y Falta de Diversidad: El HIS no logra capturar la diversidad de los patrones de atención. Trata de manera similar a un cabezal con atención concentrada (que se enfoca en tokens decisivos) y a un cabezal con atención difusa si sus magnitudes de gradiente son comparables. Esto conduce a la eliminación de cabezales funcionalmente críticos que estabilizan el modelo, resultando en una pobre robustez ante perturbaciones de entrada y cambios en la distribución.
• Limitaciones de Independencia de Capas: Los criterios existentes suelen aplicar reglas de poda uniformes en todas las capas, ignorando la evidencia de que diferentes capas requieren comportamientos de atención distintos, lo que genera una poda desequilibrada y fluctuaciones en el rendimiento.

2. Metodología: Puntuación de Importancia-Entropía de Cabezal (HIES)

Los autores proponen HIES (Head Importance–Entropy Score), un criterio de poda unificado que integra la importancia basada en gradientes con la distribución estructural de la atención.

Componentes Principales

1. Puntuación de Importancia de Cabezal (HIS):

   • Mide el aumento de la pérdida de primer orden si se enmascara un cabezal.
   • Fórmula: $HIS_h = \mathbb{E}_{x \sim \mathcal{D}} \left| \frac{\partial L(x)}{\partial m_h} \right|$, donde $m_h$ es la variable de máscara para el cabezal $h$.
   • Captura la magnitud de la contribución de un cabezal a la pérdida, pero ignora los patrones de distribución de la atención.

2. Entropía de Atención (AE):

   • Mide la concentración o dispersión de los pesos de atención de un cabezal a través de los tokens de entrada.
   • Fórmula: $AE_h = -\sum_{i=1}^n p_i^{(h)} \log p_i^{(h)}$.
   • Una entropía baja indica una atención concentrada (frecuentemente en tokens decisivos), mientras que una entropía alta indica una atención difusa. Los autores plantean la hipótesis de que los cabezales de baja entropía son cruciales para la estabilidad y para prevenir el "colapso de la entropía".

3. La Métrica HIES:

   • HIES combina el HIS y la AE normalizados en una sola puntuación:
     $$HIES_h = \alpha \cdot \widehat{HIS}_h + (1 - \alpha) \cdot (1 - \widehat{AE}_h)$$
   • Normalización: Tanto el HIS como la AE se normalizan mediante min-máx al intervalo $[0, 1]$ para asegurar la comparabilidad entre diferentes escalas.
   • Ponderación: $\alpha$ es un hiperparámetro ajustable. El término $(1 - \widehat{AE}_h)$ asegura que los cabezales con menor entropía (más concentrados) reciban puntuaciones más altas, priorizando su retención.

Justificación Teórica

El artículo proporciona un análisis de descomposición de riesgo que muestra que:

• HIS controla el término de aumento de la pérdida (minimizando la degradación inmediata de la precisión).
• AE acota la brecha de generalización (minimizando la inestabilidad y la sensibilidad a los cambios de distribución).
• Ortogonalidad: Se demuestra que los gradientes de HIS y AE son ortogonales en expectativa, lo que significa que capturan señales complementarias: la magnitud de la contribución frente a la dispersión de la atención. Minimizar el límite de riesgo compuesto mediante HIES garantiza teóricamente una mejor estabilidad y preservación de la precisión.

3. Contribuciones Clave

• Nuevo Criterio de Poda: Introducción de HIES, que unifica la importancia basada en gradientes con la entropía de atención para abordar el fenómeno de la "caída brusca" en la poda agresiva.
• Enfoque en la Estabilidad: Enmarca explícitamente la entropía de la atención como un indicador de la estabilidad y robustez durante la inferencia, argumentando que preservar los cabezales de baja entropía evita el colapso de la diversidad estructural.
• Marco Teórico: Proporciona un límite de riesgo formal que vincula la poda de cabezales tanto con el aumento de la pérdida como con las brechas de generalización, justificando la ortogonalidad y complementariedad de HIS y AE.
• Poda Adaptativa de Capas: Demuestra que HIES permite una poda más equilibrada entre capas en comparación con los patrones ascendentes (bottom-up) que suelen verse en los métodos que solo usan HIS.

4. Resultados Experimentales

Los autores evaluaron HIES en BERT-base, LLaMA-2-7B, ViT-Large y LLaVA-1.5-7B a través de diversas tareas de NLP, visión y multimodales (por ejemplo, GLUE, HellaSwag, ImageNet, VizWiz-VQA).

• Calidad del Modelo:

  • En BERT-base, HIES mejoró la calidad promedio del modelo en un 8.21% respecto a HIS en diversas proporciones de poda.
  • Con una proporción de poda del 50%, HIES logró una mejora de hasta un 15.2% en la calidad del modelo en comparación con el mejor baseline.
  • En LLaMA-2-7B, HIES mejoró la precisión en hasta un +10.54% sobre HIS.
  • En ViT-Large, con un 20% de dispersión, HIES logró un 49.82% más de precisión que HIS, evitando el colapso de precisión observado en los métodos basados solo en gradientes.

• Estabilidad:

  • HIES demostró una mejora de hasta 2.04× en la estabilidad (medida contra el modelo sin podar) en comparación con los métodos que solo usan HIS.
  • Con un 50% de poda en BERT, HIES mostró una ganancia de estabilidad del 8.65% sobre HIS.

• Generalización:

  • El método superó consistentemente a los baselines (Random, L2-Norm, HIS, Attention Deficit, LLM-Pruner, SliceGPT) en tareas de NLP, visión y razonamiento multimodal complejo.
  • HIES logró retrasar con éxito el régimen de "caída brusca" hacia niveles de dispersión más agresivos, manteniendo el rendimiento donde HIS falló.

5. Significado y Reivindicaciones

El artículo afirma que HIES ofrece una solución más práctica y robusta para el despliegue de modelos Transformer en entornos con recursos limitados. Al preservar tanto la precisión como la estabilidad incluso bajo una poda agresiva, HIES aborda la barrera crítica de las fluctuaciones impredecibles de rendimiento en despliegues reales.

Los autores enfatizan que su trabajo proporciona una dirección fundamentada para una poda estable y eficiente, yendo más allá de la simple sensibilidad del gradiente para incorporar la diversidad estructural (entropía) como un componente central de la compresión de modelos. Afirman que este enfoque es ampliamente aplicable a diferentes arquitecturas (BERT, LLaMA, ViT, LLaVA) y modalidades, ofreciendo un camino confiable para el despliegue de LLMs eficientes sin sacrificar la robustez.