Resumo Técnico: Entropy Meets Importance (HIES)

1. Definição do Problema

Modelos baseados em Transformers, particularmente Grandes Modelos de Linguagem (LLMs), alcançaram um desempenho de estado da arte, mas sofrem com custos computacionais e de memória significativos durante a inferência devido às suas estruturas profundas e inúmeras cabeças de atenção. Embora métodos de poda estruturada, especificamente a Poda de Cabeças (Head Pruning), ofereçam uma solução ao remover cabeças de atenção redundantes, as abordagens existentes enfrentam limitações críticas:

• Dependência de Pontuações Baseadas em Gradiente (HIS): Métodos atuais utilizam predominantemente o Head Importance Score (HIS), que quantifica a contribuição de uma cabeça para a função de perda via sensibilidade do gradiente. Embora eficaz na esparsa moderada, os métodos baseados em HIS exibem uma "queda abrupta" (sharp-drop) na precisão quando as taxas de poda tornam-se agressivas.
• Instabilidade e Falta de Diversidade: O HIS falha em capturar a diversidade dos padrões de atenção. Ele trata uma cabeça com atenção concentrada (focando em tokens decisivos) e uma cabeça com atenção difusa de forma semelhante, caso suas magnitudes de gradiente sejam comparáveis. Isso leva à remoção de cabeças funcionalmente críticas que estabilizam o modelo, resultando em baixa robustez a perturbações de entrada e mudanças de distribuição.
• Limitações de Independência de Camada: Critérios existentes frequentemente aplicam regras de poda uniformes em todas as camadas, ignorando evidências de que diferentes camadas requerem comportamentos de atenção distintos, o que leva a uma poda desequilibrada e flutuações de desempenho.

2. Metodologia: Head Importance–Entropy Score (HIES)

Os autores propõem o HIES (Head Importance–Entropy Score), um critério de poda unificado que integra a importância baseada em gradiente com a distribuição estrutural da atenção.

Componentes Principais

1. Head Importance Score (HIS):

   • Mede o aumento de primeira ordem da perda se uma cabeça for mascarada.
   • Fórmula: $HIS_h = \mathbb{E}_{x \sim \mathcal{D}} \left| \frac{\partial L(x)}{\partial m_h} \right|$, onde $m_h$ é a variável de máscara para a cabeça $h$.
   • Captura a magnitude da contribuição de uma cabeça para a perda, mas ignora os padrões de distribuição de atenção.

2. Entropia de Atenção (AE):

   • Mede a concentração ou dispersão dos pesos de atenção de uma cabeça através dos tokens de entrada.
   • Fórmula: $AE_h = -\sum_{i=1}^n p_i^{(h)} \log p_i^{(h)}$.
   • Baixa entropia indica atenção concentrada (frequentemente em tokens decisivos), enquanto alta entropia indica atenção difusa. Os autores hipotetizam que cabeças de baixa entropia são cruciais para a estabilidade e para prevenir o "colapso de entropia".

3. A Métrica HIES:

   • O HIES combina o HIS normalizado e o AE em uma única pontuação:
     $$HIES_h = \alpha \cdot \widehat{HIS}_h + (1 - \alpha) \cdot (1 - \widehat{AE}_h)$$
   • Normalização: Tanto o HIS quanto o AE são normalizados via min-max para $[0, 1]$ para garantir a comparabilidade entre diferentes escalas.
   • Ponderação: $\alpha$ é um hiperparâmetro ajustável. O termo $(1 - \widehat{AE}_h)$ garante que cabeças com menor entropia (mais concentradas) recebam pontuações mais altas, priorizando sua retenção.

Justificativa Teórica

O artigo fornece uma análise de decomposição de risco mostrando que:

• O HIS controla o termo de aumento da perda (minimizando a degradação imediata da precisão).
• O AE limita o gap de generalização (minimizando a instabilidade e a sensibilidade a mudanças de distribuição).
• Ortogonalidade: Demonstra-se que os gradientes de HIS e AE são ortogonais em expectativa, o que significa que eles capturam sinais complementares: magnitude de contribuição vs. dispersão de atenção. Minimizar o limite de risco composto via HIES garante teoricamente melhor estabilidade e preservação de precisão.

3. Principais Contribuições

• Novo Critério de Poda: Introdução do HIES, que unifica a importância baseada em gradiente com a entropia de atenção para abordar o fenômeno de "queda abrupta" em podas agressivas.
• Foco em Estabilidade: Enquadra explicitamente a entropia de atenção como um proxy para a estabilidade e robustez durante a inferência, argumentando que preservar cabeças de baixa entropia evita o colapso da diversidade estrutural.
• Estrutura Teórica: Fornece um limite de risco formal ligando a poda de cabeças tanto ao aumento da perda quanto aos gaps de generalização, justificando a ortogonalidade e complementaridade de HIS e AE.
• Poda Adaptável à Camada: Demonstra que o HIES permite uma poda mais equilibrada entre as camadas em comparação com os padrões bottom-up frequentemente observados em métodos que utilizam apenas HIS.

4. Resultados Experimentais

Os autores avaliaram o HIES no BERT-base, LLaMA-2-7B, ViT-Large e LLaVA-1.5-7B em várias tarefas de NLP, visão e multimodais (ex: GLUE, HellaSwag, ImageNet, VizWiz-VQA).

• Qualidade do Modelo:

  • No BERT-base, o HIES melhorou a qualidade média do modelo em 8,21% em relação ao HIS através das taxas de poda.
  • Em uma taxa de poda de 50%, o HIES alcançou até 15,2% de melhoria na qualidade do modelo em comparação com o melhor baseline.
  • No LLaMA-2-7B, o HIES melhorou a precisão em até +10,54% sobre o HIS.
  • No ViT-Large, com 20% de esparsidade, o HIES alcançou 49,82% mais precisão que o HIS, prevenindo o colapso de precisão observado em métodos baseados apenas em gradiente.

• Estabilidade:

  • O HIES demonstrou até 2,04× de melhoria na estabilidade (medida em relação ao modelo não podado) comparado aos métodos apenas com HIS.
  • Com 50% de poda no BERT, o HIES mostrou um ganho de estabilidade de 8,65% sobre o HIS.

• Generalização:

  • O método superou consistentemente os baselines (Random, L2-Norm, HIS, Attention Deficit, LLM-Pruner, SliceGPT) em tarefas de NLP, visão e raciocínio multimodal complexo.
  • O HIES conseguiu retardar o regime de "queda abrupta" para níveis de esparsidade mais agressivos, mantendo o desempenho onde o HIS falhou.

5. Significância e Alegações

O artigo afirma que o HIES oferece uma solução mais prática e robusta para implantar modelos Transformer em ambientes de recursos restritos. Ao preservar tanto a precisão quanto a estabilidade mesmo sob compressão agressiva, o HIES aborda a barreira crítica das flutuações imprevisíveis de desempenho em implantações do mundo real.

Os autores enfatizam que seu trabalho fornece uma direção fundamentada para uma poda estável e eficiente, indo além da simples sensibilidade ao gradiente para incorporar a diversidade estrutural (entropia) como um componente central da compressão de modelos. Eles afirmam que esta abordagem é amplamente aplicável através de diferentes arquiteturas (BERT, LLaMA, ViT, LLaVA) e modalidades, oferecendo um caminho confiável para o implante de LLMs eficientes sem sacrificar a robustez.