Resumo Técnico: RAP (Poda Adaptativa em Tempo de Execução para Inferência de LLM)

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) enfrentam barreiras significativas de implantação devido aos seus enormes requisitos computacionais e de memória. Embora técnicas de compressão de modelos (poda, quantização, destilação) ofereçam soluções, os métodos existentes sofrem de limitações críticas:

1. Heurísticas Estáticas: A maioria das estratégias de poda atuais depende de heurísticas fixas e de uma única execução que assumem cargas de trabalho estáticas. Elas falham em adaptar-se às variações de memória em tempo de execução causadas por solicitações de usuários flutuantes (por exemplo, tamanhos de lote e comprimentos de sequência variáveis).
2. Negligência do Cache KV: A poda tradicional foca principalmente na redução de pesos estáticos do modelo (parâmetros). No entanto, na inferência autoregressiva, a memória do Cache de Chave-Valor (KV) cresce linearmente com o tamanho do lote e o comprimento da sequência, frequentemente superando a memória de parâmetros estáticos. Ratos de poda fixos não conseguem acomodar a mudança dinâmica de gargalos de memória dominados por parâmetros para gargalos dominados pelo cache KV.
3. Variância em Nível de Sistema: Ambientes de borda e nuvem do mundo real experimentam disponibilidade de memória estocástica devido a aplicativos concorrentes e interferência, tornando inválidas as suposições de orçamento fixo.

O desafio central abordado é como selecionar uma política de poda de LLM ótima que se adapte dinamicamente a cargas de trabalho de solicitações heterogêneas e variantes no tempo, satisfazendo orçamentos de memória flutuantes sem degradar a qualidade da saída.

Metodologia: O Framework RAP

Os autores propõem o RAP (Poda Adaptativa em Tempo de Execução), um framework de poda elástico impulsionado por Aprendizado por Reforço (RL) que ajusta dinamicamente estratégias de compressão com base em estados do sistema em tempo real.

1. Importância Sequencial Gananciosa (GSI)

Para abordar as limitações da poda "de uma só vez" (que ignora dependências intercamadas e leva à degradação de desempenho), o RAP emprega a Importância Sequencial Gananciosa (GSI).

• Mecanismo: Em vez de pontuar todos os blocos uma única vez, a GSI remove iterativamente o bloco cuja exclusão resulta na deterioração mínima do desempenho do modelo (medida pela perplexidade).
• Recalibração: Após cada remoção, as pontuações de importância dos blocos restantes são reavaliadas dentro da nova arquitetura contraída. Este processo passo a passo controla o acúmulo de erros e leva em conta a sensibilidade dinâmica das camadas à medida que a estrutura do modelo muda.

2. Formulação de Aprendizado por Reforço

O RAP formula a seleção da política de poda como um problema de tomada de decisão sequencial (Processo de Decisão de Markov), onde um agente de RL aprende a equilibrar eficiência de memória e fidelidade do modelo.

• Estado ($S_t$): O agente observa um estado composto em cada passo de inferência $t$:
  • Características da Solicitação: Tamanho do lote ($R_{bs}$) e comprimento da sequência ($R_{sql}$).
  • Configuração do Modelo: Pontuações de importância de todos os blocos de Atenção Multi-Cabeça (MHA) e Rede Feed-Forward (FFN) derivadas da GSI.
  • Estado do Sistema: Memória do sistema disponível atual ($Sys_{avail}$) e sobrecarga de memória estimada ($Sys_{req}$) para a ação proposta.
• Ação ($A_t$): O agente seleciona uma política de poda decidindo se retém ou remove blocos específicos de MHA e FFN. Para gerenciar a explosão combinatória do espaço de ações ($2^{2N}$), a decisão é decomposta em seleções de bloco único sequenciais.
• Recompensa ($R_t$): Uma função de recompensa unificada equilibra dois objetivos:
  • Perplexidade ($R_{ppl}$): Incentiva a preservação do desempenho de modelagem de linguagem.
  • Penalidade de Memória ($R_{mem}$): Penaliza o consumo de memória de pico durante a inferência.
  • A recompensa é uma soma ponderada: $R_t = \sum (At)_i (\alpha R_{ppl, i} - \beta R_{mem, i})$, onde os hiperparâmetros $\alpha$ e $\beta$ ajustam o trade-off entre precisão e memória.

3. Fluxo de Execução

1. O agente de RL observa o ambiente em tempo real (comprimento de entrada, lote, disponibilidade de memória).
2. Ele seleciona uma ação de poda (quais blocos remover) com base no estado atual.
3. O modelo base executa a inferência na arquitetura podada.
4. O agente recebe uma recompensa com base no uso de memória resultante e na perplexidade, atualizando sua política para otimizar decisões futuras.

Contribuições Principais

1. Framework Adaptativo em Tempo de Execução: O RAP é o primeiro framework a considerar conjuntamente pesos do modelo e memória do cache KV "na hora", ajustando dinamicamente os níveis de esparsidade com base na carga de trabalho instantânea e no estado do dispositivo.
2. Política Impulsionada por RL: Os autores formulam a poda como um problema de RL, treinando um agente para aprender uma política ótima que equilibra economia de memória com fidelidade de geração, superando bases de heurísticas estáticas.
3. GSI para Poda Estrutural: A introdução da Importância Sequencial Gananciosa aborda o problema de dependência intercamada na poda de transformadores, fornecendo um método mais robusto para determinar a importância dos blocos sob compressão agressiva.
4. Validação Empírica: Experimentos extensivos demonstram que o RAP supera consistentemente as bases de poda estática mais avançadas (por exemplo, LLM-Pruner, SliceGPT, ShortGPT) em diversos modelos (Llama2, Llama3, Qwen) e restrições de memória.

Resultados Experimentais

Os experimentos foram conduzidos em Llama2-7B, Llama3-8B, Qwen1.5-7B e Qwen2.5-7B sob orçamentos de memória unificados de 80% e 60% (cobrindo tanto parâmetros quanto cache KV).

• Capacidade de Geração: O RAP exibiu o menor desvio de perplexidade. No Llama2-7B com um orçamento de 80%, o RAP aumentou a perplexidade em apenas +6,33 (WikiText2) e +21,47 (PTB), superando significativamente o próximo melhor método por margens de 22,95 e 146,93, respectivamente.
• Tarefas de Descendente: No raciocínio de senso comum zero-shot, o RAP preservou 86% da precisão do modelo denso sob um orçamento de 80%, superando as principais bases em +8,2% (Llama2-7B) e +11,5% (Llama3-8B).
• Resiliência: Sob restrições severas de memória de 60%, o RAP foi o único método a reter mais de 60% do desempenho do modelo denso, enquanto outros métodos sofreram degradação catastrófica.
• Estudos de Ablação:
  • Remover a GSI (usando pontuação estática de uma só vez) causou uma queda de 13,17% na precisão média de senso comum.
  • Remover o agente de RL (usando queda aleatória de blocos) resultou em um aumento massivo na perplexidade (+301,71 no WikiText2) em comparação com a política aprendida, destacando a necessidade de tomada de decisão adaptativa.
• Sobrecarga: O controlador de RL adiciona sobrecarga de tempo de execução negligenciável (<1% de aumento na latência) devido à sua arquitetura compacta (18K parâmetros), enquanto o cálculo offline da GSI é um custo único amortizado sobre a implantação.

Significado e Alegações

O artigo afirma que o RAP preenche a lacuna entre técnicas de compressão estáticas e cenários de implantação dinâmicos do mundo real. Ao afastar-se de heurísticas "tamanho único", o RAP permite:

• Implantação Escalável na Borda: Permite que LLMs se ajustem no dispositivo sob restrições de memória apertadas e flutuantes, podando pesos substanciais quando necessário, enquanto retém capacidade total quando os recursos permitem.
• Eficiência sem Perda de Qualidade: Alcança economias de memória superiores e inferência mais rápida com impacto mínimo na qualidade da saída, navegando efetivamente pelos trade-offs entre gargalos pesados de parâmetros e gargalos pesados de cache KV.
• Generalização: O framework demonstra ser agnóstico à arquitetura, performando bem em diferentes famílias de modelos (Llama, Qwen) e gerações.

Os autores posicionam o RAP como um mecanismo de compressão flexível e consciente do contexto que torna a inferência de LLM viável em ambientes heterogêneos onde estratégias fixas falham.