Pimp My LLM: Leveraging Variability Modeling to Tune Inference Hyperparameters

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados para diversas tarefas, mas sua fase de inferência consome mais de 90% dos recursos computacionais totais, levantando preocupações críticas sobre eficiência energética e sustentabilidade. Embora os servidores de inferência (por exemplo, Hugging Face Transformers, vLLM) ofereçam uma vasta gama de hiperparâmetros de geração (por exemplo, temperatura, largura do feixe, estratégias de cache), otimizá-los apresenta dois desafios principais:

1. Explosão Combinatória: O espaço de configuração é enorme devido ao grande número de parâmetros e suas interações complexas e não lineares. A avaliação empírica exaustiva é computacionalmente inviável.
2. Falta de Análise Sistemática: Pesquisas existentes frequentemente analisam parâmetros isoladamente ou focam em subconjuntos limitados, falhando em capturar interações ou compensações entre consumo de energia, latência e precisão. O ajuste manual está sujeito a erros, redundância e configurações inválidas.

Os autores propõem tratar a inferência de LLMs como um sistema de software altamente configurável e aplicar técnicas de Modelagem de Variabilidade para analisar, otimizar e prever sistematicamente o comportamento de inferência.

2. Metodologia

Os autores propõem uma abordagem em quatro etapas: Modelagem, Amostragem, Medição e Aprendizado.

A. Modelagem de Variabilidade (Modelagem de Recursos)

• Alvo: A biblioteca Hugging Face Transformers.
• Formalismo: Os autores construíram um Modelo de Recursos (Feature Model - FM) representando o espaço de configuração de inferência.
  • O modelo inclui 96 recursos (67 concretos), representando flags booleanas e valores numéricos discretizados (por exemplo, temperature_0.7, cache_offloaded).
  • Restrições: Dependências e restrições (por exemplo, exclusões mútuas, requisitos) foram extraídas da documentação e do código-fonte, resultando em aproximadamente $9,37 \times 10^{12}$ configurações válidas.
  • Propósito: Este formalismo permite raciocínio automatizado para filtrar configurações inválidas e enumerar as válidas.

B. Estratégia de Amostragem

Dada a inviabilidade de testar todas as configurações válidas, os autores empregaram três estratégias de amostragem para selecionar um subconjunto representativo:

1. YASA: Um algoritmo de amostragem consciente de interações (2-wise).
2. ICPL: Outro algoritmo de ponta consciente de interações (2-wise).
3. Random: Uma estratégia de amostragem aleatória de base.

• Escala: 254 configurações totais foram geradas (77 YASA, 81 ICPL, 96 Random).

C. Medição Empírica

As configurações amostradas foram executadas em 3 LLMs (OpenCoder-8B, Qwen2.5-Coder-7B, Qwen2.5-Coder-3B) usando o conjunto de dados HumanEval+ (164 problemas de geração de código Python).

• Métricas Rastreadas:
  • Consumo de Energia: Medido via RAPL (CPU) e nvidia-smi (GPU).
  • Latência: Tempo desde o envio da solicitação até a resposta.
  • Precisão: Medida usando pass@1 (probabilidade de que o código gerado passe em todos os testes unitários).
• Rigor Experimental: Cada configuração foi executada 10 vezes com ordenação aleatorizada para mitigar viés de hardware. Fases estritas de aquecimento e calibração foram implementadas para garantir estabilidade na medição.

D. Aprendizado Preditivo

• Algoritmo: Regressão de Floresta Aleatória (Random Forest Regression - RFR).
• Objetivo: Treinar modelos nos dados amostrados para prever energia, latência e precisão para configurações não vistas.
• Validação: Utilizou validação cruzada $k$-fold e divisão treino-teste de 80/20. O desempenho foi avaliado usando $R^2$, Erro Absoluto Médio (MAE) e Erro Absoluto Porcentual Médio (MAPE).

3. Principais Contribuições

1. Modelagem Baseada em Recursos da Inferência de LLM: O primeiro trabalho a codificar explicitamente a variabilidade de bibliotecas de inferência de LLM (especificamente Hugging Face Transformers) em um Modelo de Recursos formal, permitindo a exploração sistemática do espaço de configuração.
2. Análise Sistemática de Compensações: Identificação de configurações ótimas que equilibram energia, latência e precisão, revelando que energia e latência estão fortemente correlacionadas, enquanto a precisão é impulsionada por fatores diferentes.
3. Metodologia Preditiva: Um framework validado demonstrando que modelos de aprendizado de máquina podem prever com precisão métricas de inferência para configurações não vistas com base em uma pequena amostra representativa do espaço de configuração.

4. Principais Resultados

RQ1: Impacto dos Hiperparâmetros

• Energia e Latência: Fortemente correlacionadas. Os principais impulsionadores de alta energia/latência são o cache descarregado (transferência de pares KV entre GPU/CPU) e o aumento do número de feixes/grupos (mais passagens para frente).
• Precisão: Impulsionada principalmente pela estratégia de decodificação (busca gulosa produziu a maior precisão e menor energia), controle de repetição (por exemplo, no-repeat-ngram) e otimização de memória (low-memory).
• Interações: A análise de pares revelou que combinações específicas (por exemplo, Guloso + Cache Estático) alteram significativamente as métricas em comparação com os efeitos de recursos individuais.

RQ2: Compensações Ótimas de Pareto

Os autores identificaram três classes distintas de configurações ótimas:

1. Eficiente em Energia: Usa Qwen-3B/7B com Cache Dinâmico, decodificação gulosa, 1 feixe e baixa temperatura. Alcança ~0,66–0,75 Pass@1 com ~21–25 kJ.
2. Equilibrada: Usa Qwen-7B com Cache Dinâmico, Busca por Feixe (2 feixes) e amostragem. Alcança ~0,77 Pass@1 com ~38 kJ.
3. Alta Precisão: Usa Qwen-7B com Busca por Feixe agressiva (3–4 feixes), vários caches (Dinâmico/Estático/Híbrido) e alto top-p. Alcança ~0,80 Pass@1, mas requer ~64 kJ (um aumento de 66% sobre a fase equilibrada).

RQ3: Precisão da Previsão

• Alta Precisão: Modelos treinados no conjunto de dados combinado (TODOS os amostradores) alcançaram excelente desempenho de previsão:
  • Energia: $R^2 = 0,95$, MAPE = 0,16.
  • Latência: $R^2 = 0,94$, MAPE = 0,17.
  • Precisão: $R^2 = 0,99$, MAE = 0,01.
• Impacto da Amostragem: Combinar estratégias de amostragem diversas (YASA + ICPL + Random) produziu modelos melhores do que usar qualquer estratégia única. Notavelmente, mesmo a amostragem aleatória simples forneceu dados de treinamento surpreendentemente eficazes ($R^2 \approx 0,91$).

5. Significado e Implicações

• Ponte entre Comunidades: O artigo conecta com sucesso Engenharia de Software (Modelagem de Variabilidade) e Aprendizado de Máquina, aplicando técnicas estabelecidas de ES para resolver problemas de configuração de ML.
• Sustentabilidade: Fornece um caminho para reduzir a pegada de carbono da inferência de LLMs, permitindo configuração automatizada e orientada por dados em vez de tentativa e erro.
• Potencial de Automação: A abordagem estabelece as bases para assistentes de configuração que podem recomendar configurações de inferência ótimas com base em restrições do usuário (por exemplo, "minimizar energia mantendo >0,75 de precisão").
• Escalabilidade: Demonstra que testes exaustivos são desnecessários; um pequeno subconjunto bem amostrado do espaço de configuração é suficiente para construir modelos preditivos precisos para todo o espaço.

6. Limitações

• Escopo do Conjunto de Dados: Avaliado apenas em geração de código Python (HumanEval+); os resultados podem variar para outras tarefas (por exemplo, sumarização).
• Especificidade do Servidor: Focado em Hugging Face Transformers; outros servidores de inferência (vLLM, TGI) têm conjuntos de parâmetros diferentes.
• Tamanho do Modelo: Limitado a modelos com menos de 8B de parâmetros; modelos maiores podem exibir comportamentos de escalonamento diferentes.
• Discretização: Parâmetros contínuos foram discretizados, potencialmente perdendo valores ótimos de granularidade fina.

Conclusão

"Pimp My LLM" demonstra que a modelagem de variabilidade é uma ferramenta poderosa para gerenciar a complexidade da inferência de LLMs. Ao tratar hiperparâmetros como um sistema configurável, os autores permitem a análise sistemática de compensações e a previsão precisa de métricas de desempenho, oferecendo um caminho escalável para uma implantação de LLMs mais sustentável e eficiente.