LLM-Guided Runtime Parameter Optimization for Energy-Efficient Model Inference

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) estão cada vez mais integrados em fluxos de trabalho do mundo real, mas seus processos de inferência consomem energia significativa. Um desafio crítico é selecionar parâmetros de tempo de execução ótimos (por exemplo, tamanhos de lote, utilização de memória, precisão) para minimizar o consumo de energia (especificamente Joules por token) sem sacrificar o desempenho.

• Limitações Atuais: Métodos de otimização tradicionais (por exemplo, busca em grade, busca aleatória, otimização bayesiana) frequentemente exigem uma exploração exaustiva do espaço de parâmetros, levando dias para convergir. Eles carecem da capacidade de se adaptar dinamicamente a restrições de hardware específicas ou a feedback do sistema de forma eficiente.
• Objetivo: Os autores visam determinar se um LLM pode atuar como um agente de decisão adaptativo para propor iterativamente configurações de tempo de execução que minimizem o consumo de energia mais rapidamente do que técnicas tradicionais de otimização de caixa preta.

2. Metodologia

Os autores propõem um framework com intervenção humana no loop onde um LLM externo (especificamente o Claude) guia a otimização dos parâmetros de inferência para outros LLMs.

A. Arquitetura do Sistema

• Sistemas Alvo: O framework foi testado em dois backends de inferência distintos:
  1. vLLM: Servindo o modelo Llama-3.2-3B para cargas de trabalho baseadas em texto.
  2. PyTorch: Servindo o modelo multimodal Qwen3-VL-4B-Instruct para cargas de trabalho imagem-texto.
• Hardware: Os experimentos foram conduzidos em um servidor com uma única NVIDIA Tesla V100 (16GB VRAM).
• Medição: O consumo de energia (Joules), o tempo de parede e a vazão foram medidos usando a Biblioteca de Gerenciamento da NVIDIA (NVML) para amostrar o uso de energia da GPU.

B. O Loop de Otimização

1. Espaço de Busca: Os parâmetros se enquadram em quatro categorias:
   • Utilização de memória (por exemplo, tamanho do bloco, fração de memória).
   • Controle de lote e execução (por exemplo, sequências máximas, tamanho do lote).
   • Precisão e computação (por exemplo, fp16 vs. fp32).
   • Restrições de hardware (por exemplo, limites de energia da GPU).
2. Mecanismo de Feedback: Após cada execução de inferência, as métricas de energia são coletadas. Essas métricas são alimentadas de volta no LLM por meio de um prompt para guiar a próxima proposta de configuração.
3. Estratégias de Prompting: Os autores compararam duas abordagens de prompting:
   • Linha de Base (Não Estruturada): Fornece informações mínimas (parâmetros anteriores e métricas) ao LLM.
   • Aprimorada (Estruturada): Usa técnicas específicas de prompting, incluindo:
     • Repetição: Reiterar o objetivo.
     • Informação de Fundo: Fornecer especificações de hardware e descrições de parâmetros.
     • Restrições do Processo de Busca: Orientar o LLM a focar em uma única tarefa (minimizar energia) em vez de otimização multi-tarefa.
     • Enquadramento da Tarefa: Definir claramente a estrutura de entrada/saída.

C. Linhas de Base

• Amostragem de Sobol: Um método de amostragem quasi-aleatória determinístico usado como linha de base para garantir cobertura uniforme do espaço de busca.
• Configuração Padrão: As configurações padrão dos motores de inferência.

3. Contribuições Principais

1. Framework de Otimização Guiado por LLM: Uma abordagem inovadora que usa um LLM externo como um agente adaptativo para ajustar iterativamente parâmetros de tempo de execução com base em feedback do sistema, substituindo a busca exaustiva.
2. Engenharia de Prompt Consciente de Energia: O design de um "Modelo de Prompt Aprimorado" especializado que melhora significativamente a capacidade do LLM de convergir para configurações eficientes em energia em comparação com prompts não estruturados.
3. Validação Cross-Backend: Avaliação empírica em dois sistemas de inferência diferentes (vLLM e PyTorch) e duas modalidades (texto e multimodal), demonstrando a generalizabilidade da abordagem.
4. Redução da Sobrecarga de Busca: Demonstração de que o ajuste guiado por LLM converge para configurações de energia quase ótimas com significativamente menos avaliações do que a otimização tradicional de caixa preta.

4. Resultados Principais

A. Velocidade de Convergência

• vLLM (Texto): O Prompt Aprimorado convergiu para o limiar alvo (1,80 J/token) em uma média de 3,4 iterações, comparado a 5,2 iterações para o Prompt de Linha de Base. Essa diferença foi estatisticamente significativa ($p=0,0086$).
• PyTorch (Multimodal): O Prompt Aprimorado atingiu o limiar de energia por token em 4,2 iterações, enquanto a Linha de Base exigiu 6 iterações (e falhou em atingir o limiar em todas as 5 execuções dentro do limite).

B. Eficiência Energética Final

• vLLM: O Prompt Aprimorado consistentemente alcançou menor energia mínima por token do que a Linha de Base em todas as 5 execuções experimentais (por exemplo, 1,68 J/token vs. 1,75 J/token no melhor caso).
• PyTorch: O Prompt Aprimorado alcançou energia significativamente menor por incorporação de imagem (27,5 J/imagem) em comparação com a amostragem de Sobol (82,5 J/imagem).

C. Comparação com Amostragem de Sobol

• vLLM: A amostragem de Sobol exigiu a avaliação de 30 configurações (levando ~24 horas) para encontrar um resultado (1,72 J/token) comparável ao que o LLM alcançou em uma média de 3,4 prompts.
• PyTorch: A amostragem de Sobol sofreu com uma alta taxa de falha (55/64 execuções resultaram em erros de Memória Insuficiente devido a configurações de precisão fp32), enquanto o LLM navegou com sucesso nessas restrições.

D. Compromisso entre Desempenho e Energia

• Contrariando o compromisso típico onde a eficiência energética reduz o desempenho, as configurações otimizadas aumentaram a vazão em 76% (de 33,5 para 59 tokens/s) enquanto reduziam a energia. Isso indica uma mudança para uma região de operação mais Pareto-eficiente.

E. Sobrecarga de Otimização

• O custo energético do próprio processo de otimização (prompts do LLM) foi estimado em ~43.200 J. O sistema atinge um "ponto de equilíbrio" (onde as economias superam a sobrecarga) após aproximadamente 5,65 cargas de trabalho (1.000 prompts cada), tornando a sobrecarga negligenciável para uso sustentado.

5. Significado

Este trabalho destaca o potencial da otimização de sistemas assistida por IA. Demonstra que LLMs, quando guiados por prompts estruturados e supervisão humana, podem atuar como agentes inteligentes para resolver problemas complexos de otimização de alta dimensão em ambientes de HPC.

• Escalabilidade: O método reduz o custo computacional de encontrar configurações ótimas, o que é crucial à medida que os espaços de parâmetros crescem em sistemas heterogêneos de múltiplos nós.
• Adaptabilidade: Ao contrário de métodos de otimização estáticos, esta abordagem pode se adaptar dinamicamente a restrições de hardware específicas e estados de erro (por exemplo, erros de OOM) em tempo real.
• Impacto Futuro: Os resultados sugerem um caminho para sistemas de inferência auto-otimizantes que se adaptam continuamente a mudanças na carga de trabalho e no hardware para maximizar a eficiência energética sem intervenção humana.