🤖 AI

Multi-Level Modeling of Large Language Model Inference Latency and Energy via Hybrid Analytical--Machine-Learning Predictors

Este artigo apresenta o HYMELL, um framework híbrido de três níveis que combina modelagem analítica e aprendizado de máquina para estimar com precisão a latência de inferência e o consumo de energia de diversas arquiteturas de Large Language Model em hardware como o NVIDIA H100, alcançando menos de 5% de erro e permitindo uma exploração de espaço de design eficiente e livre de hardware.

Autores originais: Saeid Shokoufa, Mohammad Erfan Sadeghi, Mehdi Kamal, Massoud Pedram

Publicado 2026-08-10

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Saeid Shokoufa, Mohammad Erfan Sadeghi, Mehdi Kamal, Massoud Pedram

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando construir um robô gigante e falante que possa escrever histórias, resolver problemas matemáticos e conversar como um ser humano. Este robô é chamado de Grande Modelo de Linguagem (LLM). Para fazê-lo funcionar, você precisa de um cérebro de computador super-rápido, geralmente uma Unidade de Processamento Gráfico (GPU), que é o mesmo tipo de chip encontrado em computadores de jogos de alto desempenho. Mas aqui está o problema: esses robôs estão ficando tão grandes e inteligentes que estão se tornando incrivelmente caros para operar. Eles consomem quantidades massivas de eletricidade e levam muito tempo para pensar, o que os torna difíceis de usar em situações do mundo real, como hospitais ou escolas.

A grande questão que os cientistas estão fazendo é: "Como podemos saber exatamente quanta energia e tempo um robô precisará antes mesmo de construí-lo?" Atualmente, para descobrir isso, você geralmente precisa construir o robô, executá-lo e medi-lo com ferramentas especiais. Isso é lento, caro e exige que você tenha o supercomputador em mãos. Se você quiser testar mil designs diferentes de robôs para encontrar o mais eficiente, teria que construir e testar todos eles um por um, o que levaria uma eternidade e custaria uma fortuna.

É aqui que uma equipe de pesquisadores da Universidade do Sul da Califórnia entra com uma nova ideia chamada HYMELL. Pense no HYMELL como uma "bola de cristal" para cientistas da computação. Em vez de construir o robô e testá-lo, esta nova ferramenta permite prever exatamente quão rápido e faminto por energia o robô será apenas olhando para seus projetos (blueprints). Ela usa uma mistura inteligente de fórmulas matemáticas tradicionais e aprendizado de máquina moderno para estimar o custo de execução desses modelos gigantes. Os pesquisadores testaram sua bola de cristal em um chip de computador poderoso chamado NVIDIA H100 e descobriram que ela pode prever a velocidade e o uso de energia do robô com uma precisão incrível — muitas vezes errando por menos de 5%. Isso significa que os engenheiros agora podem testar rapidamente milhares de designs diferentes de robôs em um laptop para encontrar o mais eficiente, sem precisar comprar um supercomputador ou esperar dias por resultados.

O Detetive de Três Níveis

Para entender como o HYMELL funciona, imagine que você está tentando estimar quanto tempo leva para assar um bolo enorme de várias camadas e quanta eletricidade seu forno usará. Você poderia tentar adivinhar o tempo total apenas olhando para o bolo final, mas isso costuma ser impreciso porque você perde os pequenos detalhes. Em vez disso, o HYMELL atua como um detetive de três níveis, decompondo o problema em partes menores e mais gerenciáveis.

Nível 1: Os Ingredientes Minúsculos (Modelagem Analítica)
Primeiro, o sistema observa os "ingredientes" mais básicos do cérebro do robô. Estes são operações matemáticas básicas como multiplicar grades enormes de números (chamadas de GEMM), normalizar dados (RMSNorm) e calcular pontuações de atenção (Softmax). Os pesquisadores perceberam que essas operações minúsculas se comportam de forma diferente dependendo do tamanho do trabalho.

A Analogia: Pense em uma tarefa pequena de cozinha, como picar uma cebola. Se você tem apenas uma cebola, o tempo gasto é determinado principalmente pelo tempo que leva para caminhar até a geladeira, pegar a faca e começar a picar (isso é "limitado pelo lançamento" ou launch-bound). Mas se você tiver que picar uma montanha de cebolas, o tempo é determinado principalmente pela velocidade de picar e pela rapidez com que você move as cebolas (isso é "limitado pela memória" ou memory-bound).
O HYMELL usa fórmulas matemáticas para calcular o custo desses ingredientes minúsculos com base em se o trabalho é pequeno ou enorme. Ele não adivinha; ele usa regras baseadas na física para determinar o custo base dessas operações.

Nível 2: Os Blocos de Receita (Aprendizado de Máquina)
Em seguida, o sistema agrupa esses ingredientes minúsculos em "blocos" maiores, como o Bloco de Atenção (que ajuda o robô a focar em palavras importantes) e a Rede de Alimentação Direta (Feed-Forward Network, que o ajuda a processar informações).

A Analogia: Imagine que você sabe exatamente quanto tempo leva para picar uma cebola e quanto tempo leva para bater ovos. Mas quando você combina esses elementos para fazer uma omelete, existem etapas extras: quebrar a casca, limpar a tigela e talvez esperar um pouco. Essas etapas extras são difíceis de calcular com matemática simples.
Assim, o HYMELL usa um programa de computador pequeno e inteligente (um modelo de Aprendizado de Máquina) para aprender essas "etapas extras". Ele observa as estimativas baseadas em matemática do Nível 1 e adiciona um fator de correção para os excessos (overheads) desordenados do mundo real, como remodelar dados ou alternar entre tarefas. Isso permite que ele preveja o custo de um "bloco de receita" inteiro com muita precisão.

Nível 3: O Bolo Inteiro (Previsão de Ponta a Ponta)
Finalmente, o sistema reúne todos os blocos para prever o custo de todo o robô executando uma conversa completa.

A Analogia: Agora você tem o tempo para a omelete, o bolo e a salada. Mas assar um banquete envolve mais do que apenas somar os tempos. Você tem que se preocupar com o aquecimento do forno, com a cozinha ficando cheia e com o tempo para mover os pratos do balcão para a mesa.
O HYMELL usa outro programa de computador inteligente para pegar os custos de todos os blocos e adicionar esses efeitos de "nível de sistema". Ele considera coisas como quantas pessoas estão fazendo perguntas ao mesmo tempo (tamanho do lote ou batch size) e se o robô está lendo um comando longo ou apenas gerando uma palavra por vez. Isso fornece uma previsão final e precisa do tempo e da energia total necessários.

O Que Eles Descobriram

Os pesquisadores testaram este detetive de três níveis em uma poderosa GPU NVIDIA H100 usando modelos de robôs famosos como LLaMA 3, Mistral e Qwen. Os resultados foram impressionantes.

Alta Precisão: Para os ingredientes minúsculos (Nível 1), as previsões foram incrivelmente próximas da realidade, com erros frequentemente abaixo de 4%. Para o robô inteiro (Nível 3), o sistema previu o tempo e o uso de energia com um erro de menos de 5% para muitos modelos. Por exemplo, ao testar o modelo LLaMA 3 8B, o erro foi de apenas 4,19% para o tempo e 2,92% para a energia durante a fase de "prefill" (leitura do comando), e ainda menor (cerca de 1,5%) durante a fase de "decode" (geração de palavras).
Velocidade e Flexibilidade: Como o HYMELL prevê com base no projeto (parâmetros arquiteturais) em vez de executar o robô, ele é incrivelmente rápido. Ele permite que engenheiros explorem milhares de mudanças de design instantaneamente. Por exemplo, eles poderiam perguntar: "O que acontece se dobrarmos o número de cabeças de atenção?" e obter uma resposta em segundos, mostrando que 64 cabeças seriam a escolha mais eficiente em termos de energia para uma configuração específica.
Funcionando em Diferentes Hardwares: A equipe também mostrou que este método não está preso a apenas um tipo de computador. Eles o testaram em uma GPU diferente (a NVIDIA RTX A6000) e o sistema ainda funcionou bem, com erros em torno de 8%. Isso sugere que, se você quiser usar o HYMELL em um novo chip de computador, não precisa reinventar a roda inteira; você só precisa medir os comportamentos básicos desse novo chip uma vez, e o resto do sistema se adapta automaticamente.

O Que Ele Não É

É importante notar o que o HYMELL não faz. Ele não é uma varinha mágica que diz como construir um robô do zero, nem substitui totalmente a necessidade de testes reais. É uma ferramenta de previsão. Os pesquisadores afirmam explicitamente que, embora seu modelo seja muito preciso, ele ainda possui pequenos erros, especialmente ao lidar com interações muito complexas entre diferentes partes do robô ou ao alternar entre diferentes tipos de otimizações de memória. Além disso, embora tenham testado em computadores individuais, observaram que prever como esses robôs funcionam através de muitos computadores trabalhando juntos (multi-GPU) exigiria adicionar mais alguns passos ao sistema, algo que ainda não resolveram totalmente.

Por Que Isso Importa

A beleza do HYMELL é que ele transforma um jogo de adivinhação lento e caro em uma ciência rápida e precisa. Ao combinar a confiabilidade das fórmulas matemáticas com a flexibilidade do aprendizado de máquina, ele oferece aos designers uma ferramenta poderosa para construir uma IA mais verde, rápida e eficiente. Em vez de queimar eletricidade e tempo para testar cada ideia, eles podem usar esta "bola de cristal" para encontrar os melhores designs antes mesmo de construí-los, pavimentando o caminho para um futuro mais sustentável para a inteligência artificial.

Resumo Técnico: Modelagem Híbrida para Energia e Latência de LLMs (HYMELL)

Declaração do Problema

O escalonamento rápido dos Grandes Modelos de Linguagem (LLMs) levou a aumentos substanciais nos custos computacionais, consumo de energia e latência de inferência. A estimativa precisa dessas métricas é crítica para a implantação sustentável de IA e para o design orientado ao hardware. As abordagens existentes enfrentam limitações significativas:

Modelos Puramente Analíticos (ex: AMALI, LIFE, SweetSpot) frequentemente exigem modelagem manual extensiva, análise detalhada por kernel e especificações de hardware explícitas. Eles têm dificuldade com a escalabilidade ao adaptar-se a novas arquiteturas ou kernels e dependem de suposições que podem não se sustentar sob variações de overhead do sistema.
Métodos Baseados em Proxies (ex: usar o tempo de inferência como um proxy para energia) falham em capturar efeitos arquiteturais refinados ou overheads de nível de sistema, fornecendo apenas estimativas de granularidade grossa.
Modelos Puramente Baseados em Dados frequentemente carecem de interpretabilidade e podem não generalizar bem através de diversos comprimentos de sequência e regimes de batching sem retreinamento extensivo.

Há uma necessidade de um framework que equilibre precisão, interpretabilidade e adaptabilidade para modelar tanto LLMs densos quanto de Mistura de Especialistas (MoE), tanto na fase de prefill quanto na de decode, sem exigir execução de hardware para cada iteração de design.

Metodologia: O Framework HYMELL

Os autores propõem o HYMELL (Hybrid Modeling for Energy and Latency of LLMs), um framework hierárquico de três níveis que combina modelagem analítica para operações primitivas com aprendizado de máquina (ML) para componentes de nível superior. O framework opera em uma GPU NVIDIA H100 (com validação na RTX A6000) e suporta arquiteturas Dense e MoE, bem como Multi-Head Attention (MHA) e Grouped-Query Attention (GQA).

Nível 1: Estimativa Analítica de Operadores Primitivos

Este nível modela operações de baixo nível da GPU usando equações analíticas sensíveis a regimes. Os autores distinguem entre regimes de limitação de lançamento (workloads pequenos dominados pelo overhead de lançamento de kernel) e de limitação de memória (workloads maiores dominados pelo tráfego de memória) de execução.

RMSNorm: Modelado como um operador limitado por memória com overhead fixo. O estimador usa coeficientes de regressão baseados no número de tokens ( $N$ ) e na dimensão oculta ( $d_{model}$ ), distinguindo regimes com base nos elementos totais processados.
Softmax: Modelado para matrizes de atenção causal ( $N \times N$ ). O estimador captura o tráfego de memória quadrático ( $N^2$ ) e a profundidade de redução ( $\log_2 N$ ), alternando regimes com base em limiares de comprimento de sequência.
GEMM (General Matrix Multiplication): O bloco computacional dominante. O modelo particiona os GEMMs em cinco regimes baseados no total de operações de ponto flutuante ( $F$ ) e na Intensidade Aritmética (AI): limitado por lançamento de kernel, limitado por memória, equilibrado (dominante em memória), equilibrado (dominante em computação) e limitado por computação. Inclui fatores de paralelismo ($PF = MN/K$), tráfego de memória ( $B_{in}, B_{out}$ ) e termos de interação para capturar nuances de utilização da GPU.

Nível 2: Predição por ML de Componentes de Nível de Bloco

As estimativas analíticas do Nível 1 servem como entradas para Perceptrons de Camadas Multicamadas (MLPs) leves para prever os custos de blocos complexos, capturando overheads residuais não explicitamente modelados (ex: reshaping de tensores, masking, funções de ativação e roteamento).

Bloco de Atenção: Recebe as predições de GEMM e Softmax, junto com parâmetros arquiteturais (cabeças, dimensões), para prever o tempo e a energia total da atenção. Ele suporta tanto MHA quanto GQA, modelando explicitamente o comprimento do KV-cache ( $L_{KV}$ ) durante o decode autorregressivo.
Bloco FFN: Utiliza predições de GEMM para projeções up/down. Para arquiteturas MoE, incorpora o número de especialistas e o top- $k$ de roteamento como entradas para prever o custo agregado.

Nível 3: Estimativa de Sistema de Ponta a Ponta

Um MLP final agrega as predições de nível de bloco com parâmetros globais do sistema (dimensão do modelo, contagem de camadas, comprimento da sequência, tamanho do batch, modo de inferência, configuração MoE). Este nível captura efeitos de nível de sistema como agendamento de kernel, sincronização entre camadas e overheads de framework que são difíceis de modelar em níveis inferiores.

Principais Contribuições

Arquitetura Híbrida de Três Níveis: Um framework inovador que aproveita a interpretabilidade de modelos analíticos para primitivos e a flexibilidade de ML para interações complexas e overheads.
Modelagem Analítica Sensível a Regimes: Separação explícita de regimes de lançamento e memória (ou computação) para RMSNorm, Softmax e GEMM, melhorando significativamente a precisão para tensores pequenos e workloads variados.
Portabilidade Independente de Hardware: Embora treinado em hardware específico, o framework é projetado para ser portátil. Adaptar para novas GPUs requer apenas o re-perfilamento para atualizar os coeficientes analíticos e o ajuste fino de MLPs leves, evitando a necessidade de rediscutir equações estruturais.
Suporte a Diversas Arquiteturas: O modelo lida com FFNs densos e MoE, mecanismos MHA e GQA, além de vários comprimentos de sequência e tamanhos de batch.

Resultados Experimentais

O framework foi avaliado em uma GPU NVIDIA H100 usando aproximadamente 1.200 configurações de modelos (incluindo LLaMA 3 8B, Mistral 7B e Qwen 1.5 2.7B MoE).

Precisão ao Nível de Operador:
- RMSNorm: Alcançou MAPE de 1,69% (Tempo) e 3,38% (Energia).
- Softmax: Alcançou MAPE de 3,27% (Tempo) e 1,92% (Energia).
- GEMM: Alcançou MAPE de 6,38% (Tempo) e 5,79% (Energia) através de diversos regimes.
Precisão ao Nível de Bloco:
- Atenção: MAPE de 1,98% (Tempo) e 2,42% (Energia).
- FFN: MAPE de 4,62% (Tempo) e 5,47% (Energia) para densos; ligeiramente maior para MoE devido ao overhead de roteamento.
Precisão de Ponta a Ponta:
- Alcançou um MAPE médio de 10,98% para latência e 11,78% para energia em modelos densos e MoE, tanto nas fases de prefill quanto de decode.
- Comparação com AMALI: No LLaMA 3 8B (batch size 1), o HYMELL superou significativamente o modelo analítico AMALI. O HYMELL alcançou um MAPE de tempo de 4,19% (prefill) e 1,58% (decode) comparado aos 15,56% e 34,90% do AMALI, respectivamente. O HYMELL também forneceu estimativas de energia, o que o AMALI não fez.
Generalização:
- Entre Dispositivos: Ao ser portado para uma NVIDIA RTX A6000, o framework manteve uma forte precisão (MAPE de Tempo Médio: 8,14%, MAPE de Energia: 8,62%) após o re-perfilamento.
- Extensibilidade Arquitetural: O framework estimou com sucesso variantes de atenção linear com baixo erro (MAPE de Tempo: 1,91%), demonstrando adaptabilidade a mecanismos de atenção não padronizados.

Significância e Alegações

O artigo afirma que o HYMELL fornece um surrogato livre de hardware e rápido para avaliação de inferência de LLM. Ao prever custos de execução diretamente de parâmetros arquiteturais, ele permite:

Exploração Rápida do Espaço de Design: Pesquisadores podem varrer parâmetros (ex: cabeças de atenção, dimensões do modelo, configurações MoE) para identificar configurações que minimizem energia ou latência sem executar experimentos físicos.
Otimização Eficiente de Energia: O framework suporta a otimização conjunta de parâmetros arquiteturais para design orientado ao hardware.
Escalabilidade: A abordagem híbrida evita a complexidade de modelos totalmente analíticos enquanto mantém melhor generalização do que modelos puramente baseados em dados "black-box".

Os autores enfatem que, embora a avaliação foque na inferência de GPU única, a natureza modular do framework permite a extensão para escalonamento multi-GPU ao incorporar primitivas de comunicação coletiva e largura de banda de rede como recursos globais. O trabalho serve como uma fundação para o deployment sustentável de IA ao permitir a estimativa precisa e precoce de energia e latência.