💬 NLP

Hardware Co-Design Scaling Laws via Roofline Modelling for On-Device LLMs

Este artigo propõe um framework de co-design de hardware-software baseado em leis de escala (*scaling laws*) e modelagem *roofline* para otimizar a seleção de arquiteturas de LLMs em dispositivos com recursos limitados, permitindo encontrar modelos que equilibram precisão e latência de forma muito mais rápida e eficiente.

Autores originais: Luoyang Sun, Jiwen Jiang, Yifeng Ding, Fengfa Li, Yan Song, Haifeng Zhang, Jian Ying, Lei Ren, Kun Zhan, Wei Chen, Yan Xie, Cheng Deng

Publicado 2026-02-12

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Luoyang Sun, Jiwen Jiang, Yifeng Ding, Fengfa Li, Yan Song, Haifeng Zhang, Jian Ying, Lei Ren, Kun Zhan, Wei Chen, Yan Xie, Cheng Deng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você quer construir um carro de corrida perfeito para correr em uma cidade cheia de becos estreitos e semáforos (que seria o seu celular ou um robô), em vez de uma pista de Fórmula 1 gigante e aberta (que seria um supercomputador na nuvem).

O problema é que, se você colocar um motor gigante (um modelo de IA muito grande), o carro não passa nos becos ou gasta combustível rápido demais. Se colocar um motor minúsculo, o carro é lento e não chega a lugar nenhum.

Este artigo científico apresenta uma "fórmula mágica" para projetar o melhor "carro" (o modelo de IA) para cada "estrada" (o hardware do dispositivo), equilibrando inteligência e velocidade.

Aqui está a explicação dividida em três conceitos principais:

1. A Lei do Equilíbrio (O Dilema do Chef de Cozinha)

Imagine um chef de cozinha que precisa preparar um banquete. Ele tem dois limites: o tempo que o cliente pode esperar e o tamanho da cozinha (o espaço no chip do celular).

Se ele tentar fazer pratos muito complexos (IA muito inteligente), ele vai demorar demais e o cliente vai embora.
Se ele fizer pratos muito simples, o cliente fica insatisfeito.

Os pesquisadores criaram uma "Lei de Escalonamento". Eles treinaram centenas de modelos diferentes para entender exatamente como aumentar a "inteligência" afeta o "tempo de resposta". Com isso, eles não precisam mais testar cada receita uma por uma (o que levaria meses); eles agora têm uma fórmula que prevê o resultado em dias.

2. O Modelo "Telhado e Chão" (Roofline Modelling)

Para entender por que a IA trava, eles usam uma ideia chamada Roofline. Imagine que você está tentando encher um balde com água usando uma mangueira.

O Gargalo da Água (Largura de Banda): Às vezes, a mangueira é muito fina. Não importa o quão rápido você tente abrir a torneira, a água só sai naquele ritmo. Isso é o que acontece quando o chip do celular não consegue "ler" os dados da memória rápido o suficiente.
O Gargalo da Torneira (Poder de Computação): Às vezes, a mangueira é enorme, mas a torneira é pequena e só deixa passar um fiozinho de água. Isso é quando o processador não consegue fazer os cálculos rápido o suficiente.

O artigo ensina como desenhar a IA para que ela não fique "presa" nem na mangueira fina, nem na torneira pequena, aproveitando o máximo de cada uma.

3. A Estratégia dos "Especialistas" (MoE - Mixture of Experts)

Em vez de ter um único gênio que sabe tudo (o que é muito pesado e lento), os pesquisadores sugerem usar um grupo de especialistas.

Imagine que você tem uma biblioteca. Em vez de um bibliotecário que leu todos os milhões de livros do mundo (e é muito lento para pensar), você tem 16 especialistas: um em matemática, um em história, um em culinária, etc. Quando você faz uma pergunta sobre bolo, você chama apenas o especialista em culinária.

Isso permite que o modelo seja "gigante" em conhecimento, mas "pequeno" e rápido na hora de responder, porque ele só usa uma fração do seu cérebro por vez. O artigo descobriu que, para dispositivos móveis, essa estratégia de "especialistas" é quase sempre a melhor.

Resumo da Ópera

Em vez de tentar enfiar um cérebro de elefante dentro de um corpo de formiga, os pesquisadores criaram um manual de instruções para construir um "cérebro de formiga super-eficiente".

O resultado? Eles conseguiram criar uma IA que é muito mais inteligente que as atuais, mantendo a mesma velocidade de resposta em dispositivos como o NVIDIA Jetson (usado em carros autônomos e robôs). Eles transformaram um processo de meses de tentativa e erro em um cálculo de poucos dias.

Resumo Técnico: Leis de Escalonamento de Co-Design de Hardware via Modelagem Roofline para LLMs On-Device

1. O Problema

O deploy de Grandes Modelos de Linguagem (LLMs) em dispositivos de borda (on-device), como veículos autônomos e robôs, enfrenta um conflito fundamental: a necessidade de alta precisão (baixa perda/loss) versus restrições severas de hardware (latência, largura de banda de memória, consumo de energia e capacidade de armazenamento).

As arquiteturas otimizadas para nuvem (GPUs de alto desempenho) são frequentemente inviáveis para o dispositivo devido ao perfil irregular de computação e memória dos Transformers. O desafio reside em como selecionar ou projetar uma arquitetura que maximize a precisão para um orçamento de latência e memória específico de um hardware determinado, evitando o processo de tentativa e erro que pode levar meses.

2. Metodologia

Os autores propõem o PLAS (Pareto-optimal LLM Architecture Search), um framework que integra modelagem de perda (precisão) com modelagem de desempenho (latência) através de um "co-design" entre software e hardware. A metodologia baseia-se em três pilares:

Modelagem de Precisão (Scaling Laws de Perda): Em vez de treinar milhares de modelos, os autores treinaram 170 arquiteturas (densas e MoE) por 10 bilhões de tokens cada. Com esses dados, ajustaram uma lei de escalonamento polinomial que prevê a perda de validação com base em hiperparâmetros arquiteturais (profundidade $l$ , largura $d$ , razão de expansão FFN $r$ , taxa de ativação de especialistas $\rho$ , etc.).
Modelagem de Desempenho (Modelo Roofline): Utilizam a análise Roofline para caracterizar a latência. Eles classificam as operações como limitadas por computação (compute-bound) ou por largura de banda de memória (memory-bound). O modelo calcula a latência de preenchimento (prefill) e de decodificação (decode), levando em conta o tráfego de pesos e o uso do cache KV.
Busca de Arquiteturas Pareto-Otimais: Ao combinar as duas funções (perda e latência), o framework identifica a Fronteira de Pareto — o conjunto de arquiteturas onde não é possível melhorar a precisão sem aumentar a latência. Isso permite que o designer escolha o modelo ideal para um orçamento de tempo específico.

3. Principais Contribuições

Primeira Lei de Co-Design de Hardware para LLMs On-Device: Um framework operacional que une leis de escalonamento de perda com modelagem de latência baseada em hardware.
Framework Teórico de Otimização: O artigo não apenas busca empiricamente, mas deriva soluções matemáticas fechadas para arquiteturas ideais sob diferentes regimes de restrição (latência, memória ou ambos).
Redução de Tempo de Design: O método reduz o tempo de seleção de arquiteturas de meses para poucos dias.
Descoberta de Padrões Arquiteturais: Identificação de que arquiteturas de Mistura de Especialistas (MoE) e designs "largos e rasos" (wide-and-shallow) são superiores para dispositivos de borda.

4. Resultados Principais

Superioridade do MoE: Em cenários de inferência com batch size 1 (comum em dispositivos de borda), as arquiteturas MoE dominaram 100% da fronteira de Pareto, oferecendo maior capacidade com custo computacional similar às densas.
Padrão "Wide-and-Shallow": Ao contrário dos modelos de nuvem que tendem a ser muito profundos, os modelos ideais para o dispositivo tendem a ter menos camadas e maior largura, pois a largura oferece uma redução de perda mais eficiente por unidade de latência sob restrições severas.
Validação Empírica: Testado no NVIDIA Jetson Orin, o modelo co-projetado alcançou uma perplexidade 19,42% menor do que o Qwen2.5-0.5B, mantendo a mesma latência de inferência.
Efeito da Quantização: A quantização INT8 melhora a fronteira de Pareto, mas o ganho é sublinear devido ao overhead de operações não lineares (como Softmax e LayerNorm) que permanecem em maior precisão.

5. Significância

Este trabalho é um marco para a IA Física (Physical AI). Ele fornece uma base científica para engenheiros de sistemas e pesquisadores de ML projetarem modelos que não sejam apenas "inteligentes", mas "eficientes por design" para o hardware real. Ao transformar o design de arquitetura de um processo de busca exaustiva em um problema de otimização matemática previsível, o artigo pavimenta o caminho para o deploy de modelos de linguagem cada vez mais capazes em robótica, veículos autônomos e dispositivos móveis.