🤖 machine learning

LLMForge: Multi-Backend Hardware-Aware Neural Architecture Search with Infinite-Head Attention for Edge Language Models

LLMForge é um framework de busca de arquitetura neural consciente de hardware que aproveita a Atenção de Cabeças Infinitas e um modelo de custo multi-backend para gerar automaticamente modelos de linguagem otimizados com menos de um bilhão de parâmetros, adaptados a restrições específicas de dispositivos de borda, alcançando melhorias significativas em eficiência energética, latência e precisão do modelo em comparação com as bases existentes.

Autores originais: Xinting Jiang, Junyi Luo, Ruichen Qi, Kauna Lei, Ben Laurie, Gregory Kielian, Mehdi Saligane

Publicado 2026-05-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xinting Jiang, Junyi Luo, Ruichen Qi, Kauna Lei, Ben Laurie, Gregory Kielian, Mehdi Saligane

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando construir o cérebro robótico perfeito e minúsculo, capaz de rodar em um smartphone ou um relógio inteligente. Você quer que ele seja inteligente o suficiente para entender a linguagem, mas pequeno o suficiente para caber no seu bolso sem drenar a bateria ou esquentar o telefone.

O problema é que os "projetos" padrão para esses cérebros (chamados Transformers) foram desenhados para supercomputadores massivos. Quando você tenta reduzi-los para dispositivos de borda, eles frequentemente ficam presos em engarrafamentos, ficam sem memória ou consomem energia demais.

LLMForge é uma nova ferramenta criada por pesquisadores para resolver isso. Pense nela como um arquiteto superinteligente e consciente do hardware que não apenas encolhe o cérebro; ele redesenha completamente o projeto com base no "terreno" específico do dispositivo onde ele vai viver.

Veja como o LLMForge funciona, dividido em três partes simples:

1. Atenção de Cabeças Infinitas (IHA): Quebrando as Regras

Os cérebros robóticos tradicionais têm um livro de regras rígido. Se você quiser aumentar o número de "cabeças pensantes" (processadores que olham para diferentes partes de uma frase), é forçado a tornar cada cabeça menor. É como uma pizza: se você a cortar em mais fatias, cada fatia fica menor. Isso limita o quão inteligente o cérebro pode ser.

Inovação do LLMForge: Ele joga fora o livro de regras rígido. Com a Atenção de Cabeças Infinitas, o arquiteto pode alterar o número de fatias, o tamanho das fatias e o tipo de cobertura independentemente para cada camada individual do cérebro.

A Analogia: Imagine uma equipe de construção que geralmente precisa construir salas em tamanhos idênticos. O LLMForge lhes dá uma ferramenta mágica que permite construir um armário minúsculo ao lado de uma sala de baile enorme, e depois um escritório médio, tudo dentro do mesmo plano de piso. Isso expande o número de projetos possíveis em 400 vezes, permitindo encontrar uma forma que se encaixe perfeitamente nas restrições de um dispositivo específico.

2. Forge-Former: A Bola de Cristal

Construir e testar um novo projeto de cérebro do zero é caro e lento. É como assar um bolo apenas para ver se a receita funciona, e depois jogá-lo fora. Se você tiver milhares de receitas para testar, iria à falência.

Solução do LLMForge: Eles construíram uma Bola de Cristal chamada Forge-Former.

Como funciona: Em vez de assar cada bolo individualmente, a Bola de Cristal olha para a receita (o projeto) e prevê exatamente o quão bom o bolo vai ficar (quão inteligente o modelo será) e quanta energia ele consumirá.
O Resultado: Esta bola de cristal é muito mais precisa do que as ferramentas de "adivinhação" anteriores. Ela permite que o sistema teste milhares de projetos no tempo que antes levava para testar apenas alguns, economizando quantidades massivas de tempo e energia.

3. Forge-DSE: O Navegador Multiferramenta

Dispositivos diferentes têm problemas diferentes. Uma placa de vídeo de alto desempenho (GPU) pode ser limitada pela velocidade com que pode mover dados, enquanto um chip minúsculo em um relógio inteligente pode ser limitado pela quantidade de calor que consegue suportar. Um projeto perfeito para um pode ser terrível para outro.

Abordagem do LLMForge: O motor Forge-DSE atua como um navegador com uma multiferramenta.

Ele não procura apenas o modelo "mais inteligente". Ele busca o melhor compromisso (uma "frente de Pareto") entre ser inteligente, rápido e energeticamente eficiente.
Ele testa os projetos contra quatro tipos diferentes de hardware (como uma GPU de alta velocidade, um chip especializado e um chip em formato de anel).
O Resultado: O sistema percebe que "um tamanho não serve para todos". Ele produz projetos diferentes e únicos para cada dispositivo.
- Para um dispositivo focado em velocidade, ele constrói um cérebro largo e raso.
- Para um dispositivo focado em energia, ele constrói um cérebro profundo e estreito.

Os Resultados: Vitórias do Mundo Real

Os pesquisadores testaram este sistema em dois tamanhos de modelos (cerca de 100 milhões e 300 milhões de parâmetros) e os compararam com modelos populares existentes, como SmolLM2 e Qwen.

O Modelo de "Precisão": Um de seus novos projetos foi mais inteligente (menor taxa de erro) do que a concorrência, mesmo tendo menos parâmetros (era menor).
O Modelo de "Energia": Outro projeto usou 40% menos energia por palavra gerada em comparação com os modelos padrão.
O Modelo de "Velocidade": Um terceiro projeto foi 43% mais rápido ao começar a falar (Tempo até o Primeiro Token) e ao terminar frases.

Resumo

LLMForge é um sistema que para de tentar forçar um cérebro "tamanho único" em todos os dispositivos. Em vez disso, ele usa uma linguagem de design flexível, uma bola de cristal de previsão rápida e um navegador inteligente para projetar um cérebro personalizado para cada peça específica de hardware. O resultado é uma IA menor, mais rápida e mais eficiente em energia que realmente cabe no seu bolso.

Resumo Técnico: LLMForge

Declaração do Problema

Modelos de linguagem Transformer com menos de um bilhão de parâmetros estão sendo cada vez mais implantados em dispositivos de borda para aproveitar vantagens de privacidade, latência e custo. No entanto, a inferência no dispositivo é limitada por faixas estreitas de largura de banda de memória, energia e orçamentos térmicos. Abordagens existentes frequentemente dependem de compressão pós-treinamento (quantização, poda), o que deixa os graus de liberdade arquitetônicos subjacentes inexplorados. Além disso, os pipelines atuais de Busca de Arquitetura Neural Consciente de Hardware (NAS) para Transformers sofrem de três limitações:

Espaço de Busca Restrito: Parametrizações de atenção frequentemente fixam dimensões por cabeça e acoplam capacidades de chave/valor, limitando as configurações de forma viáveis a uma única escolha de contagem de cabeças.
Gargalo de Avaliação: Avaliar candidatos treinando-os do zero é computacionalmente caro.
Modelagem de Custo Grossa: Custos de hardware são frequentemente modelados via classes únicas de aceleradores ou proxies grosseiros (por exemplo, contagem de parâmetros), mascarando o reclassificação dependente do substrato dos candidatos.

Metodologia

Os autores apresentam o LLMForge, um framework de NAS consciente de hardware que integra três contribuições composáveis em um único loop de busca evolutiva NSGA-II.

1. Atenção de Cabeças Infinitas (IHA)

A IHA desacopla os parâmetros de forma da atenção ( $n_h$ , $n_{kv}$ , $d_{qk}$ , $d_v$ ) como variáveis independentes por camada. Diferentemente da Atenção Multi-Cabeça (MHA) padrão ou da Atenção com Consulta Agrupada (GQA), que impõem restrições de divisibilidade ( $d_{model} = n_h \cdot d_h$ ) e acoplamento Q/K–V ( $d_h = d_{qk} = d_v$ ), a IHA relaxa essas restrições. Ela preserva apenas a condição de agrupamento GQA ( $n_{kv} | n_h$ ).

Impacto: Isso expande o espaço de configuração de atenção viável por camada em aproximadamente 400× (de 27 configurações sob GQA para 11.250 sob IHA dentro das faixas de busca definidas).

2. Forge-Former (Surrogato de Precisão)

Para abordar o gargalo de avaliação, os autores introduzem o Forge-Former, um modelo surrogato baseado em codificador Transformer.

Arquitetura: Ele codifica uma arquitetura como uma sequência de tokens de camada, onde cada token concatena os parâmetros de IHA da camada. Campos escalares são elevados via camadas lineares e somados a embeddings posicionais. Um codificador Transformer pré-LN captura interações dentro da camada (via subcamadas feedforward) e interações entre camadas (via autoatenção).
Desempenho: Na divisão de teste IHA, o Forge-Former alcança um Spearman $\rho = 0,75$ e Kendall $\tau = 0,58$ , superando as bases MLP e random-forest em 1,4 a 2,5×. Ele permite a seleção do NSGA-II a uma fração do custo de treinar do zero.

3. Forge-DSE (Motor de Exploração de Espaço de Projeto)

O Forge-DSE é o motor de busca multi-objetivo que acopla o Forge-Former a um modelo de custo de hardware multi-backend.

Loop de Busca: Ele evolui populações de arquiteturas parametrizadas por IHA usando NSGA-II com ordenação não dominada e sobrevivência baseada em distância de aglomeração. Emprega operadores de mutação personalizados (exclusão, duplicação, rotação, perturbação numérica) e uma etapa de reparo de viabilidade.
Co-evolução do Surrogato: O framework refina opcionalmente o Forge-Former durante a busca, re-treinando amostras informativas da população atual e ajustando finamente o surrogato via replay de experiência, corrigindo deslocamento de distribuição.
Backends de Hardware: O sistema suporta três backends distintos:
1. Backend A: Custos medidos em uma GPU NVIDIA A100 usando ZEUS.
2. Backend B: Custos analíticos via Timeloop para fluxos de dados sistólicos (Gemmini), row-stationary (Eyeriss) e atenção fundida (FLAT).
3. Backend C: Um simulador de fluxo de dados em anel multi-chip (rDXE) para aceleradores de borda, realizando busca conjunta de arquitetura e chip.

Resultados Chave

Validação do Surrogato

No conjunto de dados IHA, o Forge-Former supera significativamente as bases na fidelidade de classificação e recuperação top-X%. Ele reduz o Erro Absoluto Médio (MAE) para os 5% superiores de arquiteturas em aproximadamente 5× comparado às bases MLP e Random Forest. A análise t-SNE confirma que os embeddings do Forge-Former refletem melhor a similaridade de desempenho, agrupando caudas de alta perda de forma compacta.

Desempenho de Busca Multi-Backend

Através de quatro substratos de hardware (A100, Gemmini, Eyeriss, FLAT), as buscas convergem para arquiteturas distintas da frente de Pareto que rastreiam os gargalos de custo específicos de cada substrato:

A100 (Rico em largura de banda): Resulta em larguras de MLP planas e cabeças de atenção mais largas.
Eyeriss/Gemmini (Limitados por cache KV): Colapsam $n_{kv}$ em atenção com consulta agrupada agressiva e compensam com capacidade de MLP mais ampla.
FLAT (Flexível): Produz o menor modelo com profundidade rasa e cabeças estreitas.
Melhorias: Comparado à base SmolLM2-135M, a busca produz reduções de 5–7% na perda de validação, 16–63% em energia por token e 16–59% nas métricas de latência (TTFT/TPOT).

Validação Escalada no rDXE

Os autores realizaram uma busca conjunta de arquitetura e chip no substrato em anel multi-chip rDXE, re-treinando candidatos selecionados no FineWeb-Edu-10BT (13,1B tokens) contra as bases SmolLM2 e Qwen:

Variante de Precisão (347M parâmetros): Alcançou a menor perda de validação (2,798) e desempenho competitivo em benchmarks com menos parâmetros que o SmolLM2-360M e o Qwen-0.5B.
Variante de Energia (294M parâmetros): Reduziu a energia por token em 40%.
Variante de Latência (365M parâmetros): Reduziu o Tempo até o Primeiro Token (TTFT) e o Tempo por Token de Saída (TPOT) em 43%.

Significado e Alegações

O artigo alega que o LLMForge demonstra que o NAS consciente de hardware pode produzir frentes de Pareto condicionadas ao substrato em vez de uma única arquitetura "melhor". Ao desacoplar parâmetros de atenção via IHA e utilizar um surrogato baseado em codificador de alta fidelidade, o framework remodela efetivamente os perfis de largura e profundidade por camada para corresponder a gargalos de hardware específicos.

Os autores posicionam o LLMForge como uma contribuição metodológica que permite a descoberta de pares de configuração de arquitetura e chip conscientes de implantação. Eles notam que, embora as reduções de energia e latência sejam modestas, elas beneficiam principalmente o custo operacional e o perfil de carbono da inferência repetida em borda. O trabalho é limitado a escalas sub-bilionárias de parâmetros ( $\le$ 500M) devido ao custo computacional de gerar o corpus de treinamento para o surrogato, com a escalabilidade para modelos de bilhões de parâmetros identificada como um passo futuro.