🤖 AI

BaseRT: Best-in-Class LLM Inference on Apple Silicon via Native Metal

O artigo apresenta o BaseRT, um tempo de execução de inferência Metal nativo para Apple Silicon que aproveita otimizações específicas do chip para alcançar uma taxa de transferência recorde para grandes modelos de linguagem, superando frameworks existentes como llama.cpp e MLX em até 1,56x.

Autores originais: Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

Publicado 2026-07-02

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Construindo um Carro de Corrida Customizado

Imagine que você quer dirigir um carro de corrida (um Grande Modelo de Linguagem, ou LLM) em uma pista muito específica (chips Apple Silicon como o M3 ou M4).

Atualmente, a maioria das pessoas dirige esses carros usando um "adaptador universal" ou um "kit de carro alugado" (softwares existentes como llama.cpp ou MLX). Esses kits são ótimos porque funcionam em muitas pistas diferentes, mas não são perfeitamente ajustados para esta pista específica da Apple. Eles têm peso extra, etapas desnecessárias e um motorista que não conhece os atalhos.

BaseRT é um novo carro de corrida construído sob medida, projetado apenas para a pista da Apple. A equipe da Base Compute removeu os adaptadores pesados e construiu um veículo do zero para combinar com as curvas e regras únicas da pista. O resultado? Ele dirige significativamente mais rápido.

O Problema: Por que o Software Atual é "Lento"

O artigo argumenta que o software existente para rodar IA em Macs é como um caminhão de entrega fazendo paradas demais.

O Problema do "Intermediário": A maioria dos softwares usa um "framework" (como um intermediário) para falar com o chip gráfico (GPU) do computador. Esse intermediário adiciona etapas extras, como um gerente checando uma prancheta antes de cada tarefa.
O Problema da "Memória": Computadores Apple têm um recurso especial chamado "Memória Unificada", onde a CPU e a GPU compartilham o mesmo grande reservatório de RAM. O software existente muitas vezes os trata como se estivessem em salas separadas, forçando os dados a caminhar de um lado para o outro desnecessariamente.

A Solução: Como o BaseRT Funciona

O BaseRT elimina o intermediário e constrói uma rodovia direta entre o cérebro e o músculo. Aqui estão os quatro truques principais que eles usaram:

O Projeto "Orientado a Dados":
Em vez de escrever um novo conjunto de instruções para cada modelo de IA diferente (como Qwen, Llama ou Gemma), o BaseRT usa um projeto único e flexível. Pense nisso como um controle remoto universal que detecta automaticamente para qual TV você está apontando e muda seus botões instantaneamente, em vez de precisar de um controle diferente para cada marca. Isso mantém o motor funcionando suavemente sem parar para reconfigurar.
O Loop de "Parada Zero":
Quando você pede para uma IA escrever uma frase, ela gera uma palavra de cada vez. No software antigo, o computador tem que encontrar uma vaga de estacionamento (alocação de memória) para cada nova palavra que cria. O BaseRT pré-estaciona todos os lugares antes da corrida começar. Uma vez que a IA começa a falar, ela nunca para para procurar uma vaga; ela apenas continua dirigindo. Isso elimina os "engarrafamentos" causados pelo gerenciamento de memória.
A Cozinha de "Fusão":
Normalmente, uma IA tem que cozinhar ingredientes em panelas separadas (Multiplicação de Matrizes, Atenção, Normalização) e mover a comida entre elas. O BaseRT funde essas etapas em uma única panela gigante. Ele cozinha os ingredientes juntos em um único movimento, economizando o tempo gasto para mover a comida de um lado para o outro.
O "Motorista Customizado":
O software sabe exatamente em qual chip Apple está rodando (M1, M2, M3, etc.). Ele ajusta seu estilo de condução com base no tamanho específico do motor, garantindo que obtenha o máximo de potência de cada gota de combustível.

Os Resultados: Quem Ganhou a Corrida?

A equipe testou o BaseRT contra os dois maiores concorrentes: llama.cpp (o executor de código aberto mais popular) e MLX (o próprio framework oficial da Apple).

Velocidade: O BaseRT foi o mais rápido em quase todos os testes.
- Em modelos pequenos, foi até 1,56 vezes mais rápido que o llama.cpp.
- Em modelos de grande escala "Mixture-of-Experts" (cérebros de IA complexos), foi até 1,78 vezes mais rápido ao processar o prompt inicial.
O Ponto Ideal do "Modelo Pequeno": As maiores vitórias ocorreram em modelos menores. Isso ocorre porque, em modelos pequenos, o "overhead" (o tempo perdido em tarefas administrativas) representa uma grande parte do tempo total. Ao cortar esse desperdício, o BaseRT fez uma diferença massiva.
A Realidade do "Modelo Grande": Em modelos muito grandes, a velocidade é limitada principalmente pela rapidez com que os dados podem se mover através da memória (largura de banda). Mesmo com um motor perfeito, você não pode ultrapassar o limite de velocidade da estrada. No entanto, o BaseRT ainda conseguiu extrair velocidade extra aqui, provando que o software anterior não estava usando a estrada de forma eficiente.

Por Que Isso Importa? (A Mudança para a "Borda")

O artigo sugere que estamos nos movendo em direção a um futuro onde a IA roda no seu próprio dispositivo (seu laptop ou celular) em vez de em um servidor remoto na nuvem.

Privacidade: Seus dados nunca saem do seu computador.
Velocza: Sem esperar que a internet envie sua solicitação de volta e para frente.
Custo: Você não paga uma taxa mensal por palavra; você apenas paga pelo hardware uma única vez.

O BaseRT prova que o Apple Silicon é muito mais poderoso para rodar IA localmente do que pensávamos, se você usar um software construído especificamente para ele.

O Que o BaseRT Não Faz (As Limitações)

O artigo é honesto sobre o que esta ferramenta ainda não é:

Usuário Único Apenas: É projetado para uma pessoa usando a IA por vez. Não lida com centenas de pessoas fazendo perguntas simultaneamente (carga de servidor).
Apenas Apple: Só funciona em Macs e iPads. Ainda não funciona em Windows, Android ou placas gráficas NVIDIA.
Sem "Visão" Ainda: Atualmente lida com modelos de texto, não modelos que podem "ver" imagens.

O Resumo Final

Os autores construíram um motor customizado (BaseRT) que remove todo o peso desnecessário de rodar IA em computadores Apple. Ao fazer isso, eles desbloquearam o potencial total de velocidade do hardware, tornando a IA local mais rápida, privada e eficiente do que nunca. Você pode testá-lo você mesmo no GitHub.

Resumo Técnico: BaseRT – Inferência de LLM de Classe Mundial em Apple Silicon via Metal Nativo

Declaração do Problema

O artigo identifica uma lacuna de desempenho na inferência de Grandes Modelos de Linguagem (LLMs) em Apple Silicon. Embora a arquitetura de memória unificada (UMA) da Apple ofereça alta largura de banda e capacidade adequadas para implantação de LLMs locais, os runtimes existentes falham em explorar totalmente este hardware.

Sobrecarga de Framework: Runtimes dominantes como o llama.cpp (originalmente focado em CPU com um backend Metal) e o MLX (um framework de arrays de propósito geral com avaliação preguiçosa/lazy evaluation) introduzem restrições arquiteturais. Estas incluem camadas de abstração desnecessárias, agendamento de nível de framework e sobrecargas de despacho que não são otimizados para o modelo de execução do Metal.
Utilização Subotimizada de Recursos: Estes frameworks frequentemente deixam desempenho "na mesa", particularmente em relação a sobrecargas de lançamento de kernel, ineficiências de layout de memória e a incapacidade de realizar fusão de kernels específica para o chip.
Contexto de Inferência na Borda (Edge): À medida que a indústria se desloca para a inferência na borda impulsionada por preocupações com privacidade, latência, conectividade e custo, a incapacidade dos runtimes atuais de maximizar o throughput em hardware de consumo limita a viabilidade da IA on-device.

Metodologia

O BaseRT é um runtime de inferência C++ nativo construído diretamente sobre a API Metal da Apple, eliminando dependências de frameworks intermediários como MLX, PyTorch ou CoreML. O design é guiado por quatro princípios fundamentais para minimizar a sobrecarga:

Descritores de Arquitetura Orientados a Dados: Em vez de codificar variações de arquitetura (ex: mecanismos de atenção, normalização) de forma rígida no loop de inferência via ramificações condicionais, o BaseRT captura essas diferenças como dados. Um descritor compacto direciona o motor, garantindo que o "caminho quente" (hot path) permaneça idêntico entre diferentes famílias de modelos (LLaMA, Qwen3, Gemma, etc.), reduzindo ramificações e melhorando a uniformidade.
Loop de Decodificação com Alocação Zero: Para eliminar a contenção de gerenciamento de memória, todos os buffers intermediários (resíduos, scratch de atenção, logits, KV cache) são pré-alocados no carregamento. O loop de decodificação aloca zero bytes durante a operação, dependendo inteiramente de despacho de comando de GPU e patching leve no lado da CPU.
Fusão e Especialização de Kernel:
- Fusão: O BaseRT funde sequências de operadores (ex: dentro de caminhos de atenção e blocos feed-forward) que normalmente são despachados como kernels separados em outros runtimes. Isso reduz as viagens de ida e volta à memória global e a sobrecarga de lançamento de kernel, o que é crítico durante a fase de decodificação, onde os tempos de execução de kernels individuais são curtos.
- Especialização: O runtime inclui uma biblioteca de shaders Metal escritos à mão com variantes dedicadas de GEMV (para decodificação) e GEMM (para prefill) para cada formato de quantização (Q2–FP16). A desquantização é integrada diretamente no loop interno para evitar a materialização de pesos na memória global.
- Adaptabilidade de Hardware: A seleção de kernel, tamanhos de threadgroup e decisões de fusão são configurados dinamicamente com base no chip específico (M1–M5) e na contagem de núcleos da GPU.
Otimização de Prefill: Operações de prefill utilizam kernels GEMM tileados com intrínsecos de matriz simdgroup. Uma implementação de FlashAttention computa a atenção em tiles usando softmax online para atingir complexidade de memória $O(n)$ , evitando a materialização da matriz de atenção completa $O(n^2)$ .

Principais Contribuições

Runtime Metal Nativo: O primeiro runtime de inferência de LLM para Apple Silicon construído nativamente em Metal sem depender de MLX ou outros frameworks intermediários.
Otimizações Específicas de Chip: Implementação de estratégias de fusão de kernel e layouts de dados conscientes de memória unificada especificamente adaptados à topologia do Apple Silicon.
Lógica de Despacho Customizada: Um mecanismo de despacho de comando de baixa sobrecarga que remove o agendamento por operador e o trabalho de avaliação de grafo encontrado em runtimes baseados em framework.
Benchmarking Abrangente: Uma avaliação rigorosa através de múltiplas famílias de modelos (Qwen3, Llama 3.2, Gemma 4) e níveis de quantização (Q4, Q8) em dispositivos M3 e M4 Pro, estabelecendo novos baselines de throughput.

Resultados

O artigo relata que o BaseRT alcança o maior throughput de inferência em Apple Silicon até o momento, superando o llama.cpp, MLX e o runtime nativo de Metal uzu (Mirai).

Throughput de Decodificação (Geração de Tokens):
- O BaseRT alcança de 1.04× a 1.56× mais throughput que o llama.cpp nos modelos testados. A melhoria é mais significativa em modelos densos menores (ex: 56% mais rápido no Qwen3-0.6B) onde a sobrecarga fixa por token é uma fração maior da latência.
- O BaseRT alcança de 1.01× a 1.35× mais throughput que o MLX na maioria dos modelos.
- Em dispositivos M3 Base, o BaseRT lidera o llama.cpp em 1.13× a 1.34× e o MLX em 1.01× a 1.22×.
Throughput de Prefill (Processamento de Prompt):
- Modelos Densos: O desempenho é muito próximo entre os runtimes, pois o prefill é limitado por computação e satura as unidades de matmul da GPU. O BaseRT lidera em prompts curtos, mas fica ligeiramente atrás em prompts longos para alguns modelos densos.
- Modelos Mixture-of-Experts (MoE): O BaseRT demonstra uma liderança substancial, alcançando até 1.78× mais throughput que o MLX e 1.81× superior ao llama.cpp em modelos MoE (ex: Qwen3-30B-A3B) em comprimentos de prompt curtos.
Comparação com uzu: O BaseRT supera o uzu em throughput de decodificação na maioria das configurações (até 1.19× no Qwen3-0.6B). No entanto, o uzu lidera no throughput de prefill em modelos densos, provavelmente devido ao seu uso do Apple Neural Engine (ANE) via MPSGraph, uma capacidade que o caminho apenas de GPU do BaseRT não explora atualmente.

Significância e Alegações

O artigo afirma que o BaseRT estabelece um novo baseline de performance para inferência de LLM on-device em Apple Silicon, demonstrando que o potencial do hardware foi sistematicamente subutilizado por abordagens baseadas em frameworks.

Redefinindo as Capacidades do Hardware: Os resultados sugerem que o Apple Silicon é uma plataforma de inferência mais capaz do que anteriormente relatado, com o teto de performance significativamente mais alto quando a sobrecarga de abstração de framework é removida.
Viabilizando a Inferência na Borda (Edge): Ao entregar o melhor throughput de classe consistente de modelos de sub-1B a 30B parâmetros, o BaseRT serve como uma camada habilitadora crítica para a transição em direção à implantação on-device. Isso apoia o paradigma emergente de inferência na borda impulsionado por requisitos de privacidade, restrições de latência e pressões de custo de nuvem.
Disponibilidade Aberta: O runtime está disponível publicamente, permitindo que a comunidade aproveite estas otimizações nativas.

Os autores permanecem modestos quanto às limitações, observando que o BaseRT atualmente suporta apenas inferência de dispositivo único, carece de continuous batching ou paralelismo de tensores, e é exclusivo para Apple Metal (sem suporte para backend CUDA/Vulkan ainda). O trabalho futuro visa estender a cobertura de arquitetura e adicionar suporte de backend para maior compatibilidade de plataforma.