Riepilogo Tecnico: BaseRT – Il miglior runtime di inferenza LLM su Apple Silicon tramite Metal Nativo

Problema

Il documento identifica un divario di prestazioni nell'inferenza di Large Language Models (LLM) su Apple Silicon. Sebbene l'architettura di memoria unificata (UMA) di Apple offra un'elevata larghezza di banda e capacità adatta al deployment locale di LLM, gli existing runtime non riescono a sfruttare appieno questo hardware.

• Overhead dei Framework: I runtime dominanti come llama.cpp (originariamente CPU-first con un backend Metal) e MLX (un framework di array generico con valutazione lazy) introducono vincoli architettonici. Questi includono livelli di astrazione superflui, scheduling a livello di framework e overhead di dispatch che non sono ottimizzati per il modello di esecuzione di Metal.
• Utilizzo Subottimale delle Risorse: Questi framework spesso lasciano "prestazioni sul tavolo", in particolare per quanto riguarda gli overhead di lancio dei kernel, le inefficienze del layout di memoria e l'incapacità di eseguire la fusione dei kernel specifica per il chip.
• Contesto dell'Inferenza Edge: Poiché l'industria si sta spostando verso l'inferenza edge guidata da privacy, latenza, connettività e costi, l'incapacità degli attuali runtime di massimizzare il throughput sull'hardware consumer limita la fattibilità dell'IA on-device.

Metodologia

BaseRT è un runtime di inferenza C++ nativo costruito direttamente sull'API Metal di Apple, eliminando le dipendenze da framework intermedi come MLX, PyTorch o CoreML. Il design è guidato da quattro principi fondamentali per minimizzare l'overhead:

1. Descrittori di Architettura Data-Driven: Invece di codificare rigidamente le variazioni di architettura (ad esempio, meccanismi di attenzione, normalizzazione) nel loop di inferenza tramite branch condizionali, BaseRT cattura queste differenze come dati. Un descrittore compatto guida il motore, garantendo che il "hot path" rimanga identico tra le diverse famiglie di modelli (LLaMA, Qwen3, Gemma, ecc.), riducendo il branching e migliorando l'uniformità.
2. Decode Loop a Zero Allocazione: Per eliminare la contesa della gestione della memoria, tutti i buffer intermedi (residui, attention scratch, logits, KV cache) sono pre-allocati al momento del caricamento. Il decode loop non alloca zero byte durante l'operazione, affidandosi interamente al dispatch dei comandi GPU e a un leggero patching lato CPU.
3. Fusione e Specializzazione dei Kernel:
   • Fusione: BaseRT fonde sequenze di operatori (ad esempio, all'interno dei percorsi di attenzione e dei blocchi feed-forward) che tipicamente vengono dispatchati come kernel separati in altri runtime. Ciò riduce i round-trip nella memoria globale e l'overhead di lancio dei kernel, fondamentale durante la fase di decode dove i tempi di esecuzione dei singoli kernel sono brevi.
   • Specializzazione: Il runtime include una libreria di shader Metal scritti a mano con varianti dedicate per GEMV (per il decode) e GEMM (per il prefill) per ogni formato di quantizzazione (Q2–FP16). La dequantizzazione è integrata direttamente nel loop interno per evitare la materializzazione dei pesi nella memoria globale.
   • Adattività Hardware: La selezione dei kernel, le dimensioni dei threadgroup e le decisioni di fusione sono configurate dinamicamente in base allo specifico chip (M1–M5) e al numero di core GPU.
4. Ottimizzazione del Prefill: Le operazioni di prefill utilizzano kernel GEMM tiled con intrinsici di matrice simdgroup. Un'implementazione di FlashAttention calcola l'attenzione in tile utilizzando la softmax online per raggiungere una complessità di memoria $O(n)$, evitando la materializzazione della matrice di attenzione completa $O(n^2)$.

Contributi Chiave

• Runtime Metal Nativo: Il primo runtime di inferenza LLM per Apple Silicon costruito nativamente su Metal senza dipendere da MLX o altri framework intermedi.
• Ottimizzazioni Specifiche per il Chip: Implementazione di strategie di fusione dei kernel e layout dei dati consapevoli della memoria unificata, specificamente adattati alla topologia di Apple Silicon.
• Logica di Dispatch Personalizzata: Un meccanismo di dispatch dei comandi a basso overhead che rimuove lo scheduling per operatore e il lavoro di valutazione del grafo tipico dei runtime basati su framework.
• Benchmarking Completo: Una valutazione rigorosa attraverso molteplici famiglie di modelli (Qwen3, Llama 3.2, Gemma 4) e livelli di quantizzazione (Q4, Q8) su dispositivi M3 e M4 Pro, stabilendo nuovi baseline di throughput.

Risultati

Il documento riporta che BaseRT raggiunge il più alto throughput di inferenza su Apple Silicon ad oggi, superando llama.cpp, MLX e il runtime Metal nativo uzu (Mirai).

• Throughput di Decode (Generazione di Token):
  • BaseRT raggiunge un throughput da 1.04× a 1.56× superiore rispetto a llama.cpp nei modelli testati. Il miglioramento è più significativo sui modelli densi più piccoli (ad esempio, il 56% più veloce su Qwen3-0.6B) dove l'overhead fisso per token è una frazione maggiore della latenza.
  • BaseRT raggiunge un throughput da 1.01× a 1.35× superiore rispetto a MLX sulla maggior parte dei modelli.
  • Sui dispositivi M3 Base, BaseRT supera llama.cpp di 1.13× a 1.34× e MLX di 1.01× a 1.22×.
• Throughput di Prefill (Elaborazione del Prompt):
  • Modelli Densi: Le prestazioni sono molto simili tra i runtime, poiché il prefill è compute-bound e satura le unità matmul della GPU. BaseRT guida sui prompt brevi ma resta leggermente indietro sui prompt lunghi per alcuni modelli densi.
  • Modelli Mixture-of-Experts (MoE): BaseRT dimostra un vantaggio sostanziale, raggiungendo fino a 1.78× di throughput in più rispetto a MLX e 1.81× rispetto a llama.cpp sui modelli MoE (ad esempio, Qwen3-30B-A3B) a lunghezze di prompt ridotte.
• Confronto con uzu: BaseRT supera uzu nel throughput di decode nella maggior parte delle configurazioni (fino a 1.19× su Qwen3-0.6B). Tuttavia, uzu guida nel throughput di prefill sui modelli densi, probabilmente a causa del suo utilizzo del Apple Neural Engine (ANE) tramite MPSGraph, una capacità che BaseRT (percorso solo GPU) non sfrutta attualmente.

Significato e Claim

Il documento afferma che BaseRT stabilisce un nuovo baseline di performance per l'inferenza LLM on-device su Apple Silicon, dimostrando che il potenziale dell'hardware è stato sistematicamente sottoutilizzato dagli approcci basati su framework.

• Ridefinizione delle Capacità Hardware: I risultati suggeriscono che Apple Silicon è una piattaforma di inferenza più capace di quanto precedentemente riportato, con il tetto delle prestazioni significativamente più alto quando viene rimosso l'overhead di astrazione del framework.
• Abilitazione dell'Inference Edge: Fornendo un throughput costante e ai vertici della categoria dai modelli da meno di 1B ai 30B parametri, BaseRT funge da layer abilitante critico per la transizione verso il deployment on-device. Questo supporta il paradigma emergente dell'inferenza edge guidato da requisiti di privacy, vincoli di latenza e pressioni sui costi del cloud.
• Disponibilità Aperta: Il runtime è pubblicamente disponibile, permettendo alla comunità di sfruttare queste ottimizzazioni native.

Gli autori rimangono modesti riguardo ai limiti, notando che BaseRT supporta attualmente solo l'inferenza su singolo dispositivo, manca di continuous batching o parallelismo di tensori, ed è esclusivo di Apple Metal (non esiste ancora un backend CUDA/Vulkan). Il lavoro futuro mira ad estendere la copertura delle architetture e ad aggiungere il supporto per backend per una maggiore compatibilità di piattaforma.