Technische Samenvatting: Hardware Co-Design Scaling Laws via Roofline Modelling voor On-Device LLM's

1. Het Probleem: De Spanning tussen Nauwkeurigheid en Efficiëntie

De opkomst van Vision-Language-Action (VLA) modellen voor fysieke AI (zoals autonome voertuigen en robots) vereist de inzet van Large Language Models (LLM's) op apparaten met beperkte middelen (on-device). De kernuitdaging is dat traditionele LLM-architecturen, geoptimaliseerd voor cloud-GPU's, vaak niet werken op edge-hardware vanwege strikte beperkingen in geheugenbandbreedte, rekenkracht (FLOPS), energieverbruik en latentie.

Er bestaat een fundamentele spanning:

• Modellen met hoge nauwkeurigheid overschrijden vaak de toegestane latentie-budgetten.
• Modellen die geoptimaliseerd zijn voor snelheid (bijv. door minder parameters) kunnen de vereiste intelligentie missen.
• Hardware-mismatch: De rekenkundige intensiteit van Transformers (attention is bandbreedte-beperkt, FFN is rekenkracht-beperkt) zorgt ervoor dat architecturale keuzes een onvoorspelbaar effect hebben op de werkelijke prestaties op specifieke hardware.

2. Methodologie: Het Hardware Co-Design Framework

De auteurs stellen een framework voor dat architectuurontwerp en hardware-eigenschappen direct koppelt via twee complementaire modellen:

A. Precisie-modellering via Scaling Laws (Loss Modeling)

In plaats van elke architectuur volledig te trainen, gebruiken de auteurs een parametrische benadering om de validatieverlies (loss) te voorspellen. Ze hebben 170 verschillende architecturen (zowel dense als Mixture-of-Experts - MoE) getraind op 10 miljard tokens. Op basis hiervan hebben ze een scaling law afgeleid (een polynoomfunctie) die de relatie tussen architecturale hyperparameters (diepte $l$, breedte $d$, FFN-ratio $r$, MoE-activatieratio $\rho$, en GQA-ratio) en de verwachte loss beschrijft.

B. Prestatie-modellering via Roofline Analysis (Latency Modeling)

Om de latentie te voorspellen zonder uitgebreide benchmarks, gebruiken ze het Roofline-model. Dit model classificeert operaties als:

• Compute-bound: Beperkt door de maximale FLOPS van de chip (voornamelijk tijdens de prefill-fase).
• Memory-bound: Beperkt door de geheugenbandbreedte (voornamelijk tijdens de decode-fase bij batch-size 1).

Door de rekenkundige intensiteit van elke laag te berekenen, kunnen ze de end-to-end latentie voor zowel de prefill- als de decode-fase nauwkeurig voorspellen voor een specifieke hardware-target (zoals de NVIDIA Jetson Orin).

C. Pareto-optimale Architectuurzoek (PLAS)

Door de loss-voorspelling te combineren met de latentie-voorspelling, kunnen ze een Pareto-front construeren. Dit is een verzameling van architecturen die de beste mogelijke nauwkeurigheid bieden voor elk gegeven latentie-budget.

3. Belangrijkste Bijdragen

1. Hardware Co-Design Scaling Law: De eerste methodologie die loss-scaling laws koppelt aan roofline-gebaseerde latentiemodellen voor on-device LLM-implementatie.
2. Theoretisch Kader voor Optimalisatie: De auteurs hebben bewezen dat architectuurselectie kan worden geformuleerd als een gecontroleerd optimalisatieprobleem. Ze hebben gesloten oplossingen afgeleid voor de optimale activatieratio ($\rho^*$), diepte ($l^*$), FFN-ratio ($r^*$) en GQA-ratio ($gqa^*$) onder verschillende hardware-beperkingen (latentie-beperkt, geheugen-beperkt of dual-constrained).
3. Efficiëntie-winst: Het proces van het selecteren van een optimale architectuur wordt teruggebracht van maanden naar enkele dagen.

4. Belangrijkste Resultaten en Inzichten

• Dominantie van MoE: In alle on-device scenario's (batch-size 1) zijn Mixture-of-Experts (MoE) architecturen superieur aan dense modellen. Ze bieden een hogere capaciteit zonder de per-token latentie significant te verhogen.
• "Wide-and-Shallow" Patroon: In tegenstelling tot cloud-modellen die vaak diep en smal zijn, geven on-device Pareto-optimale modellen de voorkeur aan een bredere en minder diepe structuur. Breedte is efficiënter voor het verminderen van de loss binnen strikte latentie-budgetten.
• Fase-specifieke configuraties:
  • Prefill-geoptimaliseerde modellen hebben minder experts nodig om de rekenkracht optimaal te benutten.
  • Decode-geoptimaliseerde modellen profiteren juist van een maximaal aantal experts, omdat de extra geheugenbelasting bij batch-size 1 minder zwaar weegt dan de capaciteitswinst.
• Empirische Validatie: Een door het framework ontworpen model bereikte een 19,42% lagere perplexiteit op WikiText-2 dan het Qwen2.5-0.5B model, terwijl de latentie op de NVIDIA Jetson Orin exact gelijk bleef.

5. Betekenis en Impact

Dit werk is cruciaal voor de ontwikkeling van Physical AI. Het biedt een wetenschappelijk fundament voor ingenieurs om niet langer te gissen naar de beste modelarchitectuur, maar om direct de optimale configuratie te berekenen die past bij de specifieke hardware van een robot of voertuig. Het overbrugt de kloof tussen theoretische machine learning en praktische hardware-engineering.