From Human Guidance to Autonomy: Agent Skill System for End-to-End LLM Deployment on Spatial NPUs

Technische Samenvatting: Van Menselijke Begeleiding naar Autonomie: Een Agent Skill Systeem voor End-to-End LLM Implementatie op Spatiale NPUs

Probleemstelling
Spatiale Neural Processing Units (NPUs) bieden een energiezuinig platform voor edge Large Language Model (LLM) inferentie. Het implementeren van LLM's end-to-end op deze door middelen beperkte hardware-accelerators blijft echter een arbeidsintensief proces dat aanzienlijke expertise in engineering vereist. Hoewel AI-coding agents de engineeringkosten al beginnen te verlagen, richt bestaand onderzoek zich primair op single-kernel optimalisatie in plaats van volledige end-to-end implementatie. Bovendien heeft geen enkel bestaand framework de volledige implementatieworkflow gecodeerd als composabele "Agent Skills" die autonoom kunnen worden aangeroepen om het expliciete hardwarebeheer, de dataverplaatsingsplanning en de tile-level kernelplaatsing die vereist zijn voor spatiale NPUs af te handelen.

Methodologie
De auteurs stellen een tweefasige methodologie voor, geïnstantieerd op de AMD XDNA™2 NPU, ontworpen om de overgang van mensgestuurde ontwikkeling naar agent-autonomie te realiseren.

• Fase 1: Mensgestuurde Agent Assistentie (Referentie Implementatie):
  Het team heeft een BF16 Llama-3.2-1B model end-to-end geïmplementeerd met behulp van een AI coding agent (Claude Code met Claude Opus 4.7) als copilot. Om de complexiteit van schaarse tooling-documentatie en obscure foutmeldingen te beheersen, hanteerden zij een "documentation-first" discipline. Een gestructureerde set Markdown-documenten (bijv. plan.md, issues.md, perf_opt_traj.md) legde het optimalisatietraject, de debugging-stappen en de ontwerp rationale vast. De agent voerde code-edits, profiling en tool-runs uit onder menselijk toezicht, waarbij elke beslissing werd gelogd. Dit proces bereikte een 2,2× versnelling op prefill en een 4,0× versnelling op decode vergeleken met een hand-geoptimaliseerde baseline (IRON). Belangrijke optimalisaties omvatten vectorisatie, shape-specifieke tile-tuning, gefuseerde kernel-ontwerpen (het samenvoegen van 15 kernels naar 3 dispatches) en host-zijde optimalisaties zoals zero-copy buffer mapping en het overslaan van redundante datatransfers.

• Fase 2: Agent Skill Systeem (Autonome Implementatie):
  De documentatie en het optimalisatietraject uit Fase 1 werden gedestilleerd tot een herbruikbaar "Agent Skill Systeem". Dit systeem orkestreert de implementatie van nieuwe, nog niet eerder ontmoete LLM's via een achtfasen pijplijn:

  1. Fase 0–3 (Correctheid): Stelt end-to-end functionele correctheid vast door het model te deconstrueren naar een CPU FP32 oracle, individuele NPU kernels te valideren, deze in een enkele transformer block te bedraden, en dit door te zetten naar de volledige N-layer model.
  2. Fase 4–5 (Optimalisatie): Past specifieke optimalisatie-skills toe (bijv. multi-kernel merging, buffer reuse, layout alignment) om prefill en decode bottlenecks aan te pakken.
  3. Fase 6 (Integratie): Integreert prefill en decode in een enkele runner en oogst nieuwe bevindingen.
  4. Fase 7 (Onafhankelijke Evaluatie): Start een onafhankelijke evaluator-agent (zonder voorafgaande context) om de implementatie opnieuw te auditeren, numerieke gates opnieuw te draaien en prestatierapporten te verifiëren om reward hacking te voorkomen.

Cruciaal is dat Fasen 0–6 strikte numerieke correctheid gates afdwingen tegen een CPU FP32 referentie (waarbij absolute fout, relatieve fout en Pearson correlatie worden gemeten). Als een gate faalt, roept het systeem automatisch debug-skills aan op basis van bekende foutpatronen of vraagt het om menselijke interventie.

Belangrijkste Bijdragen

1. Hoge-Prestatie Referentie Implementatie: Een end-to-end implementatie van Llama-3.2-1B op de AMD XDNA 2 NPU die de hand-geoptimaliseerde baseline met 2,2× (prefill) en 4,0× (decode) overtreft, waarbij het volledige optimalisatietraject is gedocumenteerd om de basis te vormen voor het skill systeem.
2. Agent Skill Systeem voor NPUs: Een nieuw systeem bestaande uit een achtfasen skill chain met strikte numerieke gates, een set optimalisatie- en debug-skills die automatisch worden getriggerd bij veelvoorkomende patronen, en een onafhankelijke evaluator-agent. Dit is de eerste skill set gericht op end-to-end LLM implementatie op spatiale NPUs.
3. Autonome Implementatie van Acht Nieuwe Modellen: De eerste open-source end-to-end implementatie van acht aanvullende decoder-only LLM's (inclusief Llama-3.2-3B, SmolLM2-1.7B, en diverse Qwen2.5/3 modellen) op de AMD XDNA 2 NPU. Deze implementaties werden autonoom voltooid in 0,5–4 uur aan agent wall time met bijna geen menselijke begeleiding.

Resultaten
Gebruikmakend van het agent skill systeem heeft het team succesvol acht aanvullende LLM's geïmplementeerd. Alle modellen passeerden de numerieke correctheid gates en werden handmatig geverifieerd.

• Efficiëntie: Drie van de acht modellen (Llama-3.2-3B, SmolLM2-1.7B, Qwen2.5-3B) bereikten een duurzame prestatie ($\eta_{scale}$) die gelijk is aan of de Llama-3.2-1B referentie overtreft (variërend van 0,94 tot 1,27). Deze modellen delen vergelijkbare transformer block structuren met de referentie, waardoor de bestaande kernels ze effectief kunnen afhandelen.
• Beperkingen: De resterende vijf modellen vertoonden een lagere efficiëntie ($\eta_{scale}$ 0,24–0,94). De auteurs schrijven dit toe aan kleinere per-kernel workloads (waardoor dispatch overhead niet wordt geamortiseerd) en niet-ondersteunde operaties (bijv. QKV bias, per-head Q/K normalisatie) die padding vereisten of kernel fusion verhinderden.
• Implementatietijd: Autonome implementaties werden voltooid in 0,5 tot 4 uur, wat de engineering inspanning aanzienlijk vermindert vergeleken met handmatige implementatie.

Betekenis
Het artikel beweert "functionele generalisatie" aan te tonen naar voorheen niet ontmoette LLM's, waarmee wordt bewezen dat een skill systeem gedestilleerd uit mensgestuurde optimalisatie autonoom competitieve LLM implementaties op spatiale NPUs kan implementeren zonder extra model-specifieke menselijke engineering. Het adresseert de kloof in bestaand onderzoek door verder te gaan dan single-kernel optimalisatie naar volledige end-to-end implementatieworkflows. Het werk legt een pad vast voor het verlagen van de engineering barrière voor edge LLM implementatie op energiezuinige spatiale accelerators, en suggereert dat agent-autonomie uiteindelijk de noodzaak voor uitgebreide expert engineering in dit domein kan vervangen.