🤖 machine learning

From Human Guidance to Autonomy: Agent Skill System for End-to-End LLM Deployment on Spatial NPUs

Dieses Paper führt eine zweistufige Methodik ein, die von der menschlich gesteuerten Entwicklung zu einem autonomen Agenten-Skill-System übergeht und dabei mehrere LLMs erfolgreich end-to-end auf AMD XDNA 2 räumlichen NPUs mit signifikanten Leistungssteigerungen und minimalem menschlichem Eingriff bereitstellt.

Ursprüngliche Autoren: Jiajie Li, Erwei Wang, Zhiru Zhang, Samuel Bayliss

Veröffentlicht 2026-06-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiajie Li, Erwei Wang, Zhiru Zhang, Samuel Bayliss

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen ein brandneues, unglaublich leistungsstarkes, aber sehr wählerisches Küchengerät (die Spatial NPU). Es ist darauf ausgelegt, Mahlzeiten zuzubereiten (KI-Modelle auszuführen) mit einer erstaunlichen Energieeffizienz, perfekt für kleine, tragbare Geräte. Dieses Gerät wird jedoch ohne Rezeptbuch geliefert, und die Anweisungen sind in einem Geheimcode geschrieben, den nur wenige Experten-Köche verstehen.

Jahrelang erforderte es einen menschlichen Meisterkoch, der wochenlang jeden einzelnen Schritt manuell anpasste, um ein komplexes Gericht wie ein „Large Language Model“ (LLM) auf dieser Maschine zum Laufen zu bringen, während er versuchte herauszufinden, wie er die Zutaten bewegen konnte, ohne Zeit oder Energie zu verschwenden.

Dieses Paper beschreibt einen neuen Weg, dieses Problem mithilfe eines zweistufigen „Roboter-Koch“-Systems zu lösen, das von einem Menschen lernt und dann beginnt, selbstständig zu kochen.

Stufe 1: Der Mensch und der Lehrling

Zuerst brachten die Forscher einem KI-Coding-Agenten (dem „Lehrling“) bei, wie man ein spezifisches Gericht zubereitet: Llama-3.2-1B.

Der Prozess: Ein menschlicher Chef beobachtete nicht nur; er fungierte als Mentor. Er sagte dem Lehrling: „Hier ist der Plan. Versuchen wir diesen Schritt. Oh, das ist fehlgeschlagen? Lass uns aufschreiben, warum es fehlgeschlagen ist und wie wir es behoben haben.“
Das Ergebnis: Gemeinsam erstellten sie ein Rezept, das den Kochvorgang 2,2-mal schneller startete und das Servieren der Speisen 4,0-mal schneller vollbrachte als der vorherige beste manuelle Versuch.
Die Geheimzutat: Entscheidend war, dass sie nicht nur die Mahlzeit kochten; sie schrieben ein detailliertes Kochbuch (Dokumentation) über jeden Fehler, jede Korrektur und jeden „Aha!“-Moment. Dies war nicht bloß ein Protokoll, sondern ein strukturierter Lehrplan.

Stufe 2: Der Autopilot-Koch

In der zweiten Stufe nahmen die Forscher dieses detaillierte Kochbuch und verwandelten es in eine Reihe von Roboter-Fähigkeiten.

Das Skill-System: Sie bauten ein System mit acht spezifischen Phasen (wie „Zwiebeln hacken“, „Fleisch anbraten“, „Soße abschmecken“). Jede Phase hat einen strengen „Geschmackstest“ (eine numerische Prüfung), um sicherzustellen, dass das Essen exakt richtig schmeckt, bevor der nächste Schritt eingeleitet wird. Wenn der Geschmack nicht stimmt, probiert der Roboter automatisch eine andere Technik aus seiner Liste an.
Die Autonomie: Sobeder dieses Systems war, ließen die Forscher den Roboter-Koch alleine arbeiten. Sie gaben ihm acht neue, unterschiedliche Rezepte (andere LLMs wie Qwen und SmolLM), die er noch nie zuvor gesehen hatte.
Das Ergebnis: Ohne menschliche Hilfe kochte der Roboter-Koch alle acht neuen Gerichte in 0,5 bis 4 Stunden.
- Drei dieser neuen Gerichte wurden genauso effizient zubereitet wie das ursprüngliche Gericht, bei dem der Mensch geholfen hatte.
- Das System bewies, dass es generalisieren kann: Es hat nicht nur das erste Rezept auswendig gelernt; es hat gelernt, wie man für dieses spezifische Gerät kocht, und wandte dieses Wissen auf neue Zutaten an.

Warum das wichtig ist (in einfachen Worten)

Stellen Sie sich die Spatial NPU wie einen hochtechnologischen, energiesparenden Automotor vor.

Vorher: Um ein Auto zum Laufen zu bringen, brauchte man einen Mechaniker, der jede einzelne Zündkerze und jeden Kraftstoffeinspritzer von Hand verkabelte. Es dauerte ewig und war teuer.
Jetzt: Die Forscher haben einen „selbstfahrenden Mechaniker“ gebaut. Zuerst brachte ein Mensch dem Mechaniker bei, wie man ein ganz bestimmtes Motormodell repariert. Dann lernte der Mechaniker die Prinzipien, wie man diesen Motorentyp repariert. Jetzt kann der Mechaniker in eine Werkstatt gehen, dort ein anderes Modell desselben Motortyps vorfinden und ihn innerhalb weniger Stunden perfekt reparieren, wobei er seine eigene Arbeit kontrolliert, um sicherzustellen, dass er sicher läuft.

Das Fazriltat

Das Paper behauptet, dass durch die Kombination von menschlicher Anleitung mit einer KI, die detaillierte Notizen führt und diese Notizen in wiederverwendbare „Fähigkeiten“ umwandelt, komplexe KI-Modelle nun autonom auf spezialisierter, energieeffizienter Hardware bereitgestellt werden können. Sie haben erfolgreich acht neue Modelle bereitgestellt, die zuvor noch nie auf dieser Hardware gelaufen waren, was beweist, dass das System lernen, sich anpassen und ohne ständige menschliche Aufsicht arbeiten kann.

Technische Zusammenfassung: Von der menschlichen Anleitung zur Autonomie: Ein Agenten-Skill-System für das End-to-End-LLM-Deployment auf räumlichen NPUs

Problemstellung
Räumliche Neural Processing Units (NPUs) bieten eine energieeffiziente Plattform für die Edge-Inferenz von Large Language Models (LLMs). Die End-to-End-Bereitstellung von LLMs auf diesen ressourcenbeschränkten Hardware-Beschleunigern bleibt jedoch ein arbeitsintensiver Prozess, der erheblichen Expertenaufwand erfordert. Während KI-Coding-Agenten bereits begonnen haben, die Engineering-Kosten zu senken, konzentriert sich die bestehende Forschung primär auf die Optimierung einzelner Kernel statt auf das vollständige End-to-End-Deployment. Zudem gibt es bisher kein Framework, das den vollständigen Deployment-Workflow als zusammensetzbare „Agenten-Skills“ kodiert, die autonom aufgerufen werden können, um das explizite Hardware-Management, die Datentransfer-Planung und die Tile-Level-Kernel-Platzierung auf räumlichen NPUs zu handhaben.

Methodik
Die Autoren schlagen eine zweistufige Methodik vor, die auf der AMD XDNA™2 NPU implementiert wurde und darauf abzielt, den Übergang von der menschlich geführten Entwicklung zur Agenten-Autonomie zu vollziehen.

Stufe 1: Menschlich geführte Agenten-Assistenz (Referenz-Deployment):
Das Team hat ein BF16 Llama-3.2-1B Modell end-to-end unter Verwendung eines KI-Coding-Agenten (Claude Code mit Claude Opus 4.7) als Copiloten bereitgestellt. Um die Komplexität von lückenhafter Tooling-Dokumentation und undurchsichtigen Fehlermeldungen zu bewältigen, wandten sie eine „Documentation-First“-Disziplin an. Eine strukturierte Menge an Markdown-Dokumenten (z. B. plan.md, issues.md, perf_opt_traj.md) verfolgte den Optimierungspfad, Debugging-Schritte und Design-Rationalen. Der Agent führte Code-Edits, Profiling und Tool-Durchläufe unter menschlicher Aufsicht durch, wobei jede Entscheidung protokolliert wurde. Dieser Prozess erreichte eine 2,2-fache Beschleunigung beim Prefill und eine 4,0-fache Beschleunigung beim Decode im Vergleich zu einer handoptimierten Baseline (IRON). Zu den Schlüsseloptimierungen gehörten Vektorisierung, kachelspezifische Tuning-Verfahren, fusioniertes Kernel-Design (Zusammenführung von 15 Kernels in 3 Dispatches) sowie Host-seitige Optimierungen wie Zero-Copy-Buffer-Mapping und das Überspringen redundanter Datentransfers.
Stufe 2: Agenten-Skill-System (Autonomes Deployment):
Die Dokumentation und der Optimierungspfad aus Stufe 1 wurden in ein wiederverwendbares „Agenten-Skill-System“ destilliert. Dieses System orchestriert das Deployment neuer, bisher nicht bekannter LLMs durch eine achtfasige Pipeline:
1. Phase 0–3 (Korrektheit): Gewährleistung der funktionalen End-to-End-Korrektheit durch Dekomposition des Modells in einen CPU-FP32-Oracle, Validierung einzelner NPU-Kernels, Verschaltung dieser zu einem einzelnen Transformer-Block und Kaskadierung zum vollständigen N-Layer-Modell.
2. Phase 4–5 (Optimierung): Anwendung spezifischer Optimierungs-Skills (z. B. Multi-Kernel-Merging, Buffer-Wiederverwendung, Layout-Ausrichtung), um Prefill- und Decode-Engpässe zu adressieren.
3. Phase 6 (Integration): Integration von Prefill und Decode in einen einzigen Runner und Erfassung neuer Erkenntnisse.
4. Phase 7 (Unabhängige Evaluierung): Einsatz eines unabhängigen Evaluierungs-Agenten (oh、ne vorherigen Kontext), der das Deployment erneut auditiert, numerische Gates erneut durchläuft und Leistungsberichte verifiziert, um Reward Hacking zu verhindern.
Entscheidend ist, dass die Phasen 0–6 strikte numerische Korrektheits-Gates gegen einen CPU-FP32-Referenzwert erzwingen (Messung von absolutem Fehler, relativem Fehler und Pearson-Korrelation). Schlägt ein Gate fehl, ruft das System automatisch Debugging-Skills bas-ierend auf bekannten Fehlermustern auf oder fordert menschliche Intervention an.

Wesentliche Beiträge

Hochleistungsfähiges Referenz-Deployment: Ein End-to-End-Deployment von Llama-3.2-1B auf der AMD XDNA 2 NPU, das die handoptimierte Baseline um das 2,2-fache (Prefill) und das 4,0-fache (Decode) übertrifft, wobei der gesamte Optimierungspfad dokumentiert wurde, um die Basis für das Skill-System zu bilden.
Agenten-Skill-System für NPUs: Ein neuartiges System, bestehend aus einer achtphasigen Skill-Kette mit strikten numerischen Gates, einem Satz von Optimierungs- und Debugging-Skills, die bei gängigen Mustern automatisch ausgelöst werden, und einem unabhängigen Evaluierungs-Agenten. Dies ist der erste Skill-Satz, der auf das End-to-End-LLM-Deployment auf räumlichen NPUs abzielt.
Autonomes Deployment von acht neuen Modellen: Das erste Open-Source End-to-End-Deployment von acht zusätzlichen Decoder-only LLMs (einschließlich Llama-3.2-3B, SmolLM2-1.7B und diverser Qwen2.5/3 Modelle) auf der AMD XDNA 2 NPU. Diese Deployments wurden autonom in 0,5 bis 4 Stunden Agenten-Wandzeit mit fast ohne menschliche Anleitung abgeschlossen.

Ergebnisse
Unter Verwendung des Agenten-Skill-Systems konnte das Team acht zusätzliche LLMs erfolgreich bereitstellen. Alle Modelle bestanden die numerischen Korrektheits-Gates und wurden manuell verifiziert.

Effizienz: Drei der acht Modelle (Llama-3.2-3B, SmolLM2-1.7B, Qwen2.5-3B) erreichten eine anhaltende Performance ( $\eta_{scale}$ ), die der Llama-3.2-1B Referenz entspricht oder diese übertrifft (Bereich: 0,94 bis 1,27). Diese Modelle teilen ähnliche Transformer-Block-Strukturen mit der Referenz, was es den existierenden Kernels ermöglicht, sie effektiv zu handhaben.
Limitierungen: Die verbleibenden fünf Modelle zeigten eine geringere Effizienz ( $\eta_{scale}$ 0,24–0,94). Die Autoren führen dies auf kleinere Workloads pro Kernel zurück (die den Dispatch-Overhead nicht amortisieren) sowie auf nicht unterstützte Operationen (z. B. QKV-Bias, Per-Head Q/K Normalisierung), die Padding erforderten oder die Kernel-Fusion verhinderten.
Deployment-Zeit: Autonome Deployments wurden in 0,5 bis 4 Stunden abgeschlossen, was den Engineering-Aufwand im Vergleich zum manuellen Deployment signifikant reduziert.

Bedeutung
Die Arbeit behauptet, eine „funktionale Generalisierung“ auf bisher unbekannte LLMs nachzuweisen und damit zu belegen, dass ein aus menschlich geführter Optimierung destilliertes Skill-System LLM-Implementierungen auf räumlichen NPUs autonom und wettbewerbsfähig bereitstellen kann, ohne zusätzliches modellspezifisches Human-Engineering. Sie schließt die Lücke in der bestehenden Forschung, indem sie über die Optimierung einzelner Kernel hinausgeht und auf vollständige End-to-End-Deployment-Workflows abzielt. Die Arbeit etabliert einen Pfad zur Senkung der Engineering-Barriere für das Edge-LLM-Deployment auf energieeffizienten räumlichen Beschleunigern und legt nahe, dass Agenten-Autonomie letztlich den Bedarf an umfangreichem Experten-Engineering in diesem Bereich ersetzen kann.

Stufe 1: Der Mensch und der Lehrling

Stufe 2: Der Autopilot-Koch

Warum das wichtig ist (in einfachen Worten)

Das Fazriltat

Mehr davon