From Human Guidance to Autonomy: Agent Skill System for End-to-End LLM Deployment on Spatial NPUs

Sintesi Tecnica: Dalla Guida Umana all'Autonomia: Sistema di Skill per Agenti per il Deployment End-to-End di LLM su NPU Spaziali

Definizione del Problema
Le Unità di Elaborazione Neurale (NPU) spaziali offrono una piattaforma efficiente dal punto di la vista energetico per l'inferenza di Large Language Model (LLM) all'edge. Tuttavia, il deployment end-to-end di LLM su questi acceleratori hardware con risorse limitate rimane un processo laborioso che richiede un ingegno esperto sostanziale. Sebbene gli agenti di codifica AI abbiano iniziato a ridurre i costi di ingegneria, la ricerca esistente si concentra principalmente sull'ottimizzazione di singoli kernel piuttosto che sul deployment end-to-end completo. Inoltre, nessun framework esistente codifica l'intero workflow di deployment come "Skill di Agenti" composibili che possano essere invocati autonomamente per gestire la gestione esplicita dell'hardware, la pianificazione del movimento dei dati e il posizionamento dei kernel a livello di tile richiesto dalle NPU spaziali.

Metodologia
Gli autori propongono una metodologia in due fasi istanziata sulla AMD XDNA™2 NPU, progettata per transitare dallo sviluppo guidato dall'uomo all'autonomia dell'agente.

• Fase 1: Assistenza di Agenti Guidata dall'Uomo (Deployment di Riferimento):
  Il team ha distribuito un modello Llama-3.2-1B in BF16 end-to-end utilizzando un agente di codifica AI (Claude Code con Claude Opus 4.7) come copilota. Per gestire la complessità della documentazione degli strumenti sparsa e dei messaggi di errore opachi, hanno adottato una disciplina "documentation-first". Un set strutturato di documenti Markdown (es. plan.md, issues.md, perf_opt_traj.md) ha tracciato la traiettoria di ottimizzazione, i passaggi di debugging e la logica di progettazione. L'agente ha eseguito modifiche al codice, profiling e l'esecuzione di tool sotto la supervisione umana, con ogni decisione registrata. Questo processo ha ottenuto un'accelerazione di 2,2× nel prefill e di 4,0× nel decode rispetto a un baseline ottimizzato a mano (IRON). Le ottimizzazioni chiave hanno incluso la vettorizzazione, il tuning dei tile specifico per la forma, il design di kernel fusi (unendo 15 kernel in 3 dispatch) e ottimizzazioni lato host come la mappatura di buffer zero-copy e l'evitamento di trasferimenti dati ridondanti.

• Fase 2: Sistema di Skill per Agenti (Deployment Autonomo):
  La documentazione e la traiettoria di ottimizzazione della Fase 1 sono state distillate in un "Sistema di Skill per Agenti" riutilizzabile. Questo sistema orchestra il deployment di nuovi LLM mai incontrati attraverso una pipeline di otto fasi:

  1. Fase 0–3 (Correttezza): Stabilisce la correttezza funzionale end-to-end scomponendo il modello in un oracle FP32 su CPU, validando i singoli kernel NPU, cablandoli in un singolo blocco transformer e passando cascata all'intero modello a N layer.
  2. Fase 4–5 (Ottimizzazione): Applica skill di ottimizzazione specifiche (es. fusione multi-kernel, riutilizzo dei buffer, allineamento del layout) per affrontare i colli di bottiglia di prefill e decode.
  3. Fase 6 (Integrazione): Integra prefill e decode in un unico runner e raccoglie le nuove scoperte.
  4. Fase 7 (Valutazione Indipendente): Genera un agente valutatore indipendente (senza contesto precedente) per ri-auditare il deployment, rieseguire i gate numerici e verificare i report di performance per prevenire il reward hacking.

Fondamentalmente, le Fasi 0–6 impongono rigorosi gate di correttezza numerica contro un riferimento FP32 su CPU (misurando errore assoluto, errore relativo e correlazione di Pearson). Se un gate fallisce, il sistema invoca automaticamente le skill di debug basate su pattern di fallimento noti o richiede l'intervento umano.

Contributi Chiave

1. Deployment di Riferimento ad Alte Prestazioni: Un deployment end-to-end di Llama-3.2-1B su AMD XDNA 2 NPU che supera il baseline ottimizzato a mano di 2,2× (prefill) e 4,0× (decode), con l'intera traiettoria di ottimizzazione documentata per formare la base del sistema di skill.
2. Sistema di Skill di Agenti per NPU: Un nuovo sistema composto da una catena di skill di otto fasi con rigorosi gate numerici, un set di skill di ottimizzazione e debug che si attivano automaticamente su pattern comuni, e un agente valutatore indipendente. Questo è il primo set di skill mirato al deployment end-to-end di LLM su NPU spaziali.
3. Deployment Autonomo di Otto Nuovi Modelli: Il primo deployment end-to-end open-source di otto ulteriori LLM decoder-only (inclusi Llama-3.2-3B, SmolLM2-1.7B e vari modelli Qwen2.5/3) su AMD XDNA 2 NPU. Questi deployment sono stati completati autonomamente in 0,5–4 ore di tempo wall-clock dell'agente con quasi nessuna guida umana.

Risultati
Utilizzando il sistema di skill per agenti, il team ha distribuito con successo otto ulteriori LLM. Tutti i modelli hanno superato i gate di correttezza numerica ed sono stati verificati manualmente.

• Efficienza: Tre degli otto modelli (Llama-3.2-3B, SmolLM2-1.7B, Qwen2.5-3B) hanno raggiunto una performance sostenuta ($\eta_{scale}$) pari o superiore al riferimento Llama-3.2-1B (variando da 0,94 a 1,27). Questi modelli condividono strutture transformer simili al riferimento, permettendo ai kernel esistenti di gestirli efficacemente.
• Limitazioni: Gli altri cinque modelli hanno mostrato un'efficienza inferiore ($\eta_{scale}$ 0,24–0,94). Gli autori attribuiscono ciò a carichi di lavoro per kernel più piccoli (che non riescono ad ammortizzare l'overhead di dispatch) e operazioni non supportate (es. QKV bias, normalizzazione Q/K per head) che hanno richiesto padding o hanno impedito la fusione dei kernel.
• Tempo di Deployment: I deployment autonomi sono stati completati in 0,5 - 4 ore, riducendo significativamente l'impegno di ingegneria rispetto al deployment manuale.

Significatività
Il paper sostiene di dimostrare la "generalizzazione funzionale" a LLM precedentemente non incontrati, provando che un sistema di skill distillato dall'ottimizzazione guidata dall'uomo può distribuire autonomamente implementazioni di LLM competitive su NPU spaziali senza ulteriore ingegneria specifica per il modello. Affronta il vuoto nella ricerca esistente passando dall'ottimizzazione di un singolo kernel a workflow di deployment end-to-end completi. Il lavoro stabilisce un percorso per ridurre la barriera ingegneristica per il deployment di LLM all'edge su acceleratori spaziali efficienti dal punto di vista energetico, suggerendo che l'autonomia degli agenti possa eventualmente sostituire la necessità di un esteso ingegno esperto in questo dominio.