🤖 machine learning

LLMForge: Multi-Backend Hardware-Aware Neural Architecture Search with Infinite-Head Attention for Edge Language Models

LLMForge è un framework di ricerca architetturale neurale consapevole dell'hardware che sfrutta l'attenzione a teste infinite e un modello di costo multi-backend per generare automaticamente modelli linguistici ottimizzati con meno di un miliardo di parametri, adattati a vincoli specifici di dispositivi edge, ottenendo miglioramenti significativi nell'efficienza energetica, nella latenza e nell'accuratezza del modello rispetto alle baseline esistenti.

Autori originali: Xinting Jiang, Junyi Luo, Ruichen Qi, Kauna Lei, Ben Laurie, Gregory Kielian, Mehdi Saligane

Pubblicato 2026-05-19

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Xinting Jiang, Junyi Luo, Ruichen Qi, Kauna Lei, Ben Laurie, Gregory Kielian, Mehdi Saligane

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler costruire il cervello perfetto e minuscolo per un robot, in grado di funzionare su uno smartphone o un smartwatch. Vuoi che sia abbastanza intelligente da comprendere il linguaggio, ma abbastanza piccolo da stare in tasca senza scaricare la batteria o surriscaldare il telefono.

Il problema è che i "progetti" standard per questi cervelli (chiamati Transformers) sono stati progettati per supercomputer massicci. Quando cerchi di rimpicciolirli per dispositivi edge, spesso si bloccano in ingorghi, esauriscono la memoria o consumano troppa energia.

LLMForge è un nuovo strumento creato dai ricercatori per risolvere questo problema. Pensalo come un architetto super-intelligente e consapevole dell'hardware che non si limita a rimpicciolire il cervello; ridisegna completamente il progetto in base al "terreno" specifico del dispositivo in cui vivrà.

Ecco come funziona LLMForge, scomposto in tre parti semplici:

1. L'Attenzione a Teste Infinite (IHA): Rottura delle Regole

I cervelli robotici tradizionali hanno un regolamento rigido. Se vuoi aumentare il numero di "teste pensanti" (processori che esaminano diverse parti di una frase), sei costretto a rendere ogni testa più piccola. È come una pizza: se la tagli in più fette, ogni fetta diventa più piccola. Questo limita quanto può essere intelligente il cervello.

L'innovazione di LLMForge: Getta via il regolamento rigido. Con l'Attenzione a Teste Infinite, l'architetto può cambiare il numero di fette, la dimensione delle fette e il tipo di condimenti in modo indipendente per ogni singolo strato del cervello.

L'Analogia: Immagina una squadra di costruttori che di solito deve costruire stanze di dimensioni identiche. LLMForge fornisce loro uno strumento magico che permette di costruire un armadio minuscolo accanto a una sala da ballo enorme, poi un ufficio medio, tutto all'interno dello stesso piano. Questo espande il numero di progetti possibili di 400 volte, permettendo di trovare una forma che si adatta perfettamente ai vincoli di un dispositivo specifico.

2. Forge-Former: La Sfera di Cristallo

Costruire e testare un nuovo progetto di cervello da zero è costoso e lento. È come cuocere una torta solo per vedere se la ricetta funziona, per poi buttarla via. Se hai migliaia di ricette da testare, andresti in bancarotta.

La soluzione di LLMForge: Hanno costruito una Sfera di Cristallo chiamata Forge-Former.

Come funziona: Invece di cuocere ogni singola torta, la Sfera di Cristallo esamina la ricetta (il progetto) e prevede esattamente quanto sarà buona la torta (quanto sarà intelligente il modello) e quanta energia consumerà.
Il Risultato: Questa sfera di cristallo è molto più accurata dei precedenti strumenti di "indovinello". Permette al sistema di testare migliaia di progetti nel tempo che prima serviva per testarne solo pochi, risparmiando enormi quantità di tempo ed energia.

3. Forge-DSE: Il Navigatore Multi-Strumento

Dispositivi diversi hanno problemi diversi. Una scheda grafica di fascia alta (GPU) potrebbe essere limitata dalla velocità con cui può spostare i dati, mentre un minuscolo chip in uno smartwatch potrebbe essere limitato dalla quantità di calore che può gestire. Un progetto perfetto per uno potrebbe essere terribile per un altro.

L'approccio di LLMForge: Il motore Forge-DSE agisce come un navigatore con un multi-strumento.

Non cerca solo il modello "più intelligente". Cerca il miglior compromesso (un "fronte di Pareto") tra intelligenza, velocità ed efficienza energetica.
Testa i progetti contro quattro diversi tipi di hardware (come una GPU ad alta velocità, un chip specializzato e un chip a forma di anello).
L'Esito: Il sistema realizza che "una taglia non va bene per tutti". Produce progetti diversi e unici per ogni dispositivo.
- Per un dispositivo focalizzato sulla velocità, costruisce un cervello largo e poco profondo.
- Per un dispositivo focalizzato sull'energia, costruisce un cervello profondo e stretto.

I Risultati: Vittorie nel Mondo Reale

I ricercatori hanno testato questo sistema su due dimensioni di modelli (circa 100 milioni e 300 milioni di parametri) e li hanno confrontati con modelli popolari esistenti come SmolLM2 e Qwen.

Il Modello "Accuratezza": Uno dei loro nuovi progetti era più intelligente (tasso di errore inferiore) rispetto alla concorrenza, anche se aveva meno parametri (era più piccolo).
Il Modello "Energia": Un altro progetto utilizzava il 40% in meno di energia per parola generata rispetto ai modelli standard.
Il Modello "Velocità": Un terzo progetto era 43% più veloce nell'iniziare a parlare (Time-to-First-Token) e nel completare le frasi.

Riepilogo

LLMForge è un sistema che smette di cercare di imporre un cervello "taglia unica" su ogni dispositivo. Invece, utilizza un linguaggio di progettazione flessibile, una sfera di cristallo di previsione rapida e un navigatore intelligente per ingegnerizzare un cervello personalizzato per ogni singolo componente hardware. Il risultato è un'IA più piccola, più veloce ed energeticamente più efficiente che effettivamente sta in tasca.

Riepilogo Tecnico: LLMForge

Enunciato del Problema

I modelli linguistici Transformer con meno di un miliardo di parametri sono sempre più distribuiti su dispositivi edge per sfruttare vantaggi in termini di privacy, latenza e costi. Tuttavia, l'inferenza sul dispositivo è vincolata da strette risorse di larghezza di banda della memoria, energia e budget termici. Gli approcci esistenti si basano spesso sulla compressione post-allenamento (quantizzazione, pruning), lasciando inesplorati i gradi di libertà architettonici sottostanti. Inoltre, le attuali pipeline di Hardware-Aware Neural Architecture Search (NAS) per i Transformer soffrono di tre limitazioni:

Spazio di Ricerca Restretto: Le parametrizzazioni dell'attenzione spesso fissano le dimensioni per testa e vincolano le capacità di chiave/valore, limitando le configurazioni di forma fattibili a una singola scelta del numero di teste.
Collo di Bottiglia nella Valutazione: Valutare i candidati allenandoli da zero è computazionalmente costoso.
Modellazione dei Costi Grossolana: I costi hardware sono frequentemente modellati tramite singole classi di acceleratori o proxy grossolani (ad esempio, numero di parametri), oscurando il riordinamento dei candidati dipendente dal substrato.

Metodologia

Gli autori presentano LLMForge, un framework NAS consapevole dell'hardware che integra tre contributi componibili in un singolo ciclo di ricerca evolutiva NSGA-II.

1. Infinite-Head Attention (IHA)

IHA disaccoppia i parametri di forma dell'attenzione ( $n_h$ , $n_{kv}$ , $d_{qk}$ , $d_v$ ) come variabili indipendenti per ogni livello. A differenza della Multi-Head Attention (MHA) standard o della Grouped-Query Attention (GQA), che impongono vincoli di divisibilità ( $d_{model} = n_h \cdot d_h$ ) e accoppiamento Q/K–V ( $d_h = d_{qk} = d_v$ ), IHA rilassa questi vincoli. Preserva solo la condizione di raggruppamento GQA ( $n_{kv} | n_h$ ).

Impatto: Ciò espande lo spazio di configurazione dell'attenzione per livello fattibile di circa 400× (da 27 configurazioni sotto GQA a 11.250 sotto IHA entro i range di ricerca definiti).

2. Forge-Former (Surrogato di Accuratezza)

Per affrontare il collo di bottiglia nella valutazione, gli autori introducono Forge-Former, un modello surrogato basato su un encoder Transformer.

Architettura: Codifica un'architettura come una sequenza di token di livello, dove ogni token concatena i parametri IHA del livello. I campi scalari vengono elevati tramite livelli lineari e sommati agli embedding posizionali. Un encoder Transformer pre-LN cattura le interazioni all'interno del livello (tramite sottolivelli feedforward) e le interazioni tra livelli (tramite self-attention).
Prestazioni: Sul split di test IHA, Forge-Former raggiunge un Spearman $\rho = 0.75$ e un Kendall $\tau = 0.58$ , superando le baseline MLP e random forest di 1,4 a 2,5 volte. Consente la selezione NSGA-II a una frazione del costo dell'allenamento da zero.

3. Forge-DSE (Motore di Esplorazione dello Spazio di Progetto)

Forge-DSE è il motore di ricerca multi-obiettivo che accoppia Forge-Former a un modello di costo hardware multi-backend.

Ciclo di Ricerca: Evolve popolazioni di architetture parametrizzate IHA utilizzando NSGA-II con ordinamento non dominato e sopravvivenza basata sulla distanza di affollamento. Impiega operatori di mutazione personalizzati (cancellazione, duplicazione, rotazione, perturbazione numerica) e un passaggio di riparazione della fattibilità.
Co-evoluzione del Surrogato: Il framework affina opzionalmente Forge-Former durante la ricerca ri-allenando campioni informativi dalla popolazione corrente e affinando il surrogato tramite replay dell'esperienza, correggendo lo spostamento della distribuzione.
Backend Hardware: Il sistema supporta tre backend distinti:
1. Backend A: Costi misurati su una GPU NVIDIA A100 utilizzando ZEUS.
2. Backend B: Costi analitici tramite Timeloop per flussi di dati systolic (Gemmini), row-stationary (Eyeriss) e fused-attention (FLAT).
3. Backend C: Un simulatore multi-chip a flusso di dati ad anello (rDXE) per acceleratori edge, che esegue una ricerca congiunta architettura-e-chip.

Risultati Chiave

Validazione del Surrogato

Sul dataset IHA, Forge-Former supera significativamente le baseline nella fedeltà di ranking e nel recupero top-X%. Riduce l'Errore Assoluto Medio (MAE) per il 5% superiore delle architetture di circa 5 volte rispetto alle baseline MLP e Random Forest. L'analisi t-SNE conferma che gli embedding di Forge-Former riflettono meglio la similarità delle prestazioni, raggruppando strettamente le code ad alto errore.

Prestazioni della Ricerca Multi-Backend

Su quattro substrati hardware (A100, Gemmini, Eyeriss, FLAT), le ricerche convergono verso architetture Pareto-front distinte che tracciano i colli di bottiglia specifici di costo di ciascun substrato:

A100 (Ricco di larghezza di banda): Risulta in larghezze MLP piatte e le teste di attenzione più ampie.
Eyeriss/Gemmini (Limitati dalla cache KV): Collassano $n_{kv}$ in un'attenzione a query raggruppata aggressiva e compensano con una capacità MLP più ampia.
FLAT (Flessibile): Produce il modello più piccolo con profondità ridotta e teste strette.
Miglioramenti: Rispetto alla baseline SmolLM2-135M, la ricerca produce riduzioni del 5–7% nella perdita di validazione, del 16–63% nell'energia per token e del 16–59% nelle metriche di latenza (TTFT/TPOT).

Validazione Scalata su rDXE

Gli autori hanno eseguito una ricerca congiunta architettura-e-chip sul substrato multi-chip ad anello rDXE, ri-allenando i candidati selezionati su FineWeb-Edu-10BT (13,1 miliardi di token) contro le baseline SmolLM2 e Qwen:

Variante Accuratezza (347M parametri): Ha raggiunto la perdita di validazione più bassa (2,798) e prestazioni di benchmark competitive con meno parametri rispetto a SmolLM2-360M e Qwen-0.5B.
Variante Energia (294M parametri): Ha ridotto l'energia per token del 40%.
Variante Latenza (365M parametri): Ha ridotto il Time-to-First-Token (TTFT) e il Time-Per-Output-Token (TPOT) del 43%.

Significato e Affermazioni

Il paper afferma che LLMForge dimostra che il NAS consapevole dell'hardware può produrre Pareto-front condizionati al substrato piuttosto che una singola architettura "migliore". Disaccoppiando i parametri dell'attenzione tramite IHA e utilizzando un surrogato ad alta fedeltà basato su encoder, il framework rimodella efficacemente i profili di larghezza e profondità per livello per adattarsi a specifici colli di bottiglia hardware.

Gli autori posizionano LLMForge come un contributo metodologico che permette la scoperta di coppie di configurazione architettura-e-chip consapevoli del deployment. Notano che, sebbene le riduzioni di energia e latenza siano modeste, beneficiano principalmente il costo operativo e il profilo di carbonio dell'inferenza edge ripetuta. Il lavoro è limitato alla scala sub-miliardo di parametri ( $\le$ 500M) a causa del costo computazionale di generazione del corpus di allenamento per il surrogato, con il passaggio alla scala di modelli da miliardo di parametri identificato come un passo futuro.