🤖 machine learning

SelectInfer: Selective Neuron Loading and Computation for On-Device LLMs

SelectInfer è un framework di ottimizzazione a livello di neurone che consente un'inferenza efficiente di modelli linguistici di grandi dimensioni su dispositivi utilizzando un profiler offline per identificare e caricare ed eseguire il calcolo selettivo solo dei neuroni più importanti, riducendo così significativamente i costi di memoria e computazionali senza compromettere le prestazioni del compito.

Autori originali: Huzaifa Shaaban Kabakibo, Eric Schniedermeyer, Artem Burchanow, Lin Wang

Pubblicato 2026-07-21

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Huzaifa Shaaban Kabakibo, Eric Schniedermeyer, Artem Burchanow, Lin Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una gigantesca biblioteca di conoscenza, così vasta da contenere la risposta a quasi ogni domanda tu possa porre. Questo è ciò che gli scienziati chiamano un Large Language Model (LLM). Pensalo come a un cervello robotico super intelligente che ha letto quasi tutti i libri presenti su Internet. Ma ecco il problema: questo cervello è così grande e pesante che di solito ha bisogno di un enorme e costoso data center con potenti supercomputer per funzionare. È come cercare di trasportare una biblioteca intera nello zaino; non ci sta.

Recentemente, le persone hanno desiderato inserire questa "biblioteca" in dispositivi più piccoli, come i gadget intelligenti nelle tue tasche o i computer nelle auto a guida autonoma. Questi vengono chiamati "dispositivi edge". Il problema è che questi gadget hanno uno spazio e una potenza della batteria molto limitati. Se provi a forzare l'intera biblioteca su di essi, il dispositivo si blocca o diventa così lento da risultare inutile. Gli scienziati hanno cercato di rimpicciolire la biblioteca schiacciando i libri (rendendoli più piccoli ma più difficili da leggere) o buttando via intere scaffalature (il che fa dimenticare le cose al robot). Ma i vecchi trucchi spesso compromettono la capacità del robot di pensare chiaramente. La grande domanda è: possiamo far stare questo cervello gigante in uno zainetto senza perdere il suo genio?

Entra in gioco SelectInfer, una nuova idea di ricercatori della Paderborn University che suggerisce un modo intelligente per risolvere questo enigma. Invece di cercare di rimpicciolire l'intera biblioteca o di buttare via libri a caso, SelectInfer agisce come un bibliotecario molto intelligente che sa esattamente quali libri ti servono proprio in questo momento.

Ecco come funziona, usando una storia semplice. Immagina che il tuo cervello robotico sia una massiccia fabbrica con migliaia di lavoratori (chiamati "neuroni"). In una fabbrica normale, ogni singolo lavoratore si presenta al lavoro ogni giorno, anche se non ha nulla da fare. Questo spreca spazio ed energia. I ricercatori hanno scoperto che questi lavoratori si dividono in realtà in due gruppi. Alcuni sono "Generalisti" che si presentano sempre, indipendentemente dal lavoro — come le persone che tengono accese le luci e fanno funzionare la macchina del caffè. Altri sono "Specialisti" che si presentano solo per compiti specifici, come la squadra che ripara l'impianto idraulico o la squadra che dipinge le pareti.

Il documento dimostra che per qualsiasi compito, non hai bisogno di tutti gli specialisti, e sicuramente non hai bisogno di quelli che non stanno lavorando oggi. SelectInfer usa un trucco magico in due fasi per far funzionare la fabbrica su un piccolo dispositivo:

Caricamento Selettivo (Il Trucco dello Zaino): Prima ancora che il robot inizi a lavorare, i ricercatori usano un "profilatore offline" (una sorta di esploratore) per capire quali Generalisti e Specialisti sono i più importanti. Poi, quando il robot è pronto ad andare, imballa solo quei lavoratori specifici nel suo zaino (memoria). Lascia indietro tutti gli altri. È come imballare solo gli strumenti che ti servono per un viaggio in campeggio invece di tutto il negozio di ferramenta. Questo permette al robot di entrare in dispositivi che prima erano troppo piccoli per contenerlo. Ad esempio, su un dispositivo con solo 8 GB di memoria (come un NVIDIA Jetson Orin Nano), un modello che di solito richiede 9 GB di spazio può ora infilarsi perché trasporta solo il 70% essenziale dei suoi lavoratori.
Computazione Selettiva (Il Trucco On-Demand): Anche con uno zaino più leggero, il robot deve comunque chiedere a ogni lavoratore di svolgere il proprio compito, il che richiede tempo. SelectInfer aggiunge una seconda regola: una volta che il robot inizia a lavorare, chiede solo ai lavoratori più rilevanti di fare effettivamente il calcolo per quel momento specifico. Se il robot sta scrivendo una poesia, non ha bisogno che la squadra dell'idraulica calcoli lo schema delle rime. Deve solo svegliare i poeti. Questo rende il robot molto più veloce nel pensare.

I ricercatori hanno testato questo metodo su tre cervelli robotici (Llama3.2-3B, Llama3.2-1B e Qwen2.5-3B) su un minuscolo chip computerizzato. Hanno scoperto che, usando questo metodo, potevano far girare questi enormi modelli su dispositivi che prima erano impossibili da usare. Per il modello da 3 miliardi di parametri, SelectInfer lo ha reso circa 1,53 volte più veloce rispetto all'attuale miglior metodo di schiacciamento dei dati (quantizzazione a 4 bit) e più di 13 volte più veloce rispetto al tentativo di prelevare i dati da un disco lento.

Fondamentalmente, il documento sostiene che questo non rende il robot "più stupido". Anzi, per molti compiti come la traduzione e la sintesi di storie, SelectInfer è stato in realtà più accurato di altri metodi che cercavano di risparmiare spazio. I ricercatori hanno scoperto che, mentre altri metodi risparmiavano spazio ma erano lenti, o erano veloci ma dimenticavano le cose, SelectInfer è riuscito a bilanciare tutti e tre: ha risparmiato memoria, ha velocizzato il pensiero e ha mantenuto l'accuratezza delle risposte.

Il documento esclude esplicitamente l'idea che sia necessario buttare via l'intero modello o riaddestrarlo da zero per farlo entrare. Dimostra anche che semplicemente scegliere lavoratori a caso da lasciare indietro (caricamento casuale) causa il fallimento totale del robot, provando che serve una mappa intelligente per sapere chi tenere. Sebbene il metodo richieda una fase di "esplorazione" una tantum per capire quali lavoratori sono importanti, i risultati suggeriscono che questo è un modo pratico e potente per portare un'IA super intelligente nei piccoli gadget nelle nostre tasche senza aver bisogno di un supercomputer nel cloud.

Riepilogo Tecnico: SelectInfer

Problematica

I Large Language Models (LLM) affrontano barriere significative per il deployment su dispositivi edge con risorse limitate (ad es. NVIDIA Jetson Orin Nano) a causa dell'elevato fabbisogno di memoria e computazione. Le strategie di ottimizzazione esistenti non riescono ad affrontare simultaneamente le tre dimensioni critiche del deployment edge: impronta di memoria, velocità di inferenza e accuratezza dell'output.

Quantizzazione: riduce la memoria ma spesso degrada il throughput di decodifica e offre solo un controllo grossolano (ad es. 4-bit rispetto a 8-bit).
Pruning (Potatura): richiede un addestramento costoso e rimuove permanentemente i pesi, mancando di adattabilità a runtime.
Offloading (Scarico): (ad es. su disco) è limitato dalla larghezza di banda I/O e spesso incompatibile con le architetture a memoria unificata tipiche degli SoC edge.
Metodi di sparsità a runtime (ad es. CoreInfer) migliorano la velocità saltando i neuroni inattivi, ma richiedono che l'intero modello risieda in memoria, impedendo il deployment di modelli più grandi su hardware con memoria limitata.

Metodologia

SelectInfer è un framework di ottimizzazione a livello di neurone che consente un'inferenza efficiente degli LLM attraverso il caricamento selettivo e la computazione selettiva, guidati da una fase di profiling offline. L'intuizione centrale è che i neuroni degli LLM presentano una struttura duale: un nucleo stabile di neuroni specifici del modello (general-purpose), attivati universalmente attraverso i task, e neuroni specifici del task che guidano le prestazioni per singoli input.

1. Fase Offline: LLM Profiler

Prima del deployment, SelectInfer utilizza un profiler offline per analizzare le attivazioni dei neuroni attraverso dataset diversificati (ad es. QA, traduzione, riassunto).

Scoring (Punteggio): Per ogni neurone $n$ , viene calcolato un punteggio $s_n$ basato sulla somma delle attivazioni assolute su un set di token $T$ : $s_n = \sum_{t \in T} |a_n(t)|$ .
Classificazione: I neuroni sono categorizzati in due gruppi:
- Base Neurons (Neuroni Base): Neuroni specifici del task identificati fondendo i punteggi dai prompt all'interno di un compito specifico.
- Secondary Neurons (Neuroni Secondari): Neuroni specifici del modello identificati fondendo i punteggi attraverso diversi task.
Output: Il profiler genera file di neuroni classificati che identificano i neuroni più importanti per task specifici e per il comportamento generale del modello.

2. Fase Online: Ottimizzazione

Durante l'esecuzione sul dispositivo edge, SelectInfer applica due meccanismi:

Selective Loading (Caricamento Selettivo - Ottimizzazione della Memoria):
Invece di caricare l'intero modello, SelectInfer carica solo un sottoinsieme di neuroni in memoria. Prioritizza i base neurons (specifici del task) e riempie il budget di memoria rimanente con i secondary neurons (specifici del modello) fino a una soglia di caricamento definita $\gamma$ . Ciò consente di eseguire modelli che altrimenti supererebbero la memoria del dispositivo (ad es. modelli da 3B su dispositivi da 8GB) scartando interamente i pesi irrilevanti.
Selective Computation (Computazione Selettiva - Ottimizzazione della Velocità):
Anche con un'impronta di memoria ridotta, computare tutti i neuroni caricati può essere lento. SelectInfer restringe ulteriormente la computazione a un sottoinsieme dei neuroni caricati ( $\epsilon < \gamma$ ).
- Static Neurons (Neuroni Statici): Corrispondono ai base neurons; vengono sempre computati indipendentemente dall'input.
- Dynamic Neurons (Neuroni Dinamici): Selezionati a runtime durante la fase di prefill. Il sistema calcola i valori di attivazione per tutti i neuroni caricati, li ordina e seleziona i primi $\alpha$ neuroni per token. Successivamente, li aggrega per trovare i $\beta$ neuroni più frequenti per il prompt.
- Il rapporto di computazione totale $\phi = \delta + \epsilon$ è configurabile dall'utente, permettendo un compromesso tra velocità e accuratezza.

Contributi Chiave

Offline Profiler: Un meccanismo per identificare e classificare i neuroni specifici del modello e del task, stabilendo una "struttura duale" dell'attivazione degli LLM.
Selective Loading: Una strategia di deployment che carica solo i neuroni rilevanti, consentendo l'esecuzione di modelli più grandi della memoria disponibile sul dispositivo.
Selective Computation: Un meccanismo a runtime che computa dinamicamente solo i neuroni più rilevanti (statici + dinamici), accelerando l'inferenza senza una perdita significativa di accuratezza.
Framework Regolabile: Un sistema che tratta memoria, velocità e accuratezza come parametri indipendentemente regolabili, offrendo un controllo più fine rispetto ai parametri grossolani di quantizzazione o pruning.

Risultati della Valutazione

Il framework è stato valutato su NVIDIA Jetson Orin Nano (8 GB di memoria condivisa) utilizzando i modelli Llama3.2-1B, Llama3.2-3B e Qwen2.5-3B su compiti di QA, traduzione e riassunto.

Fattibilità: SelectInfer ha permesso a modelli di scala 3B (che richiederebbero nativamente ~8.5–9.5 GB) di girare sul dispositivo Jetson da 8 GB caricando solo il 70% dei neuroni.
Impronta di Memoria: SelectInfer ha ridotto l'uso della memoria di circa il 13.2% per Llama3.2-3B (da 6.88 GB a 5.97 GB) rispetto al modello originale, e significativamente di più rispetto a CoreInfer (che richiede il caricamento del modello completo). Sebbene la quantizzazione a 4-bit abbia ottenuto un uso della memoria assoluto inferiore, SelectInfer ha mantenuto una precisione maggiore per i pesi caricati.
Accuratezza: Selectifer ha mantenuto un'accuratezza competitiva. Nei compiti di traduzione (WMT16), SelectInfer ha raggiunto circa 25–26 BLEU per Llama3.2-3B, superando significativamente CoreInfer (~4–5 BLEU) e il caricamento casuale di CoreInfer. In generale, ha superato o eguagliato la quantizzazione a 4-bit nei compiti di traduzione e riassunto.
Velocità: SelectInfer ha raggiunto un throughput di decodifica di circa 9.85 token/s per Llama3.2-3B. Ciò rappresenta un miglioramento di 1.53× rispetto alla quantizzazione a 4-bit e un miglioramento di 13× rispetto agli approcci di offloading su disco.
Confronto: SelectInfer ha superato CoreInfer in accuratezza (grazie al profiling offline) ed efficienza della memoria (grazie al caricamento selettivo). Ha offerto velocità e accuratezza migliori della quantizzazione nei compiti di traduzione, evitando i limiti hardware dei kernel a bassa precisione.

Significato e Rivendicazioni

L'articolo sostiene che SelectInfer rappresenti un passo pratico verso il deployment degli LLM su dispositivi edge risolvendo il "trilemma" di memoria, velocità e accuratezza. A differenza del lavoro precedente che ottimizza solo uno o due di questi aspetti, Selectifer fornisce un punto operativo bilanciato e regolabile su tutti e tre.

Gli autori sottolineano che il loro approccio:

Non richiede ri-addestramento, distinguendosi da pruning e distillazione.
È compatibile con le architetture a memoria unificata, a differenza dei metodi di offloading.
Offre un controllo fine, permettendo agli utenti di regolare la percentuale di neuroni caricati e computati per adattarsi ai vincoli specifici del dispositivo e alle esigenze dell'applicazione.
Si generalizza tra diverse famiglie di modelli, dimostrando efficacia sia sulle architetture Llama che Qwen.

Il lavoro posiziona SelectInfer come un'evoluzione necessaria oltre la compressione grossolana, consentendo l'esecuzione di modelli più grandi e capaci su hardware precedentemente ritenuto insufficiente per tali compiti.