🤖 AI

Quantization with Unified Adaptive Distillation to enable multi-LoRA based one-for-all Generative Vision Models on edge

Il documento presenta QUAD, un framework che unisce quantizzazione e distillazione adattiva per abilitare l'esecuzione efficiente su dispositivi edge di modelli generativi visivi multi-task basati su LoRA, riducendo drasticamente l'ingombro di memoria e la latenza senza sacrificare la qualità visiva.

Autori originali: Sowmya Vajrala, Aakash Parmar, Prasanna R, Sravanth Kodavanti, Manjunath Arveti, Srinivas Soumitri Miriyala, Ashok Senapati

Pubblicato 2026-04-01

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Sowmya Vajrala, Aakash Parmar, Prasanna R, Sravanth Kodavanti, Manjunath Arveti, Srinivas Soumitri Miriyala, Ashok Senapati

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere uno smartphone intelligente capace di fare magie con le foto: può rimuovere oggetti indesiderati, cambiare lo sfondo o trasformare un tuo selfie in un dipinto a olio, tutto direttamente sul dispositivo, senza bisogno di internet.

Il problema è che questi "maghi" digitali (chiamati Modelli di Visione Generativa) sono enormi, pesanti e affamati di memoria. Attualmente, per farli funzionare su un telefono, dovresti scaricare una copia separata del modello per ogni singola magia che vuoi fare. È come se per cucinare la pasta, la pizza e il gelato dovessi comprare tre forni diversi, ognuno grande quanto una stanza. Occuperebbe tutto lo spazio del tuo telefono e sarebbe lentissimo cambiare compito.

Gli autori di questo articolo (ricercatori di Samsung) hanno trovato un modo geniale per risolvere il problema. Ecco come funziona, spiegato con una metafora semplice:

1. Il "Forno" e i "Ricettari" (Il Modello e i LoRA)

Immagina il modello di base come un forno da cucina universale. È potente, ma da solo non sa cosa cucinare.
Per insegnargli a fare cose diverse, usiamo dei piccoli "ricettari" chiamati LoRA.

Il vecchio modo: Per ogni ricetta (rimuovere oggetti, cambiare stile, ecc.), si stampava un nuovo forno completo con la ricetta già cucita dentro. Risultato: 10 ricette = 10 forni giganti.
Il nuovo modo (L'idea del paper): Si ha un solo forno gigante (il modello base) che rimane sempre lo stesso. I "ricettari" (i LoRA) sono piccoli foglietti di carta che puoi inserire nel forno al momento, mentre lo stai usando. Non devi cambiare forno, basta cambiare il foglietto!

2. Il Problema della "Lingua" (La Quantizzazione)

C'è un ostacolo: il forno è stato costruito per funzionare con ingredienti misurati in modo molto preciso (numeri a virgola mobile complessi). Ma i telefoni sono piccoli e veloci solo se usano ingredienti misurati in modo semplice e rotondo (numeri interi, o quantizzazione).
Il problema è che ogni "ricettario" (LoRA) aveva le sue misure specifiche. Se provavi a usare un foglietto di ricette con le misure di un altro, il forno si bloccava o faceva errori.

3. La Soluzione: QUAD (Il Traduttore Universale)

Qui entra in gioco la loro invenzione chiamata QUAD (Quantizzazione con Distillazione Adattiva Unificata).
Immagina QUAD come un super-traduttore o un adattatore universale.
Prima di mettere i ricettari nel forno, QUAD li "allena" tutti a parlare la stessa lingua semplice.

Prende tutti i diversi ricettari.
Li fa "studiare" insieme per assicurarsi che usino tutti le stesse unità di misura (le stesse scale e zeri).
In questo modo, il forno (il modello) può accettare qualsiasi foglietto di ricetta in qualsiasi momento, senza bisogno di essere riaggiustato o riavviato.

4. I Risultati: Perché è fantastico?

Grazie a questo sistema, i ricercatori hanno ottenuto risultati incredibili:

Risparmio di spazio: Invece di occupare 15 GB di spazio per 10 funzioni diverse (come nel vecchio metodo), ora ne occupano solo 2,6 GB. È come passare da avere 10 forni in cucina a averne uno solo, con un cassetto pieno di foglietti di ricette. Risparmio di memoria fino a 6 volte!
Velocità: Cambiare compito (ad esempio, passare dal rimuovere un oggetto al cambiare lo sfondo) è istantaneo. Non devi aspettare che il telefono scarichi un nuovo modello. Latenza ridotta fino a 4 volte.
Qualità: Le foto vengono elaborate con una qualità quasi perfetta, come se fossero fatte con il modello gigante e lento, ma in un attimo.

In sintesi

Hanno trasformato un sistema rigido e ingombrante in qualcosa di modulare e leggero.
Invece di avere un'auto diversa per ogni strada (strada di montagna, autostrada, città), hanno creato un'auto con un cambio automatico intelligente che può adattarsi a qualsiasi strada istantaneamente, senza bisogno di cambiare veicolo.

Questo permette di portare l'intelligenza artificiale generativa più avanzata direttamente nelle nostre tasche, rendendo i telefoni più veloci, più privati (i dati non devono uscire dal telefono) e capaci di fare cose incredibili senza intasare la memoria.

Titolo: Quantizzazione con Distillazione Adattiva Unificata per abilitare Modelli Visivi Generativi "One-for-All" basati su Multi-LoRA su dispositivi Edge

1. Il Problema

L'integrazione di funzionalità di Intelligenza Artificiale Generativa (GenAI), come l'editing di immagini, la rimozione di oggetti e la trasformazione guidata da prompt, nelle applicazioni mobili sta crescendo rapidamente. Tuttavia, l'implementazione di Modelli Visivi di grandi dimensioni (LVM) su dispositivi con risorse limitate (smartphone) presenta sfide significative:

Costi di Memoria e Computazione: Gli LVM richiedono molta memoria e potenza di calcolo, rendendo difficile il loro esecuzione locale senza ricorrere al cloud (che introduce latenza e problemi di privacy).
Inefficienza nell'Adattamento Multi-Task: Sebbene i Low-Rank Adapters (LoRA) permettano un adattamento efficiente dei parametri per compiti specifici mantenendo il modello base congelato, le pipeline di deployment attuali compilano binari separati per ogni combinazione "Modello Base + LoRA".
Conflitti di Quantizzazione: Quando i LoRA vengono quantizzati indipendentemente, spesso richiedono parametri di quantizzazione diversi (scale e zero-point). Questo impedisce l'uso di un unico grafo di inferenza statico compatibile con gli acceleratori hardware (NPU), costringendo a ricaricare interi modelli per cambiare task, con conseguente aumento dell'overhead di memoria e latenza.

2. Metodologia Proposta

Gli autori propongono un framework unificato che combina tre innovazioni principali per abilitare l'inferenza multi-task su un singolo modello compilato:

A. LoRA come Input di Runtime (One-for-All Graph)
Invece di fondere i pesi del LoRA nel grafo del modello prima della compilazione, il framework tratta i pesi del LoRA come tensori di input dinamici.

L'architettura del modello (basata su Diffusion Latent, simile a Stable Diffusion 1.5) viene modificata per accettare i tensori $A$ e $B$ del LoRA come input durante l'esecuzione.
Questo permette di compilare un unico grafo congelato (frozen graph) che supporta tutti i task. Durante l'inferenza, i pesi del LoRA specifici per il task vengono caricati e iniettati dinamicamente senza ricompilazione.

B. Framework QUAD (Quantization with Unified Adaptive Distillation)
Per rendere questo approccio efficiente su hardware edge, è necessario che tutti i LoRA condividano gli stessi parametri di quantizzazione. Il framework QUAD risolve il problema della distribuzione diversa dei pesi:

Analisi di Sensibilità: Viene identificato il LoRA più sensibile alla quantizzazione (quello che perde più accuratezza se perturbato) per fungere da "ancora" e definire i parametri di quantizzazione globali (scale e zero-point).
Distillazione della Conoscenza: I LoRA vengono fine-tunati utilizzando una strategia di distillazione. Un modello "insegnante" (full-precision) guida un modello "studente" (quantizzato) che utilizza i parametri di quantizzazione condivisi. Questo allinea le distribuzioni dei pesi di tutti i LoRA, permettendo loro di operare sotto lo stesso profilo di quantizzazione senza degradare la qualità visiva.

C. Stack Software e Deployment
Viene implementato uno stack di runtime leggero compatibile con le NPU mobili. Lo stack include:

Un runtime del grafo per l'esecuzione del modello quantizzato.
Un caricatore LoRA per gestire il binding dei buffer di memoria.
Un scheduler per ottimizzare l'uso delle thread e la riutilizzazione della memoria.
Il sistema supporta l'aggiornamento OTA (Over-The-Air) dei nuovi LoRA senza modificare il modello base.

3. Contributi Chiave

Architettura Unificata: Trasformazione dei pesi del LoRA da parte integrante del modello a input dinamici, abilitando il cambio di task a runtime senza ricompilazione.
Strategia di Quantizzazione Condivisa (QUAD): Un metodo innovativo che allinea le distribuzioni di più LoRA attraverso la distillazione, permettendo l'uso di un unico profilo di quantizzazione (es. INT8) per tutti i task su hardware edge.
Efficienza di Deployment: Eliminazione della ridondanza di storage dovuta alla compilazione di binari multipli, riducendo drasticamente l'occupazione di ROM e RAM.
Compatibilità Cross-Chipset: Il sistema è stato validato su diverse piattaforme hardware (Qualcomm, MediaTek, Samsung LSI/Exynos), dimostrando agnosticismo rispetto al chipset.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dispositivi reali (Samsung Galaxy S25, Tab S11) utilizzando modelli basati su Stable Diffusion 1.5 (1.1B e 0.7B parametri) per task come "Prompt-guided Image Transformation" e "Object Removal".

Riduzione della Memoria:
- Fino a 6x di riduzione dell'impronta di memoria (Footprint) rispetto all'approccio tradizionale con binari separati.
- Esempio: Un modello di 1.4GB con 10 LoRA richiederebbe 15GB con l'approccio classico, mentre il metodo proposto richiede solo 2.6GB.
Miglioramento della Latenza:
- Riduzione della latenza di runtime fino a 4x grazie all'eliminazione del caricamento/ricompilazione del grafo per ogni task.
- Risparmio di circa 1.5 secondi nell'inferenza end-to-end rispetto all'approccio "per-grafo".
Qualità dell'Output:
- Mantenimento di un'alta qualità visiva. Per il task di rimozione oggetti, il modello quantizzato (INT8) ha ottenuto un punteggio FID di 5.5287 rispetto al modello full-precision.
- Metriche di similarità (SSIM, PSNR, LPIPS) confermano che la distorsione è minima e accettabile per l'uso consumer.
Analisi di Ablazione:
- L'uso di precisione mista (W8A16) ha mostrato i migliori risultati. La riduzione completa a INT8 (W8A8) ha portato a un calo significativo della qualità, confermando l'efficacia della strategia W8A16 proposta.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale verso l'adozione massiva dell'IA generativa sui dispositivi mobili. Risolvendo il problema della gestione multi-task e della quantizzazione eterogenea, il framework proposto:

Abilita l'Edge AI: Permette di eseguire modelli complessi direttamente sul dispositivo, garantendo privacy (nessun dato inviato al cloud) e bassa latenza.
Riduce i Costi di Storage: Consente agli sviluppatori di distribuire un'unica applicazione che può eseguire decine di task diversi, invece di dover installare modelli separati.
Futuro Estendibile: La capacità di caricare nuovi LoRA via OTA apre la strada a modelli "One-for-All" che possono evolversi e aggiungere nuove funzionalità senza aggiornamenti dell'applicazione principale.

In sintesi, la combinazione di un'architettura dinamica (LoRA come input) e di una strategia di addestramento unificata (QUAD) rende possibile l'era dei modelli generativi visivi multi-task nativi per i dispositivi edge.