🤖 AI

Quantization with Unified Adaptive Distillation to enable multi-LoRA based one-for-all Generative Vision Models on edge

Die Arbeit stellt QUAD vor, einen quantisierungsbasierten Ansatz mit adaptiver Distillation, der die effiziente Ausführung mehrerer LoRA-basierter generativer Vision-Modelle auf Edge-Geräten durch einen einzigen, dynamisch umschaltbaren Modellkern ermöglicht und dabei Speicherbedarf sowie Latenz signifikant reduziert.

Ursprüngliche Autoren: Sowmya Vajrala, Aakash Parmar, Prasanna R, Sravanth Kodavanti, Manjunath Arveti, Srinivas Soumitri Miriyala, Ashok Senapati

Veröffentlicht 2026-04-01

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sowmya Vajrala, Aakash Parmar, Prasanna R, Sravanth Kodavanti, Manjunath Arveti, Srinivas Soumitri Miriyala, Ashok Senapati

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Ihr Smartphone ist wie ein kleines, hochmodernes Restaurant.

In der Vergangenheit war es so: Wenn Sie verschiedene Gerichte (z. B. ein italienisches Pasta-Gericht, ein japanisches Sushi oder ein mexikanisches Taco) bestellen wollten, musste das Restaurant für jedes Gericht eine völlig separate Küche mit eigenen Kochen, eigenen Töpfen und eigenen Vorräten einrichten. Das war extrem teuer, nahm viel Platz weg und dauerte lange, bis der Koch die Küche umrüstete, um von Pasta auf Sushi zu wechseln.

Das ist das Problem bei aktuellen KI-Modellen für Bilder: Um verschiedene Aufgaben zu erledigen (z. B. Objekte aus einem Foto entfernen, den Hintergrund ändern oder einen neuen Stil erzeugen), mussten bisher für jede Aufgabe eine eigene, riesige Version des KI-Modells auf dem Handy gespeichert werden. Das füllt den Speicher voll und macht das Handy langsam.

Die Forscher von Samsung haben jetzt eine geniale Lösung namens QUAD entwickelt. Hier ist, wie es funktioniert, einfach erklärt:

1. Die "Ein-Küchen-Regel" (Unified Model)

Statt für jedes Gericht eine neue Küche zu bauen, haben die Forscher eine super-flexible Hauptküche gebaut.

Das Grundgerüst: Das ist das große KI-Modell (der "Koch"), das immer da ist und die Grundarbeit erledigt.
Die Zutat: Die speziellen Aufgaben (LoRAs) werden nicht mehr fest in die Küche eingebaut. Stattdessen sind sie wie Zutatenpakete (Gewürzmischungen), die man erst während des Kochens hinzufügt.

Wenn Sie "Sushi" wollen, gibt der Koch einfach das Sushi-Gewürzpaket in den Topf. Wenn Sie "Taco" wollen, nimmt er das Taco-Paket. Die Küche selbst bleibt genau gleich. Das spart enorm viel Platz, weil Sie nicht 10 verschiedene Küchen für 10 Gerichte brauchen, sondern nur eine und 10 kleine Gewürzdosen.

2. Das Problem mit den "Gewürzen" (Quantization)

Jetzt kommt der Clou: Damit diese Gewürzpakete auf einem kleinen Handy-Kochherd (dem Prozessor) funktionieren, müssen sie sehr klein und leicht sein. Man "komprimiert" sie (Quantisierung).
Das Problem: Jedes Gewürzpaket hat normalerweise eine andere "Dichte". Wenn man sie alle einfach so komprimiert, passen sie nicht zusammen. Ein Paket würde den Herd verstopfen, ein anderes würde nicht richtig schmecken.

3. Die Lösung: QUAD (Der "Gewürz-Ausgleich")

Hier kommt die QUAD-Technologie ins Spiel. Stellen Sie sich QUAD wie einen meisterhaften Küchenchef vor, der vor dem Kochen alle Gewürzpakete vorbereitet.

Er schmeckt alle Pakete (die verschiedenen KI-Aufgaben) ab.
Er passt sie so an, dass alle Pakete die gleiche Dichte und Konsistenz haben.
Er sorgt dafür, dass sie alle perfekt mit demselben Herd (dem quantisierten Modell) harmonieren.

Dank dieser Vorbereitung kann das Handy nun blitzschnell zwischen den Aufgaben wechseln, ohne dass der Koch (das Modell) neu aufgebaut werden muss.

Was bringt das für Sie?

Platzsparend: Statt 10 große KI-Modelle zu speichern, speichern Sie nur ein großes Modell und viele kleine "Gewürzpakete". Das spart bis zu 6-mal mehr Speicherplatz.
Schneller: Kein Warten auf das Umrüsten der Küche. Der Wechsel von "Foto bearbeiten" zu "Foto malen" dauert nur Sekundenbruchteile.
Qualität: Trotz der Komprimierung (dem "kleiner machen") sieht das Ergebnis immer noch scharf und hochwertig aus, als wäre es auf einem riesigen Server entstanden.

Zusammenfassend:
Die Forscher haben einen Weg gefunden, ein riesiges KI-Genie auf Ihr Handy zu bekommen, das nicht stur nur eine Sache kann, sondern wie ein Schweizer Taschenmesser ist. Es hat eine feste Klinge (das Grundmodell) und Sie können im Handumdrehen verschiedene Aufsätze (die LoRAs) dranstecken, um genau das zu tun, was Sie gerade brauchen – alles ohne den Speicher Ihres Handys zu sprengen.

Titel

Quantisierung mit Unified Adaptive Distillation (QUAD) zur Ermöglichung von Multi-LoRA-basierten „One-for-All" generativen Vision-Modellen auf Edge-Geräten.

1. Problemstellung

Generative KI-Anwendungen (GenAI) wie Bildbearbeitung, Objektentfernung oder promptgesteuerte Transformationen werden zunehmend in mobile Anwendungen integriert. Die Bereitstellung von Large Vision Models (LVMs) für diese Aufgaben auf ressourcenbeschränkten Endgeräten (z. B. Smartphones) ist jedoch aufgrund des hohen Speicher- und Rechenbedarfs schwierig.

Das Hauptproblem liegt in der aktuellen Deployment-Strategie für Low-Rank Adapters (LoRAs):

Ineffiziente Speicherung: Herkömmliche Pipelines kompilieren für jede LoRA-Instanz eine separate Binärdatei, die eine Kopie des Basis-Modells enthält. Dies führt zu massiver Redundanz im Speicher (ROM) und erhöhten Laufzeit-Overheads.
Fehlende Dynamik: Da LoRAs typischerweise in das kompilierte Modellgraph eingebettet werden, ist ein dynamisches Umschalten zwischen Aufgaben zur Laufzeit ohne Neu-Kompilierung nicht möglich.
Quantisierungs-Inkompatibilität: Unterschiedliche LoRAs erfordern oft unterschiedliche Quantisierungsparameter (Skalierung und Nullpunkt), was die Nutzung einer einzigen statischen Inferenz-Grafik auf NPUs (Neural Processing Units) verhindert, die feste Quantisierungsparameter benötigen.

2. Methodik

Die Autoren schlagen einen einheitlichen Rahmen vor, der drei Kernkomponenten umfasst:

A. LoRA als Laufzeit-Input (Runtime Inputs)

Statt LoRA-Gewichte statisch in den Modellgraph zu mergen, werden sie als Laufzeit-Inputs behandelt.

Die Architektur wird so modifiziert, dass die LoRA-Matrizen ( $A$ und $B$ ) als Eingabetensoren an den inferenzoptimierten, eingefrorenen Basis-Graphen übergeben werden.
Dies ermöglicht ein dynamisches Umschalten zwischen Aufgaben zur Laufzeit, ohne das Basis-Modell neu zu laden oder den Graph neu zu kompilieren.
Vorteil: Ein einziges kompiliertes Binärdatei (Foundation Model) kann für alle Aufgaben genutzt werden.

B. QUAD-Framework (Quantization with Unified Adaptive Distillation)

Um die Effizienz auf Edge-Hardware zu gewährleisten, muss eine einzige Quantisierungsprofil für alle LoRAs und das Basis-Modell gelten. Da LoRAs unabhängig voneinander trainiert werden, haben sie unterschiedliche Gewichteverteilungen.

Gemeinsame Quantisierungsparameter: Das QUAD-Framework erzwingt eine gemeinsame Skalierung ( $s$ ) und einen gemeinsamen Nullpunkt ( $z$ ) für alle LoRAs und das Basis-Modell.
Sensitivitätsanalyse: Es wird eine „Quantization Sensitivity Score" (QSS) berechnet, um das LoRA zu identifizieren, das am empfindlichsten auf Quantisierung reagiert. Dessen Parameter dienen als Anker für die globalen Quantisierungsparameter.
Wissensdistillation (Knowledge Distillation): Die trainierten LoRAs werden mittels einer „QuantSim"-Simulation nachtrainiert (Fine-Tuning). Dabei dient das volle Präzisionsmodell als „Lehrer" und das quantisierte Modell als „Schüler". Die LoRA-Gewichte werden so angepasst, dass sie unter dem gemeinsamen Quantisierungsprofil funktionieren, ohne die Aufgabenleistung zu verlieren.

C. Deployment-Stack und Graph-Optimierung

Graph-Optimierung: Der kompilierte Graph nutzt Techniken wie „Scale Folding" (Vereinfachung von Quantisierungsparametern) und „Constant Folding".
Laufzeit-Stack: Ein leichter Runtime-Stack (Graph Runtime, LoRA Loader, Scheduler) verwaltet das Streamen der LoRA-Puffer in den RAM und bindet sie an die Model-Eingänge. Dies ermöglicht eine chipsets-agnostische Implementierung (unterstützt Qualcomm, MediaTek, LSI).

3. Wichtige Beiträge

Einheitliches Deployment-Framework: Erstmalige Möglichkeit, mehrere GenAI-Aufgaben auf einem einzigen kompilierten Edge-Modell mit dynamischem LoRA-Switching auszuführen.
QUAD-Strategie: Ein neuer Ansatz zur Quantisierung, der durch adaptive Distillation sicherstellt, dass unabhängig trainierte LoRAs kompatible Quantisierungsparameter teilen.
Speicher- und Latenzoptimierung: Deutliche Reduktion des Speicherbedarfs und der Latenz durch Eliminierung redundanter Modellkopien.
OTA-Erweiterbarkeit: Neue LoRAs können über „Over-the-Air" (OTA) bereitgestellt werden, ohne das Basis-Modell ändern zu müssen.

4. Ergebnisse und Experimente

Die Methode wurde auf verschiedenen Chipsets (Qualcomm GS25, LSI, MediaTek Tab S11) und für verschiedene Anwendungsfälle (Prompt-gesteuerte Bildtransformation, Objektentfernung, Text-zu-Bild, etc.) evaluiert.

Speichereffizienz:
- Bis zu 6-fache Reduktion des Speicherbedarfs (Memory Footprint).
- Beispiel: Ein 1,4 GB großes Diffusionsmodell mit 10 LoRAs würde separat ca. 15 GB benötigen. Mit dem QUAD-Ansatz werden nur ca. 2,6 GB benötigt (Shared Base Model + kleine LoRA-Dateien).
Latenz:
- Bis zu 4-fache Verbesserung der Laufzeit-Latenz, da keine neuen Graphen geladen werden müssen.
- Bei zwei Anwendungsfällen wurde eine Einsparung von 1,5 Sekunden End-to-End-Latenz gegenüber dem herkömmlichen Ansatz festgestellt.
Qualität:
- Die visuelle Qualität bleibt trotz Quantisierung (INT8/INT16) hoch.
- Metriken wie FID (Fréchet Inception Distance), SSIM und PSNR zeigen nur marginale Abweichungen im Vergleich zu Full-Precision-Modellen (z. B. FID von 5,52 für Objektminderung).
- Die Ablationsstudie zeigt, dass eine Quantisierung mit W8A16 (Weights 8-bit, Activations 16-bit) das beste Gleichgewicht zwischen Genauigkeit und Effizienz bietet.

5. Bedeutung und Fazit

Dieses Paper adressiert eine kritische Lücke zwischen der Effizienz von Parameter-Adaptionsmethoden (LoRA) und den praktischen Anforderungen des Deployments auf mobilen Endgeräten.

Paradigmenwechsel: Der Ansatz verschiebt die Komplexität von der Kompilierungsphase in die Laufzeit, ermöglicht aber durch QUAD eine stabile, hardwarefreundliche Ausführung.
Skalierbarkeit: Da nur ein Basis-Modell gespeichert werden muss, skaliert die Speicheranforderung linear mit der Anzahl der LoRAs, statt exponentiell (wie bei separaten Binärdateien).
Zukunftsfähigkeit: Die Lösung macht Edge-GenAI praktikabel, indem sie Datenschutz (lokale Inferenz), geringe Latenz und geringen Speicherbedarf vereint, ohne auf die Vielseitigkeit von Multi-Task-Modellen verzichten zu müssen.

Zusammenfassend ermöglicht QUAD die effiziente Nutzung von „One-for-All" generativen Modellen auf ressourcenbeschränkter Hardware, indem es die Vorteile von LoRA mit hardware-spezifischer Quantisierung und dynamischem Runtime-Management kombiniert.