Multi-DNN Inference of Sparse Models on Edge SoCs

Die Arbeit stellt SparseLoom vor, ein Demonstratorsystem für Edge-SoCs, das durch eine neuartige „Model Stitching"-Methode zur rekombinierenden Erstellung von Modellvarianten ohne Nachtraining die SLO-Verletzungsraten um bis zu 74 % senkt, den Durchsatz um das 2,31-Fache steigert und den Speicherbedarf im Vergleich zu bestehenden Multi-DNN-Inferenzsystemen um durchschnittlich 28 % reduziert.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschung aus dem Paper „SparseLoom", verpackt in eine Geschichte und mit anschaulichen Vergleichen.

Das große Problem: Der überfüllte Werkzeugkasten

Stellen Sie sich vor, Sie betreiben eine hochmoderne Werkstatt für KI-Aufgaben auf einem kleinen, mobilen Gerät (wie einem Smartphone oder einem autonomen Roboter). Diese Werkstatt muss viele verschiedene Jobs gleichzeitig erledigen:

1. Gesichtserkennung (Wer ist das?)
2. Spracherkennung (Was sagt der Nutzer?)
3. Aktivitätserkennung (Laufet er oder sitzt er?)
4. Stimmungsanalyse (Ist der Nutzer fröhlich oder wütend?)

Jeder dieser Jobs braucht einen speziellen „Werkzeugkasten" (ein neuronales Netzwerk). Das Problem ist: Ihr Gerät hat nur begrenzte Ressourcen. Es hat einen Hauptprozessor (CPU), einen Grafikprozessor (GPU) und einen KI-Spezialprozessor (NPU).

Bisherige Systeme waren wie ein starrer Handwerker:

• Sie hatten für jeden Job nur ein einziges Werkzeug.
• Wenn der Job zu langsam war, wurde das Werkzeug nicht getauscht, sondern das ganze System wurde überlastet.
• Wenn die Anforderungen streng waren (z. B. „Das muss in 10 Millisekunden fertig sein"), schaffte das einzelne Werkzeug es oft nicht. Das Ergebnis: Fehlermeldungen (in der Fachsprache „SLO-Verletzungen"), weil die Aufgaben nicht pünktlich erledigt wurden.

Die Lösung: „Model Stitching" (Das Nähen von Modellen)

Die Forscher von der University of St Andrews haben eine geniale Idee namens „Model Stitching" (Modell-Nähen) entwickelt.

Stellen Sie sich vor, Sie haben drei verschiedene Jacken:

1. Eine dicke Winterjacke (sehr genau, aber schwer und langsam).
2. Eine leichte Regenjacke (schnell, aber weniger warm).
3. Eine Wolljacke (ein Kompromiss).

Bisherige Systeme mussten sich für eine ganze Jacke entscheiden. Entweder Sie frieren (zu langsam) oder Sie schwitzen (zu ungenau).

SparseLoom schneidet diese Jacken jedoch auf!

• Es nimmt den Kragen der dicken Winterjacke (für hohe Genauigkeit).
• Es näht den Rücken der leichten Regenjacke dran (für Geschwindigkeit).
• Es fügt die Ärmel der Wolljacke hinzu.

Das Ergebnis ist eine neue, maßgeschneiderte Jacke, die genau die Eigenschaften hat, die Sie gerade brauchen: schnell genug, aber trotzdem warm genug. Und das Beste: Man muss die Jacke nicht neu nähen (kein Neulernen/Re-Training). Man nutzt einfach die vorhandenen Teile (Subgraphen) und kombiniert sie neu.

Die drei Herausforderungen und wie SparseLoom sie löst

Das Kombinieren ist toll, aber es bringt drei neue Probleme mit sich, die das Team mit drei cleveren Modulen gelöst hat:

1. Das Problem der unendlichen Möglichkeiten (Der „Profiler")

Wenn man Jacken aus Teilen kombinieren kann, gibt es plötzlich Tausende von Kombinationen. Jedes einzelne Teil zu testen, würde ewig dauern.

• Die Lösung: SparseLoom nutzt einen intelligenten Schätzer. Statt jede neue Jacke physisch anzuprobieren, schaut er sich die Teile an und sagt: „Wenn der Kragen von Jacke A und der Rücken von Jacke B sind, wird das Ergebnis wahrscheinlich so aussehen."
• Der Vorteil: Das System spart bis zu 99 % Zeit beim Vorbereiten, weil es nicht alles mühsam testen muss.

2. Das Problem der falschen Zuordnung (Der „Optimierer")

Stellen Sie sich vor, Sie haben eine Werkstatt mit drei Arbeitern: Einem starken Riesen (NPU), einem schnellen Läufer (GPU) und einem klugen Denker (CPU).

• Früher wurde immer die gleiche Reihenfolge festgelegt: Riesen macht Teil 1, Läufer Teil 2, Denker Teil 3.
• Das Problem: Manchmal ist der Läufer für Teil 1 besser geeignet als der Riesen.
• Die Lösung: SparseLoom ist wie ein kluger Chef, der für jede neue Jacken-Kombination genau berechnet, welcher Arbeiter welchen Teil am besten erledigt. Er passt die Reihenfolge dynamisch an, um den Durchsatz zu maximieren.
• Der Vorteil: Die Werkstatt wird bis zu 2,3-mal schneller.

3. Das Problem des Platzmangels (Der „Preloader")

Wenn Sie Tausende von Jacken-Kombinationen haben, passen sie nicht alle in Ihren kleinen Schrank (den Arbeitsspeicher). Wenn Sie eine Jacke brauchen, die gerade nicht im Schrank liegt, müssen Sie sie erst holen – das kostet Zeit.

• Die Lösung: SparseLoom nutzt einen Wärme-Meter (Hotness-Metric). Es fragt sich: „Welche Jackenteile werden am häufigsten gebraucht?"
• Es lädt nur die „heißesten" (am häufigsten genutzten) Teile vorab in den Schrank. Seltene Teile bleiben draußen.
• Der Vorteil: Sie sparen 28 % Speicherplatz, ohne dass die Werkstatt langsamer wird, weil die wichtigsten Teile immer griffbereit sind.

Das Ergebnis: Ein super-effizientes Team

Das Team SparseLoom hat diese Techniken auf echten Edge-Geräten getestet. Die Ergebnisse sind beeindruckend:

• Weniger Fehler: Die Rate, bei der Aufgaben zu spät oder ungenau waren, sank um bis zu 74 %.
• Mehr Geschwindigkeit: Das System schafft bis zu 2,3-mal mehr Aufgaben pro Sekunde als die besten bisherigen Systeme.
• Platzsparend: Es braucht deutlich weniger Speicher, um all diese Kombinationen zu verwalten.

Zusammenfassend:
SparseLoom ist wie ein genialer Schneider und Disponent in einem. Es nimmt alte, starre KI-Modelle, schneidet sie in flexible Teile, näht sie je nach Bedarf neu zusammen und sorgt dafür, dass jeder Teil des Computers genau das tut, was er am besten kann – alles ohne das mühsame Neulernen der Modelle. Das macht KI auf kleinen Geräten endlich wirklich schnell und zuverlässig.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Multi-DNN Inference of Sparse Models on Edge SoCs" auf Deutsch:

Titel: Multi-DNN-Inferenz von Sparse-Modellen auf Edge-SoCs

Autoren: Jiawei Luo, Di Wu, Simon Dobson, Blesson Varghese (University of St Andrews)

---

1. Problemstellung

Moderne Edge-Anwendungen (z. B. Augmented Reality) erfordern zunehmend die parallele Ausführung mehrerer Deep-Neural-Network-(DNN)-Aufgaben auf heterogenen Prozessoren (CPU, GPU, NPU). Um die Leistung zu optimieren, wird oft versucht, jedes Modell auf den am besten geeigneten Beschleuniger abzustimmen und gleichzeitig Service Level Objectives (SLOs) für Latenz und Genauigkeit einzuhalten.

Die bestehenden Systeme stoßen jedoch an Grenzen:

• Eingeschränkte Variantenauswahl: Die meisten Systeme wählen Modelle direkt aus einem vordefinierten „Sparse Model Zoo" (z. B. ein dichtes Modell, ein beschneidenes und ein quantisiertes Modell). Die Anzahl dieser Varianten ist begrenzt.
• Hohe SLO-Verletzungsraten: Wenn die Anforderungen an Latenz und Genauigkeit streng sind (z. B. Echtzeit-AR), reicht die begrenzte Auswahl an vordefinierten Modellen oft nicht aus, um alle SLOs gleichzeitig zu erfüllen. Dies führt zu hohen Verletzungsraten.
• Ineffiziente Ressourcennutzung: Die Zuordnung von Teilgraphen (Subgraphs) zu Prozessoren erfolgt oft in festen Mustern, die nicht für jede spezifische Modellvariante optimiert sind, was den Durchsatz senkt.
• Speicherüberhead: Um Laufzeit-Latenzen beim Wechseln von Modellen zu vermeiden, werden oft alle Varianten vorge laden, was den Speicherverbrauch auf Edge-Geräten drastisch erhöht.

2. Methodik: SparseLoom

Die Autoren stellen SparseLoom vor, ein ganzheitliches Multi-DNN-Inferenzsystem, das drei Kernkomponenten integriert, um diese Herausforderungen zu lösen.

A. Model Stitching (Modell-Stitching)

Das Herzstück der Methode ist eine trainingsfreie Technik zur Generierung neuer Modellvarianten.

• Prinzip: Anstatt nur existierende Modelle zu nutzen, werden Teilgraphen (aufeinanderfolgende Layer-Blöcke) aus verschiedenen Sparse-Varianten desselben Basismodells (z. B. ein Layer aus dem beschneidenen Modell, der nächste aus dem quantisierten Modell) kombiniert.
• Vorteil: Dies erzeugt exponentiell mehr mögliche Varianten („Stitched Variants") ohne erneutes Training. Diese Varianten bieten ein breiteres Spektrum an Genauigkeits-Latenz-Trade-offs, was die Wahrscheinlichkeit erhöht, dass eine Variante die spezifischen SLOs erfüllt.
• Voraussetzung: Die Sparse-Modelle müssen eine identische Partitionierung der Teilgraphen aufweisen, damit diese nahtlos kombiniert werden können.

B. Drei Optimierungsmodule

Um die Komplexität durch die enorme Anzahl neuer Varianten zu beherrschen, nutzt SparseLoom drei Module:

1. Performance Profiler (Leistungsprofiiler):

   • Problem: Das vollständige Profiling (Messung von Genauigkeit und Latenz) aller gestickten Varianten wäre zu teuer.
   • Lösung: Ein Accuracy Estimator (basierend auf XGBoost) und ein Latency Estimator schätzen die Leistung vorher.
   • Mechanismus: Die Genauigkeit wird aus den Genauigkeiten der ursprünglichen Teilgraphen abgeleitet. Die Latenz wird durch Summierung der gemessenen Latenzen der einzelnen Teilgraphen auf den jeweiligen Prozessoren berechnet (unter Vernachlässigung der geringen Kommunikationskosten im Shared-Memory-SoC).
   • Ergebnis: Reduziert den Profiling-Aufwand um bis zu 99 %.

2. Sparsity-Aware Optimizer (Sparsity-bewusster Optimierer):

   • Problem: Die Reihenfolge, in der Teilgraphen auf heterogenen Prozessoren ausgeführt werden, hat einen massiven Einfluss auf die Gesamtlatenz. Feste Zuordnungen sind suboptimal.
   • Lösung: Das System führt eine gemeinsame Optimierung durch: Es wählt gleichzeitig die optimale globale Reihenfolge der Prozessoren (Processor Placement Order) und die beste gestickte Variante für jede Aufgabe aus, um den durchschnittlichen Durchsatz zu maximieren und SLOs einzuhalten.

3. Hot-Subgraph Preloader (Vorgeladene Heiß-Teilgraphen):

   • Problem: Das Vorladen aller möglichen Varianten sprengt den Speicher.
   • Lösung: Ein Hotness-Metriksystem bewertet Teilgraphen basierend auf ihrer Häufigkeit und Einzigartigkeit in den SLO-konformen Varianten.
   • Strategie: Nur die „heißesten" (am häufigsten benötigten) Teilgraphen werden im Speicher vorgehalten. Bei SLO-Änderungen wird dynamisch zwischen diesen vorgehaltenen Blöcken gewechselt, was den Speicherbedarf drastisch senkt, ohne die Reaktionszeit zu beeinträchtigen.

3. Schlüsselbeiträge

1. Einführung von Model Stitching: Eine neue, trainingsfreie Methode zur Erweiterung des Modellvariantenraums durch Kombination von Teilgraphen, die SLO-Verletzungen signifikant reduziert.
2. SparseLoom-Systemarchitektur: Ein vollständiges System für Edge-SoCs, das Stitching mit effizientem Profiling, dynamischer Prozessorzuteilung und speichereffizientem Preloading kombiniert.
3. Umfassende Evaluation: Validierung auf drei verschiedenen Edge-Plattformen (Intel Desktop, Intel Laptop, NVIDIA Jetson Orin) mit vier unterschiedlichen Aufgaben (Bildklassifizierung, Sentiment-Analyse, Aktivitätserkennung, Spracherkennung).

4. Ergebnisse

Die Evaluierung zeigt deutliche Verbesserungen gegenüber dem State-of-the-Art (sechs verschiedene Baselines):

• Reduktion der SLO-Verletzungen: SparseLoom reduziert die Verletzungsrate um bis zu 74 % im Vergleich zu bestehenden Systemen. Selbst unter extrem strengen Anforderungen (nur hohe Genauigkeit oder nur niedrige Latenz) bleibt die Verletzungsrate signifikant niedriger.
• Steigerung des Durchsatzes: Durch die optimierte Prozessorauswahl und die größere Variantenauswahl verbessert sich der Durchsatz um bis zu 2,31-fach.
• Speicheroptimierung: Durch das Hot-Subgraph-Preloading wird der Speicherüberhead im Durchschnitt um 28 % gesenkt, während die SLO-Performance erhalten bleibt.
• Skalierbarkeit: Dank der Schätzmodule wächst der Profiling-Aufwand nur linear mit der Anzahl der Aufgaben, statt exponentiell.

5. Bedeutung und Fazit

SparseLoom adressiert eine kritische Lücke im Edge-Computing: Die Fähigkeit, heterogene Aufgaben mit strengen und variierenden Anforderungen effizient auf begrenzter Hardware zu verarbeiten.

• Paradigmenwechsel: Statt sich auf eine starre Auswahl vordefinierter Modelle zu verlassen, ermöglicht das Paper eine dynamische, adaptive Generierung von Modellen zur Laufzeit (ohne Training).
• Praktische Relevanz: Die Lösung ist direkt auf gängige Edge-Hardware (Intel, NVIDIA) anwendbar und nutzt bestehende Inferenz-Engines (OpenVINO, TensorRT).
• Zukunftsausblick: Das Konzept des Stitching könnte den Weg für noch flexiblere und ressourcenschonendere KI-Systeme an der Edge ebnen, die sich dynamisch an wechselnde Umgebungsbedingungen anpassen können.

Zusammenfassend beweist das Paper, dass durch die intelligente Kombination von Sparse-Modellen und systemweiter Optimierung (Prozessor, Speicher, Auswahl) die Effizienz von Multi-DNN-Inferenzsystemen auf Edge-Geräten erheblich gesteigert werden kann.