Orchestrating Multimodal DNN Workloads in Wireless Neural Processing

Diese Arbeit stellt O-WiN vor, ein Framework zur gemeinsamen Optimierung drahtloser Ressourcen und DNN-Beschleuniger, das durch den Algorithmus PACS die End-zu-End-Latenz multimodaler Inferenzsignifikant reduziert, indem drahtlose Datenübertragung und Beschleunigerausführung überlappend pipelined werden.

Das Wesentliche

Titel: Wie man Daten-Flüsse im „drahtlosen Gehirn" perfekt orchestriert

Stellen Sie sich vor, Sie sind der Chef einer hochmodernen Küche (dem Edge-Server), und Sie müssen ein komplexes Gericht zubereiten, das aus Zutaten besteht, die von vier verschiedenen Lieferanten per Hubschrauber angeliefert werden. Diese Zutaten sind unterschiedlich: eine ist ein riesiger, schwerer Fisch (Video), eine andere ein kleiner, flüchtiger Duft (Audio), und wieder andere sind trockene Gewürze (Text).

Das Problem in der aktuellen Welt ist folgendes:

1. Die Küche ist getrennt vom Hubschrauber. Der Koch (der Computer-Chip) wartet stur darauf, dass alle Zutaten gleichzeitig auf der Theke liegen, bevor er auch nur einen Messerstrich macht.
2. Die Hubschrauber sind langsam. Wenn der Fisch-Lieferant einen schlechten Wettertag hat und sich verzögert, steht der ganze Koch in der Küche untätig herum, obwohl er den Duft schon verarbeiten könnte.

Dieses Papier von Sai Xu und Kollegen schlägt eine neue Methode vor, wie man diese Situation löst. Sie nennen es WNP (Wireless Neural Processing).

Hier ist die einfache Erklärung der drei Hauptpunkte:

1. Das alte Problem: „Warten auf alle" (RTFS)

Stellen Sie sich den bisherigen Ansatz wie einen sehr strikten Koch vor. Er sagt: „Ich beginne mit dem Schneiden erst, wenn der Hubschrauber mit dem Fisch und der Hubschrauber mit dem Duft und der Hubschrauber mit dem Gemüse alle gelandet haben."

Das führt zu einer riesigen Verschwendung von Zeit. Während der Koch auf den langsamen Fisch-Lieferanten wartet, liegen die anderen Zutaten schon da und werden nicht genutzt. In der Technik nennt man das RTFS (Release-Time First Scheduling). Es ist sicher, aber extrem ineffizient, wenn die Lieferzeiten ungleichmäßig sind.

2. Die neue Lösung: „Der fließende Fluss" (PACS)

Die Autoren entwickeln einen neuen Ansatz namens PACS (Pipeline-Aware Co-Scheduling).

Stellen Sie sich PACS wie einen erfahrenen Küchenchef vor, der Pipeline-Parallelismus nutzt.

• Sobald der erste Lieferant (z. B. der Duft) landet, fängt der Koch sofort an, den Duft zu verarbeiten.
• Während der Koch den Duft schneidet, fliegt der nächste Lieferant (der Fisch) noch an.
• Sobald der Fisch landet, nimmt ein anderer Koch (ein anderer Kern im Prozessor) ihn sofort in die Hand, während der erste Koch noch am Duft arbeitet.

Die Metapher der „Pipeline":
Statt dass alles nacheinander passiert (erst liefern, dann kochen), laufen Liefern und Kochen gleichzeitig. Die „Lücke" der langsamen Lieferung wird durch die Arbeit an den bereits gelieferten Zutaten „überbrückt" (maskiert).

3. Der Meisterplaner (O-WiN)

Um das zu ermöglichen, brauchen Sie nicht nur einen guten Koch, sondern einen genialen Disponenten. Das Papier stellt O-WiN vor.

• O-WiN ist wie ein intelligenter Verkehrsleiter. Er schaut nicht nur auf die Hubschrauber (die Funkverbindung), sondern auch auf die Köpfe der Küche (die Computer-Chips).
• Er sagt: „Hey, der Duft-Lieferant ist schnell, aber der Fisch-Lieferant hat heute schlechtes Wetter. Wir schicken den Duft sofort in die Küche, damit der Koch schon mal damit anfängt, während wir dem Fisch-Lieferanten extra Zeit und eine bessere Landebahn (mehr Funkfrequenzen) geben."

O-WiN simuliert ständig: „Was passiert, wenn wir jetzt diesem Lieferanten mehr Platz auf dem Funkkanal geben? Wird das den Gesamtzeitplan verkürzen?" Es passt die Funk-Ressourcen und die Koch-Aufgaben in Echtzeit aneinander an.

Warum ist das wichtig?

In der heutigen Welt senden wir immer mehr Daten von Sensoren (Kameras, Mikrofone, Drohnen) an KI-Systeme. Oft sind die Daten sehr unterschiedlich groß (ein Video ist riesig, ein Text ist klein).

• Ohne PACS: Das System wartet auf das größte Paket. Die KI ist untätig. Die Antwortzeit (Latenz) ist hoch.
• Mit PACS: Das System verarbeitet, was da ist. Die Antwortzeit wird drastisch kürzer, besonders wenn die Datenquellen sehr unterschiedlich sind (z. B. eine Kamera sendet ein 4K-Video, während ein Sensor nur ein kleines Signal sendet).

Zusammenfassung in einem Satz

Dieses Papier zeigt, wie man die Kommunikation (das Senden von Daten) und die Berechnung (das Verarbeiten der Daten) nicht als zwei getrennte Schritte behandelt, sondern wie ein gut koordiniertes Orchester, bei dem die Musiker (die Daten) und die Dirigenten (die Prozessoren) perfekt aufeinander abgestimmt sind, um die Wartezeit auf das letzte Instrument zu eliminieren.

Das Ergebnis: Schnellere KI-Antworten, weniger Wartezeit und eine effizientere Nutzung der Funknetze – besonders wenn die Datenquellen sehr unterschiedlich sind.

Technische Zusammenfassung

Titel: Orchestrierung multimodaler DNN-Workloads in der drahtlosen neuronalen Verarbeitung (WNP)

Autoren: Sai Xu, Kai-Kit Wong, Yanan Du, Hyundong Shin

---

1. Problemstellung

Im Bereich des Edge-Inferenz (Inferenz am Netzwerkrand) bestehen derzeit zwei getrennte Optimierungsprobleme:

1. Drahtlose Ressourcenallokation: Die Zuweisung von Funkressourcen (z. B. OFDMA-Ressourcenblöcke) für die Übertragung von Sensordaten zum Edge-Server.
2. Beschleuniger-Level-Scheduling: Die Planung der Ausführung von Deep-Neural-Network (DNN)-Operationen auf Multi-Core-Beschleunigern.

Aktuelle Ansätze behandeln diese Bereiche isoliert oder nur lose gekoppelt. Dies führt zu Ineffizienzen, da die drahtlose Übertragung und die DNN-Ausführung nicht überlappen. Das Ergebnis ist eine hohe End-to-End-Latenz, da die Rechenressourcen oft warten müssen, bis alle Daten (Wait-All-Barrier) vollständig übertragen wurden, bevor die Inferenz beginnen kann. Besonders bei heterogenen Datenströmen (Text, Audio, Bild, Video) mit unterschiedlichen Übertragungszeiten und Rechenanforderungen verschärft sich dieses Problem („Wireless Wall").

2. Methodik und Systemmodell

Wireless Neural Processing (WNP)

Die Autoren schlagen ein neues Paradigma namens Wireless Neural Processing (WNP) vor. Dieses integriert die drahtlose Übertragung und die Ausführung auf Multi-Core-Beschleunigern in eine einheitliche End-to-End-Pipeline. Das Ziel ist es, eine feingranulare Pipeline-Parallelität zu ermöglichen, bei der Datenübertragung und neuronale Verarbeitung auf Operator-Ebene zeitlich überlappt werden.

Systemarchitektur

• Eingabe: Heterogene Datenströme von mehreren verteilten Sensorknoten werden drahtlos über OFDMA an einen Edge-Server gesendet.
• Verarbeitung: Die Daten werden in einem multimodalen DNN verarbeitet, das als gerichteter azyklischer Graph (DAG) modelliert ist. Der Graph besteht aus modality-spezifischen Encoder-Subgraphen und Fusion-Knoten.
• Hardware: Ein Multi-Core-Beschleuniger mit einem Network-on-Chip (NoC), der Bandbreite dynamisch zwischen den Kernen teilt.
• Kopplung: Die Ankunft eines Daten-Slices (der kleinste Dateneinheit, die für den Start eines Subgraphen ausreicht) löst die Ausführung des entsprechenden Teils des DNN aus, noch bevor andere Modalitäten vollständig übertragen sind.

Optimierungsproblem

Das Ziel ist die Minimierung der Makespan (Gesamtzeit bis zum Abschluss der Inferenz) durch die gemeinsame Optimierung von:

• Zuweisung von OFDMA-Ressourcenblöcken (RBs).
• Zuweisung von DNN-Jobs zu Beschleuniger-Kernen.
• Scheduling der Ausführung unter Berücksichtigung von DAG-Abhängigkeiten und NoC-Bandbreitenbeschränkungen.

3. Schlüsselbeiträge

A. O-WiN Framework

Die Autoren stellen O-WiN (Orchestrating Wireless Neural Processing) vor, ein modulares und skalierbares Orchestrierungsframework. Es zerlegt die Pipeline in vier entkoppelte Module:

1. Communication System: Bestimmt die Ankunftszeiten der Daten-Slices basierend auf der RB-Zuweisung.
2. Computation Platform: Führt die Inferenz auf dem Beschleuniger aus und meldet die Makespan.
3. Optimization Algorithm: Sucht nach optimalen Lösungen für RB-Zuweisung und Job-Mapping.
4. Performance Evaluation: Simuliert das Gesamtsystem zur Validierung.

Das Framework arbeitet in zwei eng gekoppelten Stufen:

• Simulationsbasierte Optimierung: Iteratives Finden einer hohen Qualitätssolution.
• Runtime Execution: Einsatz der optimierten Strategie im Echtbetrieb.

B. Algorithmen: RTFS vs. PACS

Um das Optimierungsproblem zu lösen, werden zwei Heuristiken entwickelt:

1. RTFS (Release-Time First Scheduling):

   • Ansatz: Sequenzielle Verarbeitung. Zuerst werden alle Daten-Slices übertragen (Wait-All-Barrier), erst danach beginnt die DNN-Ausführung.
   • Strategie: Priorisierung der langsamsten Slices (Tail-oriented), um die Wartezeit zu minimieren.
   • Nachteil: Hohe Leerlaufzeiten auf den Rechenkernen während der Übertragung.

2. PACS (Pipeline-Aware Co-Scheduling):

   • Ansatz: Pipelined Verarbeitung. Kommunikation und Berechnung werden überlappt.
   • Strategie: Sobald ein Slice für eine bestimmte Modalität eintrifft, wird der entsprechende Subgraph sofort gestartet („Slice-gated execution").
   • Mechanismus: Ein leichter Vorhersage-Algorithmus (Predictor) schätzt die Endzeit basierend auf aktuellen Übertragungsraten und durchschnittlichen Rechenzeiten. Die RB-Zuweisung erfolgt gierig (greedy), um die vorhergesagte Endzeit des gesamten DAGs maximal zu reduzieren.
   • Vorteil: Versteckt die drahtlose Latenz hinter der Rechenzeit und nutzt die Parallelität heterogener Modalitäten aus.

4. Ergebnisse und Evaluation

Die Autoren führten umfangreiche Simulationen durch, um RTFS und PACS unter verschiedenen Bedingungen zu vergleichen.

• End-to-End-Latenz: PACS übertrifft RTFS signifikant, insbesondere bei hoher Heterogenität der Modalitäten (unterschiedliche Datenmengen und Rechenlasten).
  • In Szenarien mit stark variierenden Token-Längen und Kompressionsfaktoren konnte PACS die Latenz um bis zu 19 % im Vergleich zu RTFS reduzieren.
  • Bei homogenen Workloads ist der Unterschied geringer, manchmal sogar minimal.
• Ressourcennutzung: PACS zeigt eine deutlich höhere Auslastung der NoC-Bandbreite und der Rechenkerne, da Leerlaufzeiten durch die Überlappung von Übertragung und Berechnung minimiert werden.
• Skalierung:
  • Die Gesamtzeit ist primär durch die Kommunikationsressourcen (Anzahl der Subcarrier) begrenzt.
  • PACS profitiert stärker von einer Erhöhung der Subcarrier-Anzahl als RTFS, da es die verfügbare Bandbreite effizienter nutzt, um kritische Pfade im DAG zu beschleunigen.
• Sensitivität: Die Vorteile von PACS nehmen mit der Heterogenität der Workloads zu. Wenn Modalitäten sehr unterschiedliche Übertragungs- und Rechenanforderungen haben, kann PACS die „Wireless Tail Latency" effektiv durch parallele Berechnung anderer Modalitäten verbergen.

5. Bedeutung und Fazit

Dieses Paper adressiert eine kritische Lücke in der Edge-AI-Forschung, indem es die traditionelle Trennung zwischen drahtloser Kommunikation und Beschleuniger-Scheduling aufhebt.

• Paradigmenwechsel: Es zeigt, dass drahtlose Kanäle nicht nur als externe I/O-Schnittstelle, sondern als integraler Bestandteil des Datenflusses für Deep-Learning-Beschleuniger betrachtet werden müssen („Remote Memory").
• Effizienzsteigerung: Durch die Einführung von WNP und dem PACS-Algorithmus kann die End-to-End-Latenz für multimodale Anwendungen drastisch gesenkt werden, was für Echtzeitanwendungen (z. B. autonomes Fahren, Robotik) entscheidend ist.
• Robustheit: Das vorgestellte Framework O-WiN bietet eine flexible Architektur, die verschiedene Scheduling-Strategien integrieren kann und somit die Grundlage für zukünftige Forschung in der gemeinsamen Optimierung von Kommunikation und Berechnung bildet.

Zusammenfassend beweist die Arbeit, dass eine feingranulare, pipeline-basierte Orchestrierung von drahtloser Übertragung und DNN-Ausführung notwendig ist, um die Leistungsgrenzen aktueller Edge-Inferenz-Systeme zu überwinden.