Orchestrating Multimodal DNN Workloads in Wireless Neural Processing

Dit artikel introduceert O-WiN, een framework voor het co-optimiseren van draadloze transmissie en versneller-uitvoering in multimodale DNN-workloads, waarbij het PACS-algoritme door communicatie-berekening-overlapping de eind-tot-eind-latentie aanzienlijk verlaagt.

De kern

Stel je voor dat je een groot, complex gerecht moet bereiden voor een feestje. Je hebt verschillende ingrediënten nodig: verse groenten uit de tuin, vers vlees van de markt en specerijen uit een ver land. In de wereld van kunstmatige intelligentie (AI) is dit precies wat er gebeurt bij het analyseren van verschillende soorten data: tekst, geluid, beelden en video.

Deze "ingrediënten" (de data) moeten via een draadloze verbinding (zoals 5G of WiFi) naar een krachtige computer (de "edge server") worden gestuurd om te worden verwerkt. Het probleem is dat deze computers vaak wachten tot alle ingrediënten binnen zijn voordat ze beginnen met koken. Dit is inefficiënt: terwijl de computer wacht op de laatste lading vlees, staan de groenten al klaar om te worden gesneden, maar doen ze niets.

Dit artikel introduceert een slimme nieuwe manier om dit proces te regelen, genaamd WNP (Wireless Neural Processing). Hier is de uitleg in simpele taal:

1. Het Probleem: De "Wacht-tot-allemaal-binnen" Regeling

Stel je een kok voor in een keuken die pas begint met snijden, bakken en kruiden zodra alle bestellingen bij de deur zijn aangekomen.

• De oude methode (RTFS): De kok wacht tot de vrachtwagen met de groenten, de koerier met het vlees en de postbode met de specerijen allemaal voor de deur staan. Pas dan begint hij te koken.
• Het gevolg: De tijd die de vrachtwagen onderweg is, is tijd waarin de kok niets doet. De keuken staat stil, maar de "vertraging" door de weg wordt direct toegevoegd aan de totale tijd tot het eten klaar is.

2. De Oplossing: De "Pipelijn" Methode (PACS)

De auteurs van dit paper hebben een nieuwe strategie bedacht, genaamd PACS. Dit werkt als een slimme, geautomatiseerde keukenlijn:

• Het idee: Zodra de vrachtwagen met de groenten binnenrijdt, begint de kok direct met het snijden van de groenten, terwijl de koerier met het vlees nog onderweg is.
• De magie: De "kooktijd" (het rekenen van de computer) en de "reistijd" (het draadloos versturen van data) lopen tegelijkertijd. De computer "verbergt" de wachttijd voor de data door alvast te werken aan wat er al is.

3. De Twee Spelers: RTFS vs. PACS

De paper vergelijkt twee manieren om dit te doen:

• RTFS (De Geduldige Wachter):
  Deze methode is veilig maar traag. Hij zegt: "Wacht tot alles binnen is, en begin dan pas." Hij probeert wel de langzaamste vrachtwagen (de slechtste verbinding) zo snel mogelijk te laten arriveren, maar hij wacht toch tot het moment dat de laatste lading binnen is.

  • Analogie: Een groep vrienden die wachten tot iedereen bij de ingang van het bioscoopgebouw is, voordat ze naar hun stoel lopen.

• PACS (De Slimme Planner):
  Deze methode is veel sneller en slimmer. Hij gebruikt een "voorspeller". Hij kijkt niet alleen naar wat er nu binnenkomt, maar berekent: "Als we nu deze specifieke data sturen, kunnen we alvast een deel van de berekening starten die later nodig is."

  • De "Gaten" vullen: Als de computer een pauze heeft omdat hij wacht op data, vult PACS die pauze direct op met werk dat al beschikbaar is.
  • Prioriteit: PACS is slim genoeg om te weten welke data het belangrijkst is. Als er een stukje data is dat nodig is om de "hoofdschotel" (het eindresultaat) te kunnen bereiden, krijgt die data voorrang op de vrachtwagen, zelfs als het niet het grootste pakket is.

4. Waarom is dit belangrijk?

In de wereld van AI (zoals zelfrijdende auto's of medische diagnose-apparaten) is snelheid alles. Elke seconde vertraging kan het verschil maken tussen een succesvolle diagnose of een ongeluk.

• Heterogeniteit: Soms is de ene data (bijvoorbeeld een video) erg groot en langzaam om te sturen, terwijl de andere (een tekstbericht) klein en snel is.
• Het resultaat: De paper toont aan dat PACS, vooral bij deze ongelijke situatie, veel beter presteert. Het verbergt de vertraging van de langzame data door de snelle data alvast te verwerken.

Samenvatting in één zin

In plaats van te wachten tot alle losse stukjes informatie (via draadloze netwerken) binnen zijn om dan pas te gaan rekenen, zorgt deze nieuwe methode ervoor dat de computer terwijl de data nog onderweg is, alvast begint met het verwerken van wat er al is, waardoor het eindresultaat veel sneller klaar is.

Het is het verschil tussen een kok die wacht tot alle ingrediënten binnen zijn, en een meesterkok die direct begint te koken zodra de eerste groenten binnenkomen, terwijl de rest van de boodschappen nog onderweg zijn.

Technische samenvatting

Titel: Orchestratie van Multimodale DNN-Workloads in Wireless Neural Processing

Auteurs: Sai Xu, Kai-Kit Wong, Yanan Du, Hyundong Shin.

---

1. Probleemstelling

In de context van Edge AI-inferentie worden draadloze resource-allocatie en het plannen van Deep Neural Network (DNN)-taken op versnellers (accelerators) vaak geïsoleerd van elkaar geoptimaliseerd. Dit gebrek aan coördinatie leidt tot inefficiëntie:

• Scheiding van Communicatie en Berekening: Traditionele benaderingen behandelen draadloze transmissie als een externe I/O-operatie die volledig moet worden voltooid voordat de berekening op de accelerator kan beginnen.
• Vertraging (Latency): Door deze sequentiële aanpak (eerst alles ontvangen, dan alles berekenen) ontstaat er een "wacht-all" (wait-all) barrière. Dit resulteert in dure wachttijden op de accelerator terwijl er nog data wordt ontvangen, wat de totale end-to-end inferentielatentie (makespan) verhoogt.
• Heterogeniteit: Bij multimodale DNN's (bijv. tekst, audio, beeld, video) variëren de data-groottes en rekenlasten per modus sterk. Een starre planning kan hierdoor niet optimaal omgaan met deze verschillen, wat leidt tot onderbenutting van de hardware.

Het paper introduceert het concept Wireless Neural Processing (WNP), een paradigma dat draadloze transmissie en multi-core accelerator-uitvoering integreert in één unified end-to-end pijplijn om fijnkorrelige pipeline-parallelisme mogelijk te maken.

---

2. Methodologie en Systeemmodel

Systeemarchitectuur

Het voorgestelde systeem bestaat uit:

• Draadloze Uplink: Sensor nodes sturen multimodale data via OFDMA (Orthogonal Frequency-Division Multiple Access) naar een edge server. De beschikbare bandbreedte wordt dynamisch toegewezen aan tijd-frequentie resource blocks (RB's).
• Edge Server: Bevat een multi-core accelerator (sub-accelerators) verbonden via een Network-on-Chip (NoC) met een gedeelde bandbreedtebudget.
• DNN Model: Gemodelleerd als een Directed Acyclic Graph (DAG). De DAG bestaat uit modality-specifieke encoder-subgrafieken (die parallel kunnen draaien zodra data beschikbaar is) en fusie-knooppunten (die wachten op data van meerdere modaliteiten).

O-WiN Framework

De auteurs stellen O-WiN voor, een modulaire en schaalbare orchestratieframework dat de workflow decomposeert in twee gekoppelde fasen:

1. Simulatie-gebaseerde optimalisatie: Een iteratieve lus die communicatiebeleid (RB-toewijzing) en computertoewijzing (job-to-core mapping) co-optimaliseert om de makespan te minimaliseren.
2. Runtime-uitvoering: Het implementeren van de gevonden strategieën in de live omgeving.

Algoritmen

Twee specifieke algoritmen worden ontwikkeld om het optimalisatieprobleem op te lossen:

1. RTFS (Release-Time First Scheduling):

   • Principe: Een sequentiële aanpak. Alle data-slices moeten volledig zijn ontvangen voordat de inferentie begint.
   • Strategie: Prioriteit wordt gegeven aan het minimaliseren van de "tail latency" (de langzaamste slice) door RB's te alloceren aan de nodes met de langste resterende transmissietijd.
   • Nadeel: De accelerator blijft inactief totdat de laatste slice arriveert.

2. PACS (Pipeline-Aware Co-Scheduling):

   • Principe: Een gepipelined aanpak die communicatie en berekening overlapt.
   • Strategie: Zodra een specifieke data-slice (slice) arriveert, wordt de bijbehorende modality-specifieke subgraph direct vrijgegeven voor uitvoering, zelfs terwijl andere modaliteiten nog worden overgedragen.
   • Predictor: PACS gebruikt een lichtgewicht predictor om de geschatte eindtijd van de inferentie te berekenen. RB's worden toegewezen aan de slice die de grootste marginale reductie in de voorspelde makespan oplevert.
   • Voordeel: Verbergt draadloze latentie achter rekenwerk en verhoogt de core-uitbating.

---

3. Belangrijkste Bijdragen

1. Unificatie van Communicatie en Berekening: Het paper presenteert een uniek systeemmodel dat draadloze transmissie en operator-niveau DNN-uitvoering op multi-core accelerators in één geïntegreerd framework behandelt, in plaats van ze als gescheiden domeinen.
2. O-WiN Framework: Een modulair architectuurontwerp dat de complexiteit van end-to-end optimalisatie beheersbaar maakt door middel van interface-gedefinieerde modules voor communicatie, berekening, optimalisatie en evaluatie.
3. PACS Algoritme: De ontwikkeling van een innovatieve heuristiek die pipeline-parallelisme benut. In tegenstelling tot bestaande methoden die op grove schaal coördineren, overlapt PACS data-overdracht met operator-uitvoering op tijdschaal.
4. Uitgebreide Evaluatie: Het paper biedt een grondige analyse van de prestaties onder verschillende systemische variabelen (aantal cores, subcarriers, NoC-bandbreedte, compressiefactoren).

---

4. Resultaten

De simulaties tonen aan dat PACS significant beter presteert dan RTFS, vooral in scenario's met hoge heterogeniteit tussen modaliteiten:

• Latentie-Reductie: PACS vermindert de end-to-end makespan aanzienlijk door de "idle" tijd op de accelerator te elimineren. In sommige gevallen (bijv. bij grote verschillen in token-groottes en compressie) wordt een winst van tot wel 19% behaald ten opzichte van RTFS.
• Bandbreedte-gebruik: PACS toont een meer continue en efficiënte benutting van de NoC-bandbreedte, met minder pieken en dalen in activiteit vergeleken met de sequentiële RTFS-aanpak.
• Invloed van Heterogeniteit: Wanneer de communicatie- en rekenlasten van verschillende modaliteiten sterk variëren (bijv. video vs. tekst), is het voordeel van PACS het grootst. PACS kan de langzame transmissie van zware data "verbergen" achter de snelle berekening van lichtere data.
• Schaalbaarheid: De prestaties van PACS zijn het meest gevoelig voor veranderingen in communicatie-resources (aantal subcarriers), wat bevestigt dat het systeem vaak "wire-bound" is en dat het overlappen van communicatie en berekening cruciaal is.

---

5. Significantie en Conclusie

Dit paper is van groot belang voor de ontwikkeling van Edge AI en Wireless Neural Processing. Het demonstreert dat het traditionele paradigma van "eerst communiceren, dan rekenen" suboptimaal is voor moderne multimodale toepassingen.

• Paradigmaverschuiving: Het paper beweegt de focus van een losse koppeling van communicatie en berekening naar een diep geïntegreerde, gepipelined uitvoering.
• Praktische Toepassing: De voorgestelde methoden (O-WiN en PACS) bieden een concrete route om de eind-tot-eind latentie te verlagen en de energie-efficiëntie te verhogen in toekomstige 6G-netwerken en edge-computing systemen.
• Toekomstperspectief: Het werk legt de basis voor verdere onderzoek naar "communication-computation co-design" op operator-niveau, wat essentieel is om de beperkingen van draadloze bandbreedte ("wireless wall") te overwinnen bij het draaien van complexe AI-modellen.

Kortom, door draadloze data-overdracht en DNN-uitvoering te synchroniseren en te overlappen, kan PACS de totale inferentielatentie drastisch reduceren, vooral in complexe, multimodale omgevingen.