Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment

Technische Samenvatting: Profileringsgestuurde Adaptieve Gedistribueerde Transformer-inferentie op Embedded Edge-implementatie

Probleemstelling
Het implementeren van Transformer-modellen op embedded edge-apparaten, zoals de NVIDIA Jetson Orin Nano, wordt beperkt door beperkte geheugen- en rekenresources. Hoewel het verdelen van inferentie over meerdere apparaten een mogelijke oplossing biedt, hebben eerdere onderzoeken die zich baseerden op simulaties gefaald in het rekening houden met specifieke hardware-flessenhalsproblemen die inherent zijn aan embedded System-on-Chip (SoC)-architecturen. Specifiek verhindert het ontbreken van PCIe- of NVLink-paden in geïntegreerde GPU's het gebruik van efficiënte GPU-naar-GPU-communicatiebackends zoals NCCL. Bijgevolg moet gedistribueerde inferentie vertrouwen op de GLOO-backend, wat alle data tussen apparaten dwingt om via het host-CPU-geheugen te worden gestaged. Dit paper identificeert dat deze CPU-GPU-staging-overhead, en niet de netwerkbreedte, de dominante bottleneck is. Voor modellen van gemiddelde grootte (bijvoorbeeld ViT) die werken met kleine batchgroottes, maakt de vaste kost van het staging en synchroniseren van volledige tussentijdse tensors standaard gedistribueerde benaderingen (zoals "Voltage") trager en minder energie-efficiënt dan inferentie op één enkel apparaat.

Methodologie
De auteurs presenteren een hardware-prototypestudie met twee NVIDIA Jetson Orin Nano-apparaten verbonden via WiFi 6E. De studie evalueert een systeem genaamd Prism, dat Segment Means (SM)-compressie toepast om het communicatievolume te verminderen.

• Segment Means-communicatie: In plaats van volledige tussentijdse featurevectoren uit te wisselen (zoals bij position-wise-partitioning), wisselen apparaten kolomsgewijze gemiddelden van niet-overlappende token-segmenten uit. Dit vermindert het communicatievolume met een factor die wordt bepaald door de compressiefactor (CR).
• Profileringsgestuurde Adaptatie: Erkenning dat de optimale uitvoeringsmodus (lokaal versus gedistribueerd) afhangt van dynamische factoren zoals batchgrootte, netwerkbreedte en compressiefactor, stellen de auteurs een adaptief beleid voor. Dit omvat een offline profileringsfase waarin het systeem door verschillende configuraties heengaat (batchgroottes 1–32, CR-waarden en netwerkbreedtes 200–900 Mbps) om een prestatiekaart te bouwen.
• Beslissing tijdens Runtime: Tijdens runtime raadpleegt het terminalapparaat deze kaart om de uitvoeringsmodus te selecteren (enkelapparaat of gedistribueerd met de optimale CR) die de latentie of energieverbruik minimaliseert voor de huidige werklastcondities.

Belangrijkste Bijdragen

1. Hardware-prototype en Karakterisering: De auteurs ontwikkelden een werkend prototype dat is instrumenteerd voor een opdeling van de latentie en meting van energie per voorbeeld. Ze kwantificeerden de CPU-GPU-staging-overhead die wordt opgelegd door de GLOO-backend, en toonden aan dat methoden voor uitwisseling van volledige tensors contraproductief zijn op Jetson-hardware over alle geteste batchgroottes heen.
2. Adaptief Inferentiebeleid: Zij introduceerden een lichtgewicht, profileringsgestuurd beleid dat dynamisch schakelt tussen lokale en gedistribueerde uitvoering. Dit beleid identificeert een "kruispunt" (batchgrootte) waaronder lokale uitvoering de voorkeur heeft vanwege de vaste communicatie-/stagingkosten.
3. Bandbreedtegevoeligheidsanalyse: Experimenten onthulden dat terwijl de uitwisseling van volledige tensors (Voltage) ernstig verslechtert bij lagere bandbreedtes, de compacte Segment Means-communicatie van Prism lage latentie behoudt over het geteste bereik (200–900 Mbps), waardoor de staging-bottleneck effectief wordt opgeheven.

Resultaten
Experimenten met ViT-modellen en CIFAR-10-inputs leverden de volgende resultaten op:

• Reductie van Latentie en Energie: In vergelijking met een statische gedistribueerde opstelling die volledige tensoruitwisseling gebruikt (Voltage), verlaagde de adaptieve Prism-strategie de latentie met 65%–77% en het energieverbruik met 34%–52% over alle batchgroottes heen.
• Dominantie van Staging: Voor de Voltage-baseline domineerde CPU-GPU I/O-overdracht het latentiebudget, waarbij het vaak de totale latentie van inferentie op één enkel apparaat overschreed, zelfs bij batchgrootte 1. Prism verminderde het volume van de gestagede data met ongeveer 90%, waardoor de bottleneck weer verschuift naar de berekening.
• Accuracy-afwegingen: Bij een hoge compressiefactor (CR = 9,9) daalde de accuracy van 98,01% naar 95,64%, maar herstelde deze zich tot 97,43% na fine-tuning. Lagere compressiefactoren (CR = 3,3) behielden 97,06% accuracy zonder fine-tuning, maar boden minder versnelling in communicatie.
• Kruispunt: Het profileringsbeleid identificeerde correct dat voor kleine batchgroottes (1–4) uitvoering op één enkel apparaat superieur is. Gedistribueerde uitvoering wordt alleen voordelig bij grotere batchgroottes (bijvoorbeeld batch 8 en hoger), waarbij de communicatiekosten worden afgeschreven over meer voorbeelden.

Betekenis en Beweringen
Het paper beweert dat profileringsgestuurde adaptatie essentieel is voor praktische gedistribueerde Transformer-inferentie op embedded hardware. De auteurs stellen dat theoretische modellen of simulaties ontoereikend zijn omdat ze de specifieke CPU-GPU-stagingkosten van geïntegreerde GPU's over het hoofd zien. Door aan te tonen dat een eenvoudige offline profileringsscan runtime-beslissingen kan sturen, biedt het werk een praktische basis voor het implementeren van foundation-modellen aan de edge. De studie concludeert dat hoewel compressie (Prism) de GLOO-staging-bottleneck significant vermindert, het deze niet elimineert; daarom zijn adaptieve beleidslijnen die terugvallen op lokale uitvoering wanneer overheads te hoog zijn, noodzakelijk voor real-world edge-implementaties. De auteurs positioneren hun testomgeving en methodologie als een rigoureuze karakterisering van de voordelen en resterende beperkingen van op GLOO gebaseerde gedistribueerde inferentie.