MMEdge: Accelerating On-device Multimodal Inference via Pipelined Sensing and Encoding

Probleemstelling

Real-time multimodale inferentie (het verwerken van data van verschillende sensoren zoals camera's, microfoons en radar) op hulpbronnenbeperkte randapparaten (edge devices) is cruciaal voor toepassingen zoals autonoom rijden en mens-computerinteractie. Echter, bestaande systemen kampen met twee fundamentele uitdagingen:

1. Strakke koppeling tussen sensoren en model: Traditionele systemen werken sequentieel: ze wachten tot alle sensordata binnen een tijdsvenster volledig is verzameld voordat de inferentie begint. Dit leidt tot onnodige wachttijden, vooral wanneer sensoren verschillende snelheden hebben (bijv. video is trager dan audio).
2. Intermodale afhankelijkheden: De prestaties en latentie hangen af van de gezamenlijke optimalisatie van alle modaliteiten. Bestaande methoden optimaliseren vaak alleen de sensoren of alleen het model, zonder rekening te houden met hun wederzijdse afhankelijkheid en de dynamiek van de runtime (zoals variërende CPU-belasting of onstabiele stroomvoorziening).

Dit resulteert in hoge end-to-end latentie en inefficiënt gebruik van rekenkracht, wat real-time toepassingen in de weg staat.

Methodologie: MMEdge

MMEdge is een nieuw framework dat de inferentie-taak decomposeert in een reeks fijnmazige eenheden voor gepipelinde sensie en encoding. In plaats van te wachten op een volledig tijdsvenster, verwerkt MMEdge data direct bij aankomst.

De architectuur bestaat uit drie kerncomponenten:

1. Gepipelinde Sensie en Encoding Framework:

   • De inferentie wordt opgesplitst in kleine eenheden (bijv. één videoframe of een audiostukje).
   • Zodra een eenheid wordt verzameld, wordt deze direct verwerkt door een lichtgewicht encoder.
   • Dit maakt het mogelijk om sensie en inferentie parallel te laten lopen, waardoor de wachttijd tussen sensie-intervallen wordt gebruikt voor feature-encoding.
   • Temporele Aggregatie: Om de daling in nauwkeurigheid door deze gefragmenteerde verwerking te compenseren, introduceert MMEdge een lichtgewicht module. Deze gebruikt alternating temporal shift (het verschuiven van feature-kanalen tussen aangrenzende eenheden) en het extraheren van temporele verschil-features. Hierdoor worden korte- en langetermijnafhankelijkheden vastgehouden zonder extra rekenlast.

2. Adaptieve Multimodale Configuratie Optimizer:

   • Dit component past dynamisch de instellingen aan voor elke modality op basis van runtime-omstandigheden (zoals CPU-belasting) en invoercomplexiteit.
   • Het selecteert de optimale combinatie van sensie-parameters (bijv. frame-rate, chunk-grootte) en modelcomplexiteit (bijv. ResNet-18 vs. ResNet-50).
   • Een lichtgewicht nauwkeurigheidsvoorspeller (gebaseerd op consistentie en complementariteit van modaliteiten) schat de verwachte nauwkeurigheid voor unseen data, zodat de optimizer de beste configuratie kan kiezen binnen een gegeven latentie-beperking.

3. Cross-Modale Speculatieve Overslaan (Speculative Skipping):

   • Om wachttijden voor langzamere modaliteiten te verminderen, gebruikt het systeem een gating classifier.
   • Als snellere modaliteiten (bijv. audio) al voldoende vertrouwen bieden voor een correcte voorspelling, slaat het systeem de resterende verwerking van langzamere modaliteiten (bijv. video) over.
   • Dit gebeurt op basis van een voorspelling die bepaalt of het overslaan van data de eindnauwkeurigheid zal beïnvloeden.

Belangrijkste Bijdragen

• Analyse van Latentie: Een diepgaande analyse die aantoont dat traditionele sequentiële pipelines leiden tot onbalans en cumulatieve vertragingen, en dat het decomponeren van taken in fijnmazige eenheden essentieel is voor versnelling.
• Nieuw Framework: De introductie van MMEdge, dat gepipelinde sensie en encoding combineert met een temporele aggregatiemodule om zowel snelheid als nauwkeurigheid te behouden.
• Dynamische Optimalisatie: Een geïntegreerde optimizer en een speculatieve overslaan-mechanisme die het systeem in staat stellen zich aan te passen aan veranderende resources en data-dynamiek.
• Real-world Validatie: Evaluatie op twee publieke datasets en een fysiek testbed met een onbemand luchtvaartuig (UAV), wat zeldzaam is voor dit type onderzoek.

Resultaten

MMEdge werd geëvalueerd op een NVIDIA Jetson-platform en een UAV-testbed met camera en radar:

• Latentie-reductie: MMEdge verlaagt de end-to-end latentie met 75,83% vergeleken met traditionele blokkerende methoden, zonder in te leveren op taaknauwkeurigheid.
• UAV Testbed: In een real-world scenario voor mensvolging bereikte MMEdge een gemiddelde IoU (Intersection over Union) van 70,47%, vergelijkbaar met de hoogste nauwkeurigheid van baselines, maar met een reductie in latentie van meer dan 80%.
• Ablatiestudies:
  • Het verwijderen van de temporele aggregatiemodule leidde tot een daling van de nauwkeurigheid met 19,5%.
  • Het uitschakelen van de speculatieve overslaan-methode verhoogde de latentie aanzienlijk (van ~137 ms naar ~192 ms), wat aantoont dat het overslaan van langzamere modaliteiten cruciaal is voor snelheid.
• Robuustheid: Het systeem behoudt hoge prestaties onder variërende CPU-belastingen (van 50% tot 100%) en bij verschillende moeilijkheidsgraden van invoerdata.

Significantie

Deze paper is significant omdat het een paradigmaverschuiving biedt in hoe multimodale systemen op randapparaten worden ontworpen. In plaats van statische pipelines, introduceert MMEdge een dynamisch, adaptief en gepipelinde benadering. Dit lost het fundamentele probleem op van wachtijd tussen sensoren en verwerking, wat essentieel is voor real-time toepassingen zoals autonoom rijden en drone-operaties waar zowel lage latentie als hoge betrouwbaarheid vereist zijn. De combinatie van fijnmazige verwerking, temporele contextbehoud en dynamische configuratie maakt het mogelijk om complexe AI-modellen efficiënt uit te voeren op apparaten met beperkte middelen.