Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment
यह शोध पत्र यह प्रदर्शित करता है कि प्रोफाइलिंग-संचालित अनुकूली अनुमान (प्रोफाइलिंग-ड्रिवन एडेप्टिव इन्फरेंस), जो सेगमेंट मीन्स कम्प्रेशन को स्थानीय और वितरित निष्पादन के बीच रनटाइम चयन के साथ जोड़ता है, वाई-फाई आधारित वितरित ट्रांसफॉर्मर अनुमान में अंतर्निहित सीपीयू-जीपीयू स्टेजिंग बाधाओं को दूर करके एम्बेडेड एज उपकरणों पर विलंबता (लेटेंसी) और ऊर्जा खपत को महत्वपूर्ण रूप से कम करता है।