Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment
تُثبت هذه الورقة أن الاستدلال التكيفي القائم على التنميط، والذي يجمع بين ضغط متوسطات القطع والاختيار وقت التشغيل بين التنفيذ المحلي والموزع، يقلل بشكل كبير من زمن الاستجابة واستهلاك الطاقة على أجهزة الحافة المدمجة من خلال التغلب على اختناقات مرحلة المعالجة بين وحدة المعالجة المركزية ووحدة معالجة الرسومات المتأصلة في استدلال نماذج "ترانسفورمر" الموزعة عبر شبكة "واي فاي".