AHASD: Asynchronous Heterogeneous Architecture for LLM Adaptive Drafting Speculative Decoding on Mobile Devices
تقدم هذه الورقة AHASD، وهي بنية متنقلة غير متجانسة وغير متزامنة على مستوى المهام تستفيد من التعاون بين وحدة المعالجة العصبية (NPU) والذاكرة المدمجة في المعالج (PIM) مع آليات تحكم مبتكرة لتحقيق تحسينات تصل إلى 4.2 ضعف في معدل الإنتاجية و5.6 ضعف في كفاءة الطاقة لفك التشفير الاستباقي في النماذج اللغوية الكبيرة مقارنة بالنماذج المرجعية الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول كتابة قصة طويلة، ولكن لديك قاعدة صارمة: يجب عليك أن تطلب من محرر حكيم، بطيء، ومكلف (النموذج المستهدف - Target Model) مراجعة كل كلمة تكتبها قبل أن تتمكن من كتابة الكلمة التالية. هذا يجعل الكتابة بطيئة للغاية.
لتسريع العملية، توظف مساعداً سريعاً ونشيطاً (نموذج المسودة - Draft Model) ليخمن الكلمات القليلة التالية بدلاً منك. تقوم بتدوين هذه التخمينات، ثم يقوم المحرر الحكيم بفحصها جميعاً دفعة واحدة. إذا كانت التخمينات جيدة، تحتفظ بها وتستمر في الكتابة. أما إذا كانت سيئة، فترميها وتبدأ من جديد. وهذا ما يسمى بـ "الترميز التخميني" (Speculative Decoding).
ومع ذلك، على الهاتف المحمول، تواجه هذه العملية مشكلتين كبيرتين:
- "لعبة الانتظار": أحياناً يخمن المساعد كلمتين، وأحياناً 20 كلمة. إذا كان المساعد بطيئاً، يجلس المحرر عاطلاً ينتظر. وإذا كان المصبح سريعاً، يجلس المحرر عاطلاً ينتظر الدفعة التالية. إنهما يمسكان بأيدي بعضهما باستمرار، وينتظر كل منهما الآخر لينتهي، مما يضيع الوقت.
- "مشكلة التخمين السيئ": أحياناً يصبح المساعد واثقاً أكثر من اللازم ويبدأ في تخمين فقرة كاملة من الهراء لأن السياق معقد. يضطر المحرر لرفض الفقرة بأكملها، مما يهدر كل الطاقة التي بذلها المساعد في التخمين.
تقدم ورقة بحثية نظام AHASD، وهو نظام جديد مصمم لحل هذه المشكلات على الهواتف المحمولة باستخدام نوع خاص من شرائح الكمبيوتر يسمى PIM (المعالجة داخل الذاكرة) وشريحة ذكاء اصطناي قياسية تسمى NPU.
إليك كيف يعمل AHASD، باستخدام تشبيهات بسيطة:
1. "الرقصة غير المتزامنة" (التنفيذ غير المتزامن على مستوى المهام)
في الأنظمة القديمة، كان على المساعد والمحرر الرقص في خطى متوافقة تماماً. إذا توقف المساعد، يتوقف المحرر.
AHASD يكسر هذا القيد. فهو يسمح للمساعد (الذي يعمل على شريحة الذاكرة، PIM) والمحرر (الذي يعمل على المعالج، NPU) بالعمل بشكل مستقل.
- التشبيه: تخيل خط تجميع في مصنع. بدلاً من انتظار العامل انتهاء الآلة قبل البدء في الخطوة التالية، يستمر العامل في التقاط قطع جديدة من الصندوق (الطابور) والعمل عليها بينما لا تزال الآلة تعالج الدفعة السابقة. هم لا ينتظرون بعضهم البعض؛ بل يحافظون فقط على استمرار حركة الخط. هذا يلغي "وقت الخمول" حيث يجلس أحد الأجهزة دون فعل أي شيء.
2. "رادار الثقة" (التدقيق الواعي بالإنتروبيا والتاريخ)
أحياناً يصبح المساعد واثقاً جداً ويبدأ في التخمين بجنون عندما ينبغي عليه أن يكون حذراً.
يمنح AHASD المساعد "رادار ثقة". فهو ينظر إلى تاريخ تخميناته الأخيرة.
- التشبيه: فكر في خبير الأرصاد الجوية. إذا كان مخطئاً بشأن هطول الأمطار خلال الأيام الثلاثة الماضية، فإنه يتوقف عن التنبؤ بهطول الأمطار لليوم التالي، حتى لو بدت السحب متشابهة. وبالمثل، إذا كانت تخمينات المساعد ذات "ثقة" منخفضة (إنتروبيا عالية)، فإن النظام يخبره: "توقف عن التخمين المستقبلي! انتظر تأكيد المحرر للكلمة الحالية قبل أن تخمن الكلمة التالية". هذا يمنع المساعد من إضاعة الطاقة في تخمينات سيتم رميها بالتأكيد.
3. "المؤقت الذكي" (التحقق المسبق الواعي بالوقت)
أحياناً ينتهي المساعد من عمله، لكن المحرر لا يزال مشغولاً. قد يبدأ المساعد في التخمين مرة أخرى، ولكن إذا خمن الكثير، فقد ينفد من العمل الذي يجب التحقق منه ويجلس عاطلاً.
يستخدم AHASD "مؤقتاً ذكياً" لتحديد الوقت المناسب تماماً ليتوقف فيه المساعد ويقوم بـ "فحص مصغر" سريع (التحقق المسبق) على نفسه.
- التشبيه: تخيل طباخاً (المساعد) يقطع الخضروما بينما يقوم مساعد الطباخ (المحرر) بطهي الصلصة. يعرف الطباخ بالضبط كم ستستغرق الصلصة من الوقت. إذا رأى الطباخ أن الصلصة ستجهز خلال 5 ثوانٍ، فإنه يتوقف عن التقطيع ويقوم باختبار تذوق سريع (التحقق المسبق) على الخضروات للتأكد من أنها جاهزة. هذا يضمن أن يكون لدى مساعد الطباخ خضروات طازجة جاهزة في اللحظة التي تنتهي فيها الصلصة، بحيث لا يضطر مساعد الطباخ للوقوف دون عمل.
النتائج
قام المؤلفون ببناء محاكاة لهذا النظام على شريحة هاتف محمول. ووجدوا أن:
- السرعة: هو أسرع بمعدل يصل إلى 4.2 مرة من استخدام بطاقة رسومات (GPU) قياسية، وأسرع بمعدل 1.5 مرة من المحاولات السابقة لخلط شرائح المحمول مع معالجة الذاكرة.
- عمر البطارية: هو أكثر كفاءة في استهلاك الطاقة بمعدل يصل إلى 5.6 مرة من بطاقة الرسومات القياسية، وأفضل بمعدل 1.24 مرة من أفضل نظام محمول سابق.
- التكلفة: كل هذه الميزات المتطورة لا تشغل سوى حوالي 3% من المساحة الإضافية على شريحة الذاكرة، وهي ضريبة صغيرة جداً مقابل مثل هذه الزيادة الكبيرة في السرعة.
باختصار، AHASD يشبه منح هاتفك فريقاً من العمال الذين يتوقفون عن انتظار بعضهم البعض، ويتحققون من ثقتهم قبل التخمين، ويضبطون أوقات استراحاتهم بشكل مثالي للحفاظ على تدفق العمل بسلاسة دون إضاعة طاقة البطارية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.