ملخص تقني: Lever – الاستنتاج التخميني لنماذج اللغات الكبيرة (LLM) على الهواتف الذكية

بيان المشكلة

يواجه نشر نماذج اللغات الكبيرة (LLMs) عالية الجودة على الهواتف الذكية قيوداً جوهرية تتمثل في سعة ذاكرة الوصول العشوائي الديناميكية (DRAM) المحدودة. فبينما تحتوي نماذج أحدث النماذج على مليارات المعلمات، توفر الهواتف الذكية الشائعة عادةً حوالي 10 جيجابايت فقط من ذاكرة DRAM، ويتم مشاركة جزء كبير منها مع نظام التشغيل والتطبيقات الأخرى. وعلى الرغم من أن نقل أوزان النموذج إلى ذاكرة الفلاش (Flash Storage) يسمح بتشغيل نماذج أكبر، إلا أنه يفرض اختناقاً حاداً في الأداء: إذ يتطلب فك التشفير التكراري (Autoregressive decoding) استدعاءات متكررة للنموذج، ويؤدي تحميل الأوزان من ذاكرة الفلاش لكل رمز (Token) يتم توليده إلى زمن انتقال (Latency) باهظ بسبب عمليات الإدخال والإخراج (I/O).

إن طرق فك التشفير التخميني الحالية، التي تستخدم نموذج مسودة (Draft Model) صغيراً لاقتراح الرموز ونموذجاً مستهدفاً (Target Model) كبيراً للتحقق منها، لا تتناسب مع هذه البيئة. فهي مصممة للأجهزة من فئة الخوادم حيث يوجد كلا النموذجين في ذاكرة ذات نطاق ترددي عالٍ (High-bandwidth memory) وحيث يستغل التحقق التوازي الوفير. أما على الأجهزة المحمولة، فتفشل هذه الطرق لأنها:

1. ارتباط بذاكرة الفلاش (Flash-Bound Communication): يتطلب التحقق تحميل أوزان النموذج المستهدف من ذاكرة الفلاش، مما يجعل زمن انتقال الإدخال والإخراج هو التكلفة المهيمنة بدلاً من العمليات الحسابية.
2. حوسبة محدودة التوازي (Parallelism-Limited Computation): توفر وحدات المعالجة العصبية (NPUs) في الهواتف المحمولة توازياً أقل بكثير من وحدات معالجة الرسومات (GPUs) في الخوادم، مما يجعل التحقق من أشجار الرموز الكبيرة عملية مكلفة حسابياً.
3. تنفيذ غير منتظم (Irregular Execution): يؤدي التخمين القائم على شجرة الرموز (Token-tree speculation) إلى تفرع غير منتظم وهياكل ديناميكية لا تتوافق جيداً مع عمليات التنسور (Tensor operations) الثابتة والمنتظمة المحسنة لوحدات NPU المحمولة.

المنهجية: نظام Lever

يقدم المؤلفون Lever، وهو نظام متكامل يحسن بشكل مشترك المراحل الثلاث لفك التشفيد التخميني (المسودة، والتحقق، والتنفيذ) خصيصاً لتدرج الذاكرة غير المتجانس بين DRAM وFlash، ولأجهزة الـ CPU والـ NPU في الهواتف المحمولة.

1. بناء المسودة المحسن للهواتف المحمولة

يعيد Lever تعريف هدف بناء شجرة الرموز. فبدلاً من تعظيم معدل قبول رموز المسودة (كما في طرق جانب الخادم)، يقوم Lever بتحسين عدد الرموز المخرجة المتوقعة لكل وحدة زمنية من زمن دورة التخمين.

• نمذجة الربح والتكلفة (Gain-Cost Modeling): يقدر Lever الربح الهامشي (احتمالية قبول الرمز) والتكلفة الهامشية (زمن توليد المسودة + تحقق النموذج المستهدف) لكل توسع محتمل للشجرة.
• التوسع الجشع (Greedy Expansion): باستخدام خوارزمية جشعة، يقوم Lever بتوسيع شجرة الرموز عبر اختيار العقد الحدودية ذات أعلى نسبة "ربح إلى تكلفة". يضمن ذلك توازن حجم الشجرة: بحيث تكون كبيرة بما يكفي لتقليل تأثير عمليات الإدخال والإخراج المكلفة من الفلاش، وصغيرة بما يكفي لتجنب إرهاق موارد الحوسبة المحمولة بأعباء التحقق الزائدة.
• التوقف التكيفي (Adaptive Stopping): يتوقف التوسع عندما ينخفض الربح الهامشي لأفضل مرشح تالٍ عن متوسط معدل الربح للشجرة الحالية، مما يتجنب قيود الميزانية الثابتة.

2. تقليم التحقق القائم على التنبؤ

للتخفيف من اختناق الحوسبة الناتج عن التحقق من أشجار الرموز الكبيرة على الأنظمة على الشريحة (SoCs) المحمولة، يقدم Lever آلية للخروج المبكر.

• المتنبئ الوسيط (Intermediate Predictor): يتم إرفاق شبكة عصبية خفيفة الوزن للتنبؤ في طبقة وسيطة من النموذج المستهدف. تقوم هذه الشبكة بتقييم فروع المسودة بناءً على الحالات المخفية (Hidden states) للتنبؤ بالفروع التي من المرجح أن تصمد في التحقق النهائي.
• المرشحات الظلية والتقييس (Shadow Candidates & Normalization): لضمان موثوقية التقييم حتى عندما يكون للعقدة الأب عدد قليل من الأبناء، يتضمن Lever "مرشحات ظلية" (رموز مسودة ليست في الشجرة) في عملية التقييس. هذا يمنع الحصول على درجات عالية تافهة للعقد ذات الابن الواحد.
• التقليم المحافظ (Conservative Pruning): يتم تقليم الفروع ذات الدرجات المتوقعة المنخفضة قبل عبور طبقات النموذج المستهدف المتبقية. يتم الحفاظ على "مسار العمود الفقري" (Backbone path) لضمان بقاء عمق الشجرة، وتوجد ضمانات تمنع التقليم المفرط الذي قد يستبعد تسلسلات صالحة، حيث يظل قبول الرمز النهائي مرتبطاً بالنموذج المستهدف الكامل. هذا يقلل من حوسبة التحقق مع الحفاظ على صحة المخرجات.

3. تسريع التنفيذ الهجين للأجهزة (Hardware-Hybrid)

يعيد Lever هيكلة تدفق التنفيذ لتعظيم الاستفادة من كل من الـ CPU والـ NPU.

• المسودة المدركة للدفعات (Batch-Aware Drafting): بينما يكون بناء المسودة مرتبطاً عادةً بالـ CPU، يحدد Lever أنه مع نمو شجرة الرموز، يمكن توسيع عدة عقد حدودية عالية القيمة في وقت واحد. يقوم النظام بجدولة هذه التوسعات في دفعات على الـ NPU لتحسين الإنتاجية، مع التعامل مع التوسعات الصغيرة والديناميكية على الـ CPU.
• الفصل الطبقي في التحقق (Layer-Wise Separation in Verification): يفصل Lever طبقات المحول (Transformer layers) عن إسقاط المخرجات (Output projection).
  • NPU: ينفذ طبقات المحول لجميع العقد المحفوظة بطريقة الدفعات (Batched manner).
  • CPU: يقوم بعملية إسقاط المخرجات (توليد الـ Logits) عند الطلب فقط على طول المسار المقبول فعلياً. هذا يتجنب الحوسبة غير الضرورية لحساب الـ Logits للفروع التي سيتم رفضها في النهاية، وهو مصدر رئيسي لهدر الدورات في وحدات NPU المحمولة ذات أشكال الدفعات الثابتة.

المساهمات الرئيسية

1. التحليل على مستوى النظام: يحدد البحث أن التشفيد التخميني على الأجهزة المحمولة يتطلب تحولاً من التحسين الخوارزمي إلى التصميم المشترك بين الخوارزمية والنظام، وتحديداً معالجة المقايضات بين زمن انتقال إدخال/إخراج الفلاش، والتوازي المحدود، وأنماط التنفيذ غير المنتظمة.
2. نظام Lever: نظام مبتكر يدمج ثلاثة مكونات محسنة:
   • هدف "الربح-التكلفة" لبناء شجرة الرموز المتوافقة مع الأجهزة المحمولة.
   • آلية تقليم قائمة على التنبؤ لتقليل حوسبة التحقق.
   • استراتيجية تنفيذ هجينة بين CPU وNPU تقلل من الحوسبة الزائدة وتزيد من استغلال الأجهزة.
3. التقييم الشامل: تجارب واسعة النطاق تثبت فعالية Lever عبر نماذج متعددة (Llama-3.1-8B، ومتغيرات Qwen3)، ومهام متنوعة (البرمجة، الرياضيات، الحوار)، ومنصات أجهزة مختلفة (Snapdragon 8 Gen 3، 8 Elite).

النتائج

أُجريت التقييمات على هواتف ذكية تجارية (OnePlus 12, Honor 500 Pro, Honor Magic V5) باستخدام نماذج مكممة بنمط Q4_0.

• تقليل زمن الانتقال (Latency Reduction): يقلل Lever من زمن انتقال الاستنتاج بمعدل 2.93× مقارنة بالاستنتاج التكراري الأساسي المعتمد على الفلاش (Flash-AR).
• التحسن مقارنة بالتشفيد التخميني: يحقق Lever تسريعاً قدره 1.50× مقارنة بطرق التشفيد التخميدي التقليدية (Chain-SD)، و1.27× مقارنة بـ EdgeLLM، وهو خط أساس مخصص للأجهزة المحمولة.
• الكفاءة: نجح النظام في تضييق الفجوة الزمنية بين الاستنتاج المعتمد على الذاكرة (Memory-resident) والاستنتاج المعتمد على الفلاش. تؤكد دراسات الاستبعاد (Ablation studies) أن جميع المكونات الثلاثة (تحسين المسودة، التقليم، والتنفيذ الهجين) ضرورية لتحقيق هذه المكاسب.
• المتانة: يحافظ Lever على الأداء عبر ميزانيات DRAM متفاوتة (من 0% إلى 100% من الطبقات في DRAM)، وجودة نماذج مسودة مختلفة، وأطوال مخرجات متغيرة.

الأهمية

يزعم البحث أن Lever يثبت جدوى تشغيل نماذج لغات كبيرة عالية الجودة ذات بارامترات ضخمة مباشرة على الهواتف الذكية دون الاعتماد على خوادم سحابية. ومن خلال التعامل مع التشفيد التخميدي كمشكلة أنظمة وليس مجرد مشكلة خوارزمية، يدير Lever بفعالية قيود هياكل تخزين الأجهزة المحمولة ووحدات الحوسبة غير المتجانسة. وهذا يتيح تطبيقات LLM تفاعلية، تحافظ على الخصوصية، وفعالة من حيث التكلفة (مثل المساعدة في الكتابة والتحرير التفاعلي) والتي كانت غير عملية سابقاً بسبب قيود الذاكرة وزمن الانتقال.