ملخص تقني: التدفق الهجين ذو البوابات (HGF)

بيان المشكلة

يواجه نشر النماذج اللغوية الكبيرة (LLMs) على الأجهزة الطرفية قيودًا ناتجة عن "جدار الذاكرة" (Memory Wall)، حيث تصبح عرض نطاق الذاكرة (Memory Bandwidth)، وليس القدرة الحسابية، هي العائق الأساسي. وبينما توفر تقنيات التكميم الحديثة ذات الـ 1.58 بت (مثل BitNet b1.58) خفضًا نظريًا بمقدار 10 أضعاف في بصمة الذاكرة عبر تحويل الأوزان إلى قيم ثلاثية $\{-1, 0, 1\}$، إلا أنها تعاني من "سقف السعة" (Capacity Ceiling). إذ تُظهر النماذج الثلاثية الصرفة تدهورًا كبيرًا في الارتياب (Perplexity) بنسبة (20-25%) مقارنة بالنماذج المرجعية ذات الدقة الكاملة (FP16) بسبب "الصلابة الدلالية" (Semantic Stiffness)؛ وهي عدم قدرة فضاءات الأوزان المنفصلة على إجراء تعديلات احتمالية دقيقة. علاوة على ذلك، فإن محاولات تحسين تتبع السياق باستخدام "الانتباه التفاضلي" (Differential Attention) -عبر طرح رأسي انتباه - في الدقة الكاملة غالبًا ما تؤدي إلى عدم استقرار التدريب وانفجار التدرجات (Gradient Explosion).

المنهجية: التدفق الهجين ذو البوابات (HGF)

يقترح المؤلفون التدفق الهجين ذو البوابات (HGF)، وهو بنية ثنائية المسار مصممة للمزاوجة بين كفاءة الذاكرة للكمية الثلاثية وبين القدرة التعبيرية للتصحيح ذي الدقة الكاملة (FP16).

البنية الجوهرية

يعمل HGF على دمج عمود فقري ثلاثي بقيمة 1.58 بت مع مسار تصحيح ذي رتبة منخفضة (Low-rank) قابل للتعلم بدقة FP16، يتم التحكم فيه عبر بوابات تكيفية. وتعمل البنية على ثلاث ركائز:

1. العمود الفقري الثلاثي: يستخدم كمية (absmax) لتعيين الأوزان إلى $\{-1, 0, 1\}$. ويعمل هذا كـ "مرساة هيكلية" (Structural Anchor)، مما يحد من مشهد التحسين ويوفر تنظيمًا ضمنيًا (Implicit Regularization).
2. تصحيح LoRA ذو الرتبة المنخفضة والمبواب: مسار متبقي (Residual Pathway) يتم تمثيله عبر مصفوفتين $A$ و $B$ (برتبة $r \ll d$) يلتقط خطأ الكم (Quantization Error) $\epsilon_q$. وخلافًا لتقنية LoRA القياسية المستخدمة في الضبط الدقيق، يعد هذا مكونًا في مرحلة ما قبل التدريب. ويتم تطبيق تنشيط غير خطي (SiLU) لنمذجة أسطح الخطأ غير الخطية.
3. البوابات التكيفية: معامل قياسي قابل للتعلم $\alpha$ يتحكم في الدمج عبر $g(\alpha) = \tanh(\alpha)$. المخرج النهائي هو $Y_{HGF} = Y_{tern} + g(\alpha) \cdot Y_{corr}$.

بروتوكول التدريب

لضمان الاستقرار، يستخدم HGF نظام تدريب محدد:

• معدلات تعلم مزدوجة: يتم تحديث معاملات البوابة بمعدل أبطأ بـ 10 أضعاف من المعاملات الرئيسية لمنع التذبذب السريع.
• التهيئة الحية (Live Initialization): يتم تهيئة مصفوفة رفع الإسقاط (Up-projection) لـ LoRA بضجيج غاوسي صغير ($\sigma=10^{-3}$) بدلاً من الصفر، لتجنب "المسار الميت" حيث لا يساهم التصحيح في أي شيء في البداية.
• جدول البوابات (Gate Schedule): يُستخدم جدول ثلاثي المراحل:
  1. الإحماء (0–500 خطوة): تتعلم البوابات بحرية.
  2. التنظيم (500–900 خطوة): ضغط لطيف يمنع النمو غير المحدود.
  3. التجميد (900+ خطوة): يتم تجميد البوابات عند معاملات معمارية ثابتة، مما يسمح للنموذج بتحسين الأوزان حول مستوى تصحيح مستقر.

دمج الانتباه التفاضلي

يطبق HGF هذه الآلية على إسقاطات الاستعلام (Q)، والمفتاح (K)، والقيمة (V). يقوم العمود الفقري الثلاثي بوضع حدود لمنطق الانتباه (Attention Logits)، مما يقلل نظريًا من تباين التدرج للمؤثر التفاضلي ($Head_1 - \lambda Head_2$) مقارنة بالتنفيذات ذات الدقة الكاملة التي غالبًا ما تتباعد.

المساهمات الرئيسية

1. ابتكار معماري: تقديم HGF، الذي يحقق استعادة بنسبة 55% لفجوة الجودة بين الكم الثلاثي الصرف ونماذج FP16 المرجعية، مع زيادة في استهلاك الذاية بنسبة ~12–15% فقط.
2. التحقق التجريبي: اختبارات شاملة على مجموعة بيانات TinyStories عبر نظامي تدريب (2,500 و 3,500 خطوة) تُظهر تحسينات متسقة مقارنة بـ BitNet.
3. التحليل النظري: صياغة خصائص استقرار التدرج، مما يوضح أن العمود الفقري الثلاثي يعمل كتنظيم هيكلي للانتباه التفاضلي.
4. النتائج السلبية: توثيق نمط الفشل الجزئي للبوابات (HGF 0.9، حيث تمت إزالة تصحيح مسار V)، مما يسلط الضوء على ضرية تصحيح إسقاطات القيمة.

النتائج التجريبية

أُجريت التجارب على مجموعة بيانات TinyStories باستخدام نموذج مكون من 8 طبقات وبأبعاد 512.

• استعادة الجودة: عند 2,500 خطوة، حقق HGF 1.0 فقدان تحقق (Validation Loss) قدره 0.9306، مقارنة بـ 1.0294 لـ BitNet و 0.8490 لنموذج FP16 المرجعي. وهذا يمثل استعادة تقريبية بنسبة 55% لفجوة الجودة الناجمة عن الكم.
• كفاءة الذاكرة: يحتفظ HGF 1.0 بحوالي 85% من توفير الذاكرة مقارنة بـ FP16 (إجمالي الذاكرة ~68.9 ميجابايت مقابل 202.4 ميجابايت للمرجع)، مع إضافة ~3.1 ميجابايت فقط لمصفوفات LoRA ومعاملات البوابة.
• الاستقرار: فشل خط الأساس "Diff_Only" (دقة كاملة FP16 مع انتباه تفاضلي) بشكل كارثي، حيث تباعد إلى فقدان تحقق >1.68. في المقابل، حافظ HGF على تقارب قوي، مما يدعم فرضية أن الكم يعمل كتنظيم هيكلي.
• تشبع السعة: وصلت نماذج HGF إلى تشبع الأداء في وقت مبكر (حوالي 2,500 خطوة) مقارنة بالنماذج الكثيفة، مما يشير إلى إمكانية تقليل تكلفة التدريب بنسبة 30% عبر الإيقاف المبكر.
• الدراسة الاستقصائية (Ablation): أدى إزالة تصحيح FP16 من إسقاط القيمة (V) (نموذج HGF 0.9) إلى انخفاض كبير في الأداء (ارتفع الفقد من 0.9306 إلى 1.0109)، مما يشير إلى أن دقة المحتوى في مسار القيمة لا تقل أهمية عن دقة توجيه الانتباه.

الأهمية والادعاءات

تذهب الورقة إلى أن HGF يمثل توليفة "الأفضل من نوعها"، حيث يصحح أوجه القصور للمكونات الفردية عند دمجها. ويدعي المؤلفون أن HGF يتيح تثبيت الانتباه التفاضلي في الأنظمة المكممة، وهو إنجاز لم يكن ممكنًا باستخدام الانتباه التفاضلي ذي الدقة الكاملة وحده.

تكمن أهمية هذا العمل في قدرته على سد الفجوة بين الكفاءة القصوى وجودة التوليد، مما يجعل النماذج اللغوية الكبيرة قابلة للاستخدام على الأجهزة الطرفية محدودة الموارد (مثل Raspberry Pi، و Jetson Nano، ووحدات معالجة NPUs للهواتف المحمولة) دون عقوبات شديدة في الارتياب كما في النماذج الثلاثية الصرفة. ويشير المؤلفون إلى أنه بينما قد يحد التدهور في الجودة بنسبة 9.6% مقابل FP16 من التطبيقات عالية المخاطر، فإن البنية تقدم حدودًا مثالية (Pareto-optimal frontier) لتكلفة الاستدلال مقابل الجودة.

القيود والعمل المستقبلي:
يصرح المؤلفون صراحةً بأن هذه النتائج أولية وتعتمد على نماذج صغيرة النطاق (TinyStories). إن سلوك التوسع إلى نماذج بـ 1.2 مليار و3 مليارات و7 مليارات معلمة باستخدام مجموعات بيانات SlimPajama و FineWeb-Edu لا يزال مستمرًا. كما تقر الورقة بأن سرعات التسريع النظرية الكاملة تعتمد على دعم عتادي متخصص للعمليات الثلاثية (مثل نوى T-MAC)، والتي ليست واسعة الانتشار حاليًا. ويلتزم المؤلفون بنشر السجلات الكاملة، ونقاط التفتيش (Checkpoints)، ونوى Triton المخصصة لتسهيل التحقق المجتمعي من ادعاءات التوسع والكفاءة.