Daedalus-150M: A Convolution-Attention Hybrid Designed for CPU Inference
يُعد Daedalus-150M نموذجاً لغوياً صغيراً صُممت بنيته خصيصاً للاستنتاج الفعال على المعالجات المركزية (CPU) عبر استبدال ثلثي طبقات الانتباه بلفافات ثابتة العرض، مما يحقق سرعة وضغطاً فائقين في السياقات الطويلة مع التفوق على نماذج أكبر وأكثر كثافة في البيانات تم تدريبها على عدد أكبر بكثير من الرموز (tokens).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
يتفاعل معظم الأشخاص الذين يستخدمون الذكاء الاصطناعي اليوم مع أنظمة تعمل على رقائق حاسوبية متخصصة وقوية مصممة لمراكز البيانات الضخمة. هذه الأنظمة مبنية للتعامل مع آلاف الطلبات في وقت واحد، وهي عملية تسمح لها بتوزيع تكلفة حساباتها الثقيلة على العديد من المستخدمين. ولكن بالنسبة لشخص واحد يستخدم حاسوباً محمولاً أو مكتبياً عادياً، فإن قواعد الكفاءة تتغير تماماً. ففي الجهاز الشخصي، لا يمكن للحاسوب الاعتماد على المعالجة المتوازية الضخمة؛ بل يقتصر الأمر على مدى سرعة نقل البيانات من ذاكرته إلى معالجه. وفي كل مرة ينشئ فيها الحاسوب كلمة جديدة في جملة، يجب عليه إعادة قراءة تاريخ المحادثة بأك Entire ليفهم السياق. ومع ازدياد طول المحادثة، تصبح عملية إعادة القراءة هذه ضريبة ثقيلة، مما يؤدي إلى إبطاء النظام بشكل كبير. ويتمثل التحدي الذي يواجه الباحثين في بناء نموذج يفهم اللغة جيداً ولكنه لا يغرق في عبء الذاكرة المتزايد هذا عند التشغيل على أجهزة عادية.
لقد عالج أحد الباحثين هذه المشكلة عبر تصميم نوع جديد من النماذج اللغوية يسمى "Daedalus-150M"، مخصص خصيصاً للمستخدمين الأفراد على معالجات الحاسوب القياسية. وبدلاً من أخذ نموذج كبير ومعقد ومحاولة تقليصه، بدأ بالقيود المفروضة على جهاز المستخدم وبنى البنية التحتية من الصفر لتناسبه. والنتيجة هي نظام يعمل مثل محرك هجين؛ فهو يجمع بين طريقتين مختلفتين لمعالجة المعلومات: طريقة تقليدية تتذكر تاريخ المحادثة بأكمله، وطريقة أحدث وأبسط تتذكر فقط اللحظات القليلة الماضية. في هذا التصميم، يتكون النموذج من ثماني عشرة طبقة من المعالجة؛ حيث تستخدم ست طبقات الطريقة التقليدية للحفاظ على فهم عميق للسياق طويل المدى، بينما تستخدم الطبقات الاثنتا عشرة الأخرى تقنية الذاكرة قصيرة المدى التي تنظر فقط خطوتين إلى الوراء. وهذا يعني أنه خلال ثلثي الوقت الذي يفكر فيه الحاسوب، فإنه لا يحتاج إلى إعادة قراءة تاريخ المحادثة بأكمله، بل يكتفي بالماضي القريب فقط.
اختبر الباحث هذا التصميم مقابل نموذج مشابه تقريباً يستخدم الطريقة التقليدية كثيفة الذاكرة في جميع طبقاته الثماني عشرة. وقد تم تدريب كلا النموذجين على نفس كمية البيانات، حوالي ستين مليار كلمة، وكلاهما تم ضغطه إلى حجم صغير ليعمل على حاسوب قياسي. كان المقارنة صارمة ومخططاً لها مسبقاً: فقد قرر الباحث بدقة ما الذي سيُعتبر فوزاً قبل رؤية النتائج. وقد طابق النموذج الهجين النموذج التقليدي في قدرته على الإجابة على الأسئلة وإنجاز المهام، لكنه تفوق عليه بشكل ملحوظ من حيث السرعة. فعندما كانت المحادثة قصيرة، عمل النموذجان بسرعات متقاربة. ومع ذلك، عندما طالت المحادثة، تباطأ النموذج التقليدي بشكل كبير لأنه كان عليه إعادة قراءة المزيد والمزيد من التاريخ، بينما حافظ النموذج الهجين، في المقابل، على وتيرة أكثر استقراراً. وعند طول محادثة يصل إلى ألفي كلمة، أنتج النموذج الهري نصاً بسرعة تبلغ ضعف سرعة نظيره التقليدي تقريباً.
لم تكن ميزة السرعة هذه مجرد حساب نظري؛ بل تم قياسها مباشرة على معالج حاسوب قياسي. ووجد الباحث أن قدرة النموذج الهجين على تجنب إعادة قراءة التاريخ بأكمله وفرت قدراً هائلاً من حركة البيانات، وهي العقبة الرئيسية لهذه الأجهزة. وبينما أشار حساب بسيط لحجم البيانات إلى أن النموذج الهجين سيكون أسرع قليلاً فحسب، إلا أن فجوة الأداء الفعلية كانت أكبر بكثير. ويعود ذلك إلى أن الطريقة التقليدية تتضمن حسابات معقدة وخطوة بخطوة تعتمد على التاريخ بأكمله، وهي بطيئة التنفيذ على معالج واحد. أما الطريقة الهجينة، فمن خلال إبقاء حالة الذاكرة معظم الوقت صغيرة وثابتة، تتجنب هذه الخطوات البطيئة تماماً. كما جاء النموذج بحجم أصغر في ملفاته، حيث يشغل مساحة أقل بنسبة ستة بالمائة تقريباً على القرص الصلب، وهي فائدة عملية للمستخدمين ذوي السعة التخزينية المحدودة.
وعلى الرغم من هذه النجاحات، كان الباحث حريصاً على الإبلاغ عما لم ينجح بشكل مثالي. فقد اكتشف أن حوالي نصف القنوات في أقسام الذاكرة قصيرة المدى للنموذج بقيت دون عمل، أي أنها ظلت خاملة أساساً. كما وجد أن النموذج يستخدم مفردات كلمات أكبر مما هو ضروري لحجمه، مما يهدر بعضاً من قدرته. علاوة على ذلك، عندما حاول تدريب النموذج خصيصاً للتعامل مع تنسيق البيانات المضغوط المستخدم للسرعة، فشلت العملية، مما يعني أن النموذج وجب ضغطه بعد التدريب، وهو ما قلل من دقته قليلاً. وهذه مسائل هندسية وليست عيوباً جوهرية في التصميم، وقد أشار الباحث إلى أن نسخة مستقبلية يمكنها إصلاحها عبر تعديل كيفية بدء النموذج وكيفية ضغطه.
أظهرت النتائج النهائية أن هذا الخيار التصميمي المحدد —الذي يمزج بين الذاكرة طويلة المدى والذاكرة قصيرة المدى— يعمل تماماً كما هو مخطط له في البيئة المستهدفة. فقد سجل النموذج درجات أعلى في مجموعة من خمسة اختبارات لغوية قياسية مقارنة بالنماذج الأخرى ذات الحجم المماثل التي تم تدريبها على ثلاثة إلى ستة أضعاف كمية البيانات. بل إنه تفوق على نموذج تم تدريبه على تريليون كلمة، رغم أن نموذجاً أكبر بكثير ظل يحتفظ بتفوق طفيف في الذكاء الخام. والدرس المستفاد الرئيسي هو أنه بالنسبة لمستخدم واحد على حاسوب قياسي، فإن الطريقة الأكثر كفاءة لبناء نموذج لغوي ليست بجعله ذكياً قدر الإمكان، بل بجعله أخف وزناً على الذاكرة قدر الإمكان. ومن خلال قبول حقيقة أن النموذج لا يحتاج إلى إعادة قراءة المحادثة بأكملها في كل خطوة، نجح الباحث في إنشاء نظام يبدو مستجيباً وسريعاً، حتى مع نمو المحادثة، مما يثبت أن نهجاً معمارياً مختلفاً يمكنه حل المشكلات المحددة للحوسبة اليومية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.