FluxBin: Flexible LUT-based Ultra-low-bit LLM Inference by Algorithm-Kernel Synergy
إن FluxBin هو إطار عمل لتصميم مشترك بين الخوارزمية والنواة يجمع بين طريقة مبتكرة لتفكيك الثنائيات المنفصلة ونواة CUDA متخصصة باستخدام جداول البحث والتعيين العمودي الافتراضي لتمكين استنتاج النماذج اللغوية الكبيرة (LLM) بدقة بتّية فائقة الانخفاض مع تحقيق تسريع كبير في السرعة، وتوفير في الطاقة، وتقليل في الذاكرة مع الحفاظ على دقة عالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعد النماذج اللغوية الكبيرة برامج حاسوبية قوية يمكنها كتابة القصص، وحل المشكلات، وإجراء المحادثات، ولكنها تأتي بتكلفة مادية هائلة. لتشغيل هذه النماذج، تحتاج إلى كميات هائلة من ذاكرة الكمبيوتر والطاقة، مما يتطلب غالباً أجهزة متخصصة وباهظة الثمن لا يستطيع الوصول إليها إلا القليل من الناس. ويرجع ذلك إلى أن هذه النماذج تخزن معرفتها في شبكات واسعة من الأرقام، والحفاظ على كل تلك الأرقام في شكلها الأصلي عالي الدقة يستهلك مساحة كبيرة جداً. لقد حاول العلماء منذ فترة طويلة تقليص حجم هذه النماذج عن طريق ضغط الأرقام، تماماً مثل تحويل صورة عالية الدقة إلى ملف أصغر حجماً. وأحد الأشكال المتطرفة لهذا الضغط هو تقليل الأرقام إلى أبسط صورها، باستخدام قيمتين فقط، مما يحولها أساساً إلى سلسلة من مفاتيح التشغيل والإيقاف. ومن الناحية النظرية، ينبغي أن يجعل هذا النماذج سريعة وفعالة للغاية، ولكن من الناحية العملية، تواجه الحواسيب صعوبة في استخدام هذه الأرقام المبسطة دون أن تتباطأ أو تفقد دقتها. فعملية تحويل الأرقام المبسطة مرة أخرى إلى تنسيق قابل للاستخدام غالباً ما تستغرق وقتاً طويلاً لدرجة أنها تلغي أي مكاسب في السرعة، مما يترك النماذج بطيئة كما كانت في السابق.
لقد وجد فريق من الباحثين الآن طريقة لكسر هذا الجمود، حيث ابتكروا طريقة جديدة تسمح لهذه النماذج شديدة التبسيط بالعمل بسرعات عالية دون فقدان قدرتها على التفكير بوضوح. لقد طوروا نظاماً يسمى "فلوكس بين" (FluxBin)، والذي يعمل من خلال تغيير كيفية قراءة الكمبيوتر لذاكرة النموذج. فبدلاً من محاولة تحويل الأرقام المبسطة مرة أخرى إلى أرقام معقدة في كل مرة يحتاج فيها النموذج إلى إجراء عملية حسابية، يستخدم النظام الجديد جدول بحث معداً مسبقاً. تخيل مكتبة حيث، بدلاً من قراءة كل كتاب للبحث عن إجابة، تقوم ببساطة بالبحث عن رمز على الرف وتتلقى الإجابة النهائية فوراً. لقد بنى الباحثون برنامجاً حاسوبياً متخصصاً ينشئ جداول البحث هذه بطريقة تتعامل مع الأجزاء الأكثر أهمية في النموذج بعناقة إضافية، مما يضمن عدم فقدان المعلومات الأكثر حيوية أثناء عملية الضغط. كما صمموا طريقة جديدة لتنظيم البيانات بحيث يمكن للكمبيوتر الوصول إليها بسلاسة، وتجنب الاختناقات المرورية التي تحدث عادةً عند محاولة قراءة معلومات متفرقة أو مبعثرة.
إن نتائج هذا العمل مهمة لأنها تثبت أن الضغط الشديد لا يجب أن يأتي على حساب السرعة. فعندما اختبر الباحثون نظامهم على شريحة حاسوبية قوية، وجدوا أنه يمكنه تشغيل نموذج ضخم، وهو نموذج يتطلب عادةً كمية هائلة من الذاكرة، على بطاقة رسومات قياسية واحدة. تمكن النظام من توليد النصوص بسرعة تقارب ستة أضعاف النسخة الأصلية غير المضغوطة من النموذج. علاوة على على ذلك، ولأن الكمبيوتر كان يبذل جهداً أقل في العمليات الحسابية الثقيلة وينقل بيانات أقل، فقد استهلك طاقة أقل بنحو عشر مرات. وتعني هذه الكفاءة أن النماذج التي كانت في السابق أكبر من أن تعمل على جهاز واحد، يمكنها الآن أن تتسع وتعمل بفعالية، مما يفتح الباب لاستخدام الذكاء الاصطناعي الأكثر قوة في الأماكن التي تكون فيها الموارد محدودة.
يعتمد نجاح هذا النهج على توازن دقيق بين كيفية ضغط البيانات وكيفية توجيه تعليمات الكمبيوتر لقراءتها. فقد أدرك الباحثون أن مجرد جعل كل شيء بسيطاً لم يكن كافياً؛ بل كان عليهم تحديد الأجزاء الأكثر حساسية للأخطاء في النموذج ومعاملتها بشكل مختلف. لقد أنشأوا طريقة تفصل معرفة النموذج إلى أساس عام ومبسط ومجموعة من الملاحظات التفصيلية الخاصة بالأجزاء الأكثر أهمية. يضمن هذا النهج الهجين احتفاظ النموذج بذكائه مع الاستفادة أيضاً من سرعة التنسيق المبسط. ومن خلال الجمع بين استراتيجية الضغط الذكية هذه والبرنامج المصمم خصيصاً والذي يعمل مباشرة على معالج الكمبيوتر، فقد ألغوا الحاجة إلى خطوات التحويل البطيئة التي كانت تعيق المحاولات السابقة. يعمل النظام عن طريق ربط البيانات المبسطة مباشرة بالنتائج المحسوبة مسبقاً، مما يسمح للكمبيوتر بتخطي العمليات الحسابية والقفز مباشرة إلى الإجابة.
في تجاربهم، اختبر الفريق طريقتهم على إصدارات مختلفة من النماذج اللغوية الكبيرة، بدءاً من النماذج الصغيرة وصولاً إلى النماذج الضخمة ذات المليارات من المعلمات. وفي كل حالة، قدم النظام الجديد زيادة دراماتيكية في السرعة وانخفاضاً هائلاً في استهلاك الطاقة. وبالنسبة لأكبر النماذج التي تم اختبارها، تمكن النظام من تشغيلها على بطاقة كمبيوتر واحدة حيث كانت النسخة القياسية ستفشل تماماً بسبب نقص الذاكرة. وظلت دقة النماذج عالية، مما يطابق أداء الطرق المتقدمة الأخرى التي تتطلب الكثير من الوقت وقوة الحوسبة لإعدادها. وأشار الباحثون إلى أن طريقتهم تعمل دون الحاجة إلى إعادة تدريب النماذج، مما يعني أنه يمكن تطبيقها على الأنظمة الحالية على الفور. وهذا يشير إلى أن الحاجز أمام تشغيل الذكاء الاصطناعي القوي على الأجهزة اليومية لم يعد سؤالاً حول ما إذا كان ذلك ممكناً، بل هو مسألة استخدام الأدوات الصحيحة لإطلاق الإمكانات الموجودة بالفعل.
تمتد تداعيات هذا العمل إلى ما هو أبعد من مجرد جعل النماذج أسرع؛ فهي تغير بشكل جذري العلاقة بين البرمجيات والأجهزة. لسنوات، ظل المجال عالقاً في دورة حيث يتم تصميم خوارزميات جديدة للكفاءة النظرية ولكن لا يمكن تحقيقها في الواقع لأن الأجهزة لا تستطيع مواكبتها. يجسد هذا النهج الجديد الفجوة من خلال تصميم الخوارزمية وتعليمات الأجهزة معاً، مما يضمن تحسين كل خطوة من العملية لتناسب الآلة المحددة التي تعمل عليها. وقد أثبت الباحثون أنه من خلال الإدارة الدقيقة لكيفية تخزين البيانات والوصال إليها، من الممكن تحقيق مستويات من الأداء كانت تُعتبر في السابق بعيدة المنال لمثل هذه النماذج شديدة الضغط. ومع استمرار نمو الذكاء الاصطناعي ليصبح أكبر وأكثر تعقيداً، ستكون أساليب مثل هذه ضرورية لجعل هذه التقنيات متاحة وعملية لمجموعة أوسع من التطبيقات، من الأجهزة الشخصية إلى مراكز البيانات واسعة النطاق. ويظهر العمل أنه مع الجمع بين الرياضيات الذكية والهندسة الفعالة، يمكن التغلب على قيود تكنولوجيا اليوم، مما يسمح بمستقبل لا يكون فيه الذكاء القوي مجرد رفاهية، بل أداة قياسية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.