FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling
تقدم هذه الورقة البحثية FOCUS، وهو إطار عمل للكمّ (quantization) ما بعد التدريب يعزز دقة FP4 للنماذج اللغوية الكبيرة من خلال توظيف "التحجيم بالاسترخاء المزدوج" (Coupled-Relaxation Scaling) لفصل مقاييس الكم القابلة للتعلم عن قيود الأجهزة، و"التحجيم مزدوج الدقة" (Dual-Granularity Scaling) من أجل تكييف أدق للأوزان، محققاً بذلك أداءً هو الأفضل في فئته دون أي عبء إضافي على عملية الاستدلال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول وضع مكتبة ضخمة ومعقدة من المعرفة داخل حقيبة ظهر صغيرة محمولة. هذه هي المعاناة اليومية لـ "نماذج اللغات الكبيرة" (LLMs)، وهي عقول حاسوبية فائقة الذكاء يمكنها كتابة القصص، وحل المسائل الرياضية، والدردشة كالبشر. تكمن المشكلة في أن هذه العقول ضخمة جدًا لدرجة أنها تحتاج إلى كميات هائلة من الذاكرة والطاقة لتعمل، مما يجعل استخدامها مكلفًا وبطيئًا على الأجهزة اليومية. ولحل هذه المشكلة، يستخدم العلماء حيلة تسمى "الكمية" (quantization). فكر في الأمر كترجمة فيلم عالي الدقة بدقة 4K إلى تنسيق أقل دقة لكي يتناسب مع هاتف قديم. الهدف هو تقليص حجم البيانات دون فقدان حبكة القصة. مؤخرًا، ظهر تنسيق جديد فائق الصغر يسمى "FP4"، مدعوم برقائق حاسوبية حديثة، والذي يعد بتقليص هذه النماذج بشكل أكبر. ولكن هناك عقبة: عصر البيانات بهذا الحجم الصغير غالبًا ما يجعل النموذج "ينسى" الأشياء أو يصاب بالارتباك، مما يؤدي لفقدان الدقة. السؤال الكبير هو: كيف نضغط النموذج إلى هذا الحجم الضئيل دون تدمير ذكائه؟
تقدم هذه الورقة البحثية طريقة جديدة وذكية تسمى FOCUS لحل هذه المشكلة تحديدًا. أدرك الباحثون أن الطريقة الحالية لتقليص هذه النماذج كانت جامدة للغاية. تخيل أنك تقوم بتعبئة حقيبة سفر؛ القاعدة القياسية تقول: "يجب عليك استخدام نفس الصناديق الصغيرة مسبقة الصنع لتعبئة ملابسك، ويجب عليك استخدام نفس تلك الصناديق لتفريغها لاحقًا". تجادل الورقة بأن هذا أمر سخيف. فبينما تحتاج بالفعل إلى استخدام الصناديق الصغيرة لتخزين الملابس (لأنها هي التي تناسب حقيبة السفر)، إلا أنك لست بحاجة لاستخدام نفس تلك الصناديق الصغيرة لـ معرفة كيفية طي الملابس في المقام الأول. يمكنك استخدام شريط قياس كبير ومرن للتخطيط للتعبئة، ثم وضع النتيجة فقط داخل الصناديق الصغيرة.
تستخدم FOCUS هذه الرؤية لتحسين كيفية إعداد النماذج لتنسيق FP4 الصغير. وهي تقدم خدعتين رئيسيتين:
القياس المرتبط بالاسترخاء (CRS): هذا هو "شريط القياس المرن". في الطريقة القديمة، كان على الحاسوب استخدام مسطرة خشنة للغاية ومنخفضة الدقة لتقرير كيفية تقليص الأرقام، وكان عليه استخدام نفس المسطرة الخشنة لإعادة تجميعها. تقول FOCUS: "لنستخدم مسطرة كاملة الحجم وفائقة الدقة للقيام بعملية حساب التقليص، ثم نضغط النتيجة داخل الصندوق الخشن". هذا يسمح للحاسوب بإيجاد طريقة أفضل بكثير لتعبئة البيانات دون كسر قواعد التنسيق الصغير.
القياس مزدوج التدرج (DGS): يتعلق هذا الأمر بتعبئة العناصر الأصغر. الطريقة القديمة كانت تعامل مجموعة كاملة من 32 رقمًا ككتلة واحدة كبيرة، باستخدام مسطرة واحدة لكل منها. ولكن ماذا لو كانت بعض الأرقام في تلك المجموعة ضخمة والبعض الآخر ضئيل؟ تقوم FOCUS بتقسيم تلك المجموعة الكبيرة إلى مجموعات فرعية أصغر (مثل قطع بيتزا كبيرة إلى شرائح) وتمنح كل شريحة مسطرتها الخاصة المخصصة. هذا يسمح للحاسوب بالتكيف مع التفاصيل المحددة للبيانات، بدلًا من فرض قالب واحد يناسب الجميع.
النتائج مبهرة. عندما اختبر الباحثون FOCUS على نماذج ذكاء اصطناي مختلفة (مثل Qwen و LLaMA)، تفوقت باستمرار على جميع الطرق الأخرى. على سبيل المثال، في نموذج يسمى Qwen3-4B، تمكنت FOCUS من استعادة 98.2% من دقة النموذج الأصلي عند استخدام تنسيق NVFP4، و 96.2% مع MXFP4. هذه قفزة كبيرة مقارنة بالتقنيات السابقة، التي كانت غالبًا ما تكافح للبقاء فوق 90% أو 94%.
الأهم من ذلك، تُظهر الورقة أن FOCUS لا تجعل النموذج أبطأ أو أصعب في الاستخدام. فعلى الرغم من أن الحاسوب يقوم بعمليات حسابية إضافية أثناء إعداد النموذج (خلال مرحلة "التدريب" أو "المعايرة")، إلا أن النموذج النهائي يعمل بنفس سرعة أي نموذج FP4 آخر. يستغรقت عملية إعداد نموذج Qwen3-4B حوالي 19 دقيقة على وحدة معالجة رسومية واحدة عالية الأداء، وهو في الواقع أسرع من بعض الطرق المنافسة. ويؤكد الباحثون أن هذه طريقة "ما بعد التدريب" (post-training)، مما يعني أنهم لا يحتاجون لإعادة تعليم النموذج من الصفر؛ بل يقومون فقط بتعديل تعليمات التعبئة.
باختًا، تشير FOCUS إلى أنه من خلال تخفيف القواعد المتعلقة بـ كيفية حساب التقليص (مع الحفاظ على صرامة تنسيق التخزين النهائي)، يمكننا وضع هذه العقول الضخمة للذكاء الاصطناي في مساحات صغيرة دون فقدان ذكائها. الأمر يشبه إدراك أنه يمكنك طي قميص بشكل مثالي باستخدام طاولة كبيرة، حتى لو كان لديك درج صغير لتخزينه فقط. تثبت الورقة أن هذا النهج يعمل بشكل أفضل من الطرق الجامدة القديمة، مما يوفر مسارًا لتشغيل ذكاء اصطناعي قوي على الأجهزة التي لا تستطيع التعامل معه حاليًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.