← أحدث الأبحاث
🤖 الذكاء الاصطناعي

OPTIMA: Optimal One-shot Pruning for LLMs via Quadratic Programming Reconstruction

تُعد OPTIMA طريقة تقليم قابلة للتوسع وذات دفعة واحدة لما بعد التدريب للنماذج اللغوية الكبيرة، حيث تصيغ إعادة بناء أوزان الطبقات كبرامج تربيعية مستقلة لكل عمود مع مصفوفة هسيان مشتركة، مما يحقق دقة متفوقة على النهج الاستدلالي مع الحفاظ على الكفاءة الحسابية على المسرعات الحديثة.

المؤلفون الأصليون: Mohammad Mozaffari, Samuel Kushnir, Maryam Mehri Dehnavi, Amir Yazdanbakhsh

نُشر 2026-10-21✓ Author reviewed ⓘ
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Mohammad Mozaffari, Samuel Kushnir, Maryam Mehri Dehnavi, Amir Yazdanbakhsh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تعد النماذج اللغوية الكبيرة برامج حاسوبية قوية تعلمت فهم وتوليد اللغة البشرية من خلال دراسة كميات هائلة من النصوص. يمكنها كتابة القصص، والإجابة على أسئلة معقدة، وحل المشكلات، ولكنها تأتي مع عيب كبير: وهي ضخامتها. تحتوي هذه النماذج على مليارات المعلمات (parameters)، وهي الأرقام الداخلية التي يعدلها النظام لفهم اللغة. وبسبب حجمها، يتطلب تشغيلها أجهزة قوية ومكلفة، مما يجعل استخدامها صعباً في المهام اليومية أو على الأجهزة الصغيرة. ولجعل هذه النماذج أكثر عملية، يبحث الباحثون عن طرق لتقليص حجمها دون فقدان قدرتها على التفكير بوضوح. إحدى الطرق الشائعة تسمى "التقليم" (pruning)، والتي تتضمن إزالة الأرقام الأقل أهمية من النموذج لتقليل حجمه. ومع ذلك، فإن هذه العملية معقدة؛ فإذا قمت ببساطة بحذف الأرقام، فغالباً ما يصبح النموذج أسوأ بكثير في أداء مهمته. وإذا حاولت إصلاح النموذج عن طريق إعادة حساب جميع الأرقام دفعة واحدة للتعويض عن الخسارة، فإن العمليات الحسابية ستصبح ثقيلة جداً لدرجة يستح مستحيل تنفيذها على الحواسيب الحديثة.

لقد طور فريق من الباحثين نهجاً جديداً يسمى OPTIMA لحل هذه المشكلة تحديداً. كان هدفهم هو إيجاد منطقة وسطى بين طريقة الحذف المباشر للأرقام التي تتسم بالسرعة ولكنها غير دقيقة، وطريقة محاولة إصلاح كل شيء دفعة واحدة التي تتسم بالبطء الشديد. لقد أدركوا أنه بعد اتخاذ القرار بشأن الأرقام المراد إزالتها، يمكن تقسيم مهمة إصلاح الأرقام المتبقية إلى العديد من المشكلات الصغيرة والمستقلة. فبدلاً من محاولة حل رياضيات النموذج بأكملها في خطوة واحدة عملاقة ومستحيلة، قاموا بمعاملة كل عمود من أعمدة الأرقام في النموذج بشكل منفصل. واكتشفوا أنه بينما كان لكل عمود قيوده الخاصة بناءً على الأرقام التي تمت إزالتها، إلا أنها جميعاً تشترك في بنية أساسية واحدة. سمح هذا باستخدام أداة رياضية متخصصة، تُعرف باسم "البرمجة التربيعية" (quadratic program)، لإيجاد القيم البديلة المثالية لكل عمود. ولأن البنية كانت هي نفسها لكل عمود، فقد تمكنوا من حل آلاف هذه المشكلات الصغيرة في وقت واحد على شريحة حاسوبية واحدة، بدلاً من حلها واحدة تلو الأخرى.

اختبر الباحثون هذه الطريقة على عدة عائلات مختلفة من النماذج اللغوية الكبيرة، بما في ذلك نماذج شهيرة مثل LLaMA وGemma. وقد طبقوا تقنيتهم على نماذج تم تقليمها بالفعل بواسطة طرق موجودة مسبقاً، حيث عملت تقنيتهم بمثابة "لمسة نهائية" لتحسين النتائج. وفي معظم الحالات، جعلت هذه الخطوة الإضافية النماذج أكثر دقة بشكل ملحوظ. فعلى سبيل المثال، عندما اختبروا النماذج في مجموعة متنوعة من المهام القياسية، حسنت الطريقة الجديدة متوسط الدرجات بنحو أربع نقاط في بعض السيناريوهات الصعبة، لا سيما عندما تكون النماذج صغيرة جداً. وعملت الطريقة بشكل جيد عبر مختلف أنماط التقليم وأحجام النماذج، بدءاً من النماذج الأصغر ذات المليار معلمة وصولاً إلى النماذج الكبيرة جداً التي تحتوي على مليارات المعلمات. ومن الجدير بالذكر أنه بينما حسنت هذه الطريقة الدقة، إلا أنها استغرقت وقتاً أطول في التشغيل من أسرع الطرق الموجودة، حيث تطلبت حوالي أربعين ساعة لمعالجة نموذج مكون من ثمانية مليارات معلمة على بطاقة رسوميات واحدة عالية الأداء. ومع ذلك، أكد الباحثون أن هذه تكلفة تُدفع لمرة واحدة قبل استخدام النموذج، وأن النموذج الناتج يعمل بنفس سرعة النسخة الأصلية المقلمة.

كما سلطت الدراسة الضوء على أن هذا النهج ليس حلاً سحرياً لكل موقف. ففي حالات محددة قليلة، لم تؤدِ الطة الجديدة إلى تحسين أداء النموذج بل جعلته أحياناً أسوأ قليلاً، مما يشير إلى أن التفاعل بين طريقة التقليم وخطوة التصحيح يمكن أن يكون معقداً. علاوة على ذلك، وجد الباحثون أن الطريقة تعمل بشكل أفضل عندما يترك التقليم الأولي مجالاً كبيراً للتحسين، كما هو الحال عندما يصبح النموذج "متناثراً" (sparse) للغاية. كما لاحظوا أن نجاح الطريقة يعتمد على نوع النموذج المحدد وكيفية إجراء عملية التقليم في الأصل. ورغم هذه القيود، يوضح العمل أنه من الممكن استخدام التحسين الرياضي الصارم لإصلاح النماذج المقلمة بطريقة عملية وقابلة للتوسع. ومن خلال تقسيم مشكلة ضخمة ومستحيلة إلى آلاف المهام المتوازية الصغيرة، أظهر الباحثون أنه يمكننا الحفاظ على النماذج اللغوية الكبيرة صغيرة وفعالة دون التضحية بذكائها. وهذا يفتح الباب أمام ذكاء اصطناعي أكثر قدرة للعمل على أجهزة ضعيفة حالياً لا تدعم تشغيله، مما يقرب أدوات اللغة القوية من الاستخدام اليومي.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.AI →