LoCA: Forward-Only LLM Tuning after One-Shot Calibration with Local Credit Assignment
يقدم LoCA طريقة ضبط ثنائية المرحلة، تعمل في اتجاه واحد فقط، تقوم بتبسيط عملية تخصيص الائتمان العالمي إلى عملية معايرة لمرة واحدة لتناسب المهايئات منخفضة الرتبة عبر حلول ذات صيغة مغلقة، مما يلغي الحاجة إلى الانتشار العكسي المتكرر مع تحقيق استخدام أقل للذاكرة واستدلال أسرع مقارنة بـ LoRA.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طباخاً بارعاً وعالمياً أمضى سنوات في إتقان فن الطهي. هذا الطباخ هو "العمود الفقري المجمد" الخاص بك — وهو نموذج ذكاء اصطناعي ضخم ومُدرب مسبقاً، يعرف كيف يتحدث، ويستنتج، ويحل المشكلات. ولكن، تريد الآن تعليم هذا الطباخ مهارة جديدة ومحددة، مثل صنع طبق "لازانيا نباتية" مثالي لمطعم محلي. في الأيام الخوالي لتدريب الذكاء الاصطناعي، لتعليم هذه المهارة الجديدة، كان عليك سحب الطباخ بأكمله إلى المطبخ، وجعله يتذوق كل مكون على حدٍ، وحساب مقدار الخطأ الذي ارتكبه بدقة، ثم إجباره على إعادة كتابة كتاب وصفاته الذهنية بالكامل من الصفر. إنه يشبه مطالبة الطباخ بإعادة تعلم كيفية تقطيع البصل لمجرد أنه يحتاج لإضافة الريحان إلى الصلصة. هذه العملية كانت ثقيلة للغاية، وتتطلب أجهزة كمبيوتر ضخمة وكميات هائلة من الطاقة، مما يجعل القيام بها على الأجهزة الصغيرة أمراً مستحيلاً.
ولكن ماذا لو كان بإمكانك فقط إعطاء الطباخ مئزراً صغيراً ومتخصصاً؟ هذا المئزر يمثل تحديثاً صغيراً وفعالاً يساعده على طهي الطبق الجديد دون الحاجة لإعادة كتابة دماغه بالكامل. هذه هي الفكرة وراء "التوليف عالي الكفاءة للمعلمات" (parameter-efficient tuning). ومع ذلك، حتى مع هذا المئزر الصغير، كانت الطريقة القديمة تتطلب سحب الطباخ مرة أخرى إلى المطبخ لإجراء فحص "خلفي" كامل في كل مرة يجرب فيها مكوناً جديداً. السؤال الكبير الذي كان العلماء يتساءلون عنه هو: هل يمكننا تخطي عمليات الفحص المطبخي الثقيلة والمتكررة؟ هل يمكننا فقط إعطاء الطباخ تعليمات لمرة واحدة حول كيفية التعديل، ثم تركه يطهو للأمام فقط، مستخدماً معرفته الحالية والمئزر الجديد؟ هذا هو تحدي "التدريب الخالي من الانتشار العكسي" (backprop-free)، وهي طريقة قد تسمح لنا بتحديث نماذج الذكاء الاصطنا_الضخمة على الأجهزة التي لا تملك حواسيب فائقة، مثل جهاز كمبيوتر محمول قياسي أو حتى هاتف.
هنا يظهر LoCA (التخصيص المحلي للائتمان - Local Credit Assignment)، وهي طريقة جديدة مكونة من مرحلتين قدمها الباحثون لينهان شيا، و روي ليو، وفريقهم. فكر في LoCA كخدعة "معايرة لمرة واحدة" ذكية. فبدلاً من جعل الطباخ يتذوق الطبق بالكامل في كل مرة يرتكب فيها خطأ، تقوم LoCA بشيء مختلف. أولاً، تقوم بتشغيل "مسبار" سريع لمرة واحدة في تمرير خلفي — مجرد اختبار تذوق واحد — لتحديد خريطة بسيطة. هذه الخريطة تشبه ورقة مرجعية تخبر الطباخ: "إذا كان الطبق النهائي مالحاً جداً، عدل الملح في الطبقة الثانية؛ إذا كان باهتاً، عدل الأعشاب في الطبقة الرابعة". هذه الخريطة ذات "رتبة منخفضة" (low-rank)، مما يعني أنها نسخة مبسطة ومضغوطة من الرياضيات المعقدة، لكنها جيدة بما يكفي للتغييرات الصغيرة.
بمجرد إنشاء ورقة المرجع هذه (مشغل التغذية الراجعة)، يحدث السحر الحقيقي. لن يحتاج الطباخ أبداً للعودة إلى المطبخ لإجراء فحص خلفي كامل مرة أخرى. فلكل طبق جديد، يكتفي الطباخ بالطهي للأمام، وينظر إلى النتيجة النهائية، ويستخدم ورقة المرجع لحساب كيفية تعديل مئزره الصغير فوراً. الرياضيات لهذا التعديل هي "حل مغلق" (closed-form solution)، وهو ما يشبه امتلاك مفتاح إجابة مُعد مسبقاً بدلاً من التخمين والتجربة والخطأ. اختبر الباحثون هذه الطريقة على خمس مهام مختلفة باستخدام نماذج Qwen2.5 التي تتراوح أحجامها من 0.5 مليار إلى 14 مليار معلمة. ووجدوا أنه في 16 من أصل 25 مقارنة، حققت LoCA نتائج أفضل (إنتروبيا متقاطعة أقل) من الطريقة القياسية LoRA.
الفوائد هائلة للأجهزة محدودة الموارد. فقد قاس البحث أن ذروة استخدام الذاكرة في LoCA على بطاقة الرسوميات كانت أقل بنسبة 26-29% من LoRA. والأهم من ذلك، بمجرد انتهاء المعايرة الأولية، يكون استهلاك الذاكن المستقر على وحدة معالجة مركزية (CPU) قياسية أقل بنسبة 36-52%، والوقت المستغرق لكل تمرير أسرع بنسبة 43-48%. كما أظهر الفريق أنه يمكنهم استخدام نفس إعدادات "ورقة المرجع" عبر أحجام نماذج مختلفة، من نموذج 0.5B الصغير وصولاً إلى نموذج 14B الضخم، وحتى على عائلة نماذج أخرى تسمى SmolLM2.
ومع ذلك، فإن المؤلفين حذرون من وصف هذه الطريقة بأنها حل سحري لكل شيء. فقد أشاروا إلى أن هذه الطريقة تعمل بشكل أفضل في حالات "التكيف ذي التحول الصغير" — أي تعليم النموذج مهارة جديدة ومحددة دون تغيير شخصيته الأساسية. إذا حاولت تعليم الطباخ مطبخاً جديداً تماماً يتطلب إعادة هيكلة شاملة لدماغه، فقد تصبح ورقة المرجع غير صالحة، وستحتاج إلى إجراء المعايرة مرة أخرى. أيضاً، بينما تعد LoCA أسرع وأخف، إلا أنها لا تزال تتطلب ذلك "المسبار" الخلفي الأولي، لذا فهي ليست خالية تماماً من الحسابات الخلفية؛ بل هي تنقل العمل الشاق إلى خطوة واحدة تمهيدية. يقترح الباحثون أنه بالنسبة للأجهزة التي لا تستطيع القيام بالحسابات الخلفية على الإطلاق، يمكن لجهاز كمبيوتر قوي إجراء المعايرة لمرة واحدة وإرسال ورقة المرجع، مما يسمح للجهاز الأصغر بالقيء بالباقي باستخدام التمريرات الأمامية فقط. باختصار، تقترح LoCA طريقة عملية لتحديث نماذج الذكاء الاصطناعي الضخمة عن طريق توزيع العمل الشاق في معايرة واحدة، مما يجعل من الممكن ضبط هذه النماذج على أجهزة كانت في السابق أضعف من أن تتحمل المهمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.