تخيل أن لديك عقلاً آلياً عملاقاً وذكياً للغاية، قد تعلم بالفعل القراءة والكتابة والدردشة حول كل شيء تقريباً في العالم. هذا ما نسميه "النموذج مسبق التدريب" (Pre-trained model). ولكن في بعض الأحيان، تريد تعليم هذا الروبوت مهارة جديدة محددة، مثل حل المسائل الرياضية أو كتابة أكواد برمجية. لتعليمه ذلك، يتعين عليك عادةً تعديل مليارات التروس الداخلية لديه. هذه العملية، التي تسمى "الضبط الدقيق" (Fine-tuning)، تشبه محاولة إصلاح ساعة ضخمة عن طريق ضبط كل مسمار فيها، حتى تلك المسامير التي هي بالفعل مشدودة بإحكام. إنها عملية تستغرق وقتاً طويلاً، وتكلف ثروة من الكهرباء، وغالباً ما تبدو مبالغاً فيها.

هنا يأتي دور LoRA (التكيف منخفض الرتبة - Low-Rank Adaptation)، وهو اختصار لطريقة ذكية ابتكرها العلماء. بدلاً من لمس كل ترس، يضيف LoRA "عجلات تدريب" صغيرة وقابلة للفصل إلى عقل الروبوت. هذه العجلات صغيرة، وسهلة الضبط، وتسمح للروبوت بتعلم المهارة الجديدة دون العبث بما يعرفه بالفعل. الأمر يشبه إعطاء الروبوت مجموعة من الملاحظات اللاصقة (Sticky notes) تحتوي على تعليمات جديدة، بدلاً من إعادة كتابة موسوعته بالكامل. ومع ذلك، حتى مع هذه الملاحظات اللاصقة، فإننا لا نزال نلصقها على كل جزء من الدماغ، بغض النظر عما إذا كان ذلك الجزء يحتاج إلى مساعدة أم لا. إنه يشبه وضع عجلات تدريب على دراجة هوائية تتمتع بالفعل بتوازن مثالي، فقط من باب الاحتياط.

وهنا تأتي فكرة جديدة تسمى κ-LoRA (كابا-لوورا). فقد طرح الباحثون وراء هذه الورقة سؤالاً بسيطاً ولكنه ثوري: "ماذا لو وضعنا عجلات التدريب فقط على الأجزاء المهتزة من الدماغ؟". اكتشفوا أن ليس كل أجزاء دماغ الروبوت مستعدة بنفس القدر للتعلم. فبعض الأجزاء صلبة ومتوازنة بالفعل، بينما تكون أجزاء أخرى مهتزة ومليئة بالإمكانات. ومن خلال استخدام أداة رياضية تسمى "رقم الحالة" (Condition number) -وهو باختصار درجة تخبرك بمدى توازن أو اهتزاز جزء ما- استطاعوا تحديد أي التروس تحتاج إلى الاهتمام الأكبر بدقة. طريقتهم، κ-LoRA، تتجاهل الأجزاء المتوازنة تماماً وتركز كل طاقة التعلم على الأجزاء المهتزة. والنتيجة؟ يتعلم الروبوت بنفس الجودة، ولكن في وقت أقل بكثير وبجهد نصف المطلوب.

الاكتشاف الكبير: إيجاد التروس المهتزة

جوهر هذه الورقة البحثية هو الإدراك بأن ليس كل أجزاء الشبكة العصبية متساوية عندما يتعلق الأمر بتعلم أشياء جديدة. وجد المؤلفون، وهم فريق من جامعة كاوست (KAUST) وجامعة كارنيجي ميلون، أن هناك فرقاً شاسعاً في مدى "جاهزية" الأجزاء المختلفة للتغيير في الأدمغة الضخمة لنماذج الذكاء الاصطناعي الحديثة.

فكر في الاتصالات الداخلية للذكاء الاصطناست كأنها مجموعة من الجسور. بعض هذه الجسور واسعة، ومسطحة، ومتوازنة تماماً؛ فهي تتعامل مع حركة المرور بسلاسة مهما حدث. أما الجسور الأخرى، فقد تكون ضيقة، أو مائلة، أو لها جانب واحد أعلى بكثير من الآخر. يطلق الباحثون على الجسور "المائلة" أو "غير المتوازنة" اسم المصفوفات سيئة الحالة (Ill-conditioned matrices). هذه هي الجسور التي يمكن أن تسبب فيها دفعة صغيرة (تحديث بسيط) تغييراً هائلاً في كيفية تدفق حركة المرور. في المقابل، الجسور المتوازنة تماماً (Well-conditioned matrices) بالكاد تتحرك حتى لو دفعتها بقوة.

تجادل الورقة بأن الطرق الحالية، مثل LoRA القياسي، هي طرق هدّارة لأنها تحاول ضبط كل جسر، بما في ذلك الجسور التي هي بالفعل مثالية. الأمر يشبه ميكانيكياً يحاول ضبط محرك سيارة عن طريق تدوير كل مسمار فيه، حتى المسامير التي تم شدها بالفعل إلى حد الكمال. يقترح المؤلفون أن السحر الحقيقي يحدث عندما تركز فقط على المسامير المرتخية أو غير المتساوية.

كيف يعمل κ-LoRA: "درجة الاهتزاز"

لإصلاح ذلك، ابتكر الفريق κ-LoRA. وإليك كيف يعمل بلغة بسيطة:

1. بطاقة النقاط: قبل أن يبدأ الروبوت في التعلم، يلقي الباحثون نظرة سريعة على كل "جسر" (مصفوفة) في الدماغ. ويحسبون "درجة اهتزاز" لكل منها. تُسمى هذه الدرجة رقم الحالة (Condition number).

   • الدرجة المنخفضة تعني أن الجسر مستقر ومتوازن، ولا يحتاج إلى الكثير من المساعدة.
   • الدرجة العالية تعني أن الجسر غير متوازن، وهو المرشح المثالي لتلقي دفعة بسيطة لجعله يعمل بشكل أفضل.

2. الاختيار: بدلاً من إضافة عجلات التدريب إلى الدماغ بأكم، يختار κ-LoRA فقط أعلى 50% من الجسور التي سجلت أعلى درجات الاهتزاز. هذه هي الجسور الأكثر عرضة للاستفادة من التعلم.

3. التجميد: أما الـ 50% الأخرى من الجسور -تلك التي هي متوازنة تماماً بالفعل- فتُترك كما هي. يتم "تجميدها"، مما يعني عدم إهدار أي طاقة في محاولة تعديلها.

4. النتيجة: يتعلم الروبوت باستخدام نصف عدد الأجزاء القابلة للضبط فقط.

ماذا وجدوا: أسرع، أذكى، وأرخص

اختبر الباحثون هذه الفكرة على بعض أكبر وأذكى نماذج الذكاء الاصطناعي المتاحة، بما في ذلك LLaMA 2 وMistral وGemma. ووضعوا κ-LoRA تحت الاختبار في مهام مثل حل المسائل الرياضية، وكتابة الأكواد، وإجراء المحادثات.

كانت النتائج جيدة بشكل مفاجئ. فمن خلال التركيز فقط على الأجزاء "المهتزة":

• السرعة: أصبحت عملية التدريب أسرع بنسبة 16.2% في المتوسط. وهذا توفير هائل عندما تتعامل مع نماذج ضخمة.
• التكلفة: استخدموا نصف عدد المعلمات القابلة للتدريب. وهذا يعني أن ذاكرة الكمبيوتر المطلوبة انخفضت بنحو 4.5%، مما يجعل تشغيلها على الأجهزة الصغيرة أسهل بكثير.
• الأداء: إليكم المفاجأة: رغم استخدام نصف الجهد، أدى الروبوت بجودة تضاهي الطريقة القياسية. وفي بعض الحالات، مثل حل المسائل الرياضية المعقدة (مجموعة بيانات MATH) أو إجراء المحادثات (MT-Bench)، تفوق κ-LoRA قليلاً على الطريقة القياسية.

تشير الورقة إلى أن هذا يحدث لأن الجسور "المهتزة" هي الجسور التي تحمل أكبر قدر من الإمكانات للتغيير. فعندما تقوم بتعديلها، فإنها تنتقل إلى حالة أكثر توازناً، مما يساعد الدماغ بأكمله على العمل بشكل أفضل. في الواقع، قام الباحثون بقياس ذلك ووجدوا أنه بعد التدريب، أصبح 83% إلى 87% من الجسور المختارة أكثر توازناً (انخفضت أرقام الحالة الخاصة بها). وهذا يثبت أن الطريقة ليست مجرد تخمين؛ بل هي تعمل بنشاط على إصلاح الأجزاء من الدماغ التي كانت في أمس الحاجة للمساعدة.

ما لا يفعله (وما يجب مراقبته)

من المهم معرفة ما لا تدعيه هذه الورقة. فالمؤلفون حذرون في قول إن هذه ليست عصا سحرية تعمل بشكل مثالي في كل موقف.

• ليست ملائمة لكل شيء: عندما اختبروا الطريقة في مهام برمجية محددة للغاية (مثل كتابة مقاطع برمجية دقيقة)، كانت النتائج مختلطة نوعاً ما. في بعض الأحيان، كان أداء الروبوت أسوأ قليلاً من الطريقة القياسية. وهذا يشير إلى أنه بينما تعد "درجة الاهتزاز" دليلاً رائعاً، إلا أن بعض المهام قد تتطلب مشاركة جزء أكبر من الدماغ بأكمله.
• فحص لمرة واحدة: الطريقة تفحص "درجة الاهتزاز" مرة واحدة فقط قبل بدء التدريب. ويعترف المؤلفون أنه إذا تغير شكل دماغ الروبوت بشكل جذري أثناء التدريب (مثل مهام التعلم الطويلة جداً أو المعقدة)، فقد لا يكون الفحص لمرة واحدة كافياً. ويقترحون أنه في المستقبل، قد نحتاج إلى نظام يعيد فحص الدرجات أثناء تعلم الروبوت.
• ليست بديلاً لكل شيء: صُممت هذه الطريقة لتعمل جنباً إلى جنب مع الحيل الأخرى، مثل تصغير حجم النموذج (Quantization). إنها أداة جديدة في صندوق الأدوات، وليست بديلاً لكل الأدوات الأخرى.

لماذا هذا مهم

تكمن روعة κ-LoRA في بساطتها. فهي لا تتطلب خوارزميات جديدة معقدة أو كميات هائلة من البيانات الإضافية. إنها فقط تنظر إلى الهيكل الحالي لعقل الذكاء الاصطناعي وتسأل: "أين نحتاج حقاً للمساعدة؟".

لأي شخص انتظر لساعات ليتعلم الكمبيوتر مهمة جديدة، أو للمطورين الذين يريدون تشغيل ذكاء اصطناعي ذكي على هواتفهم بدلاً من الخوادم العملاقة، فإن هذا أمر بالغ الأهمية. إنه يشير إلى أننا كنا نهدر الكثير من الطاقة في محاولة إصلاح الأشياء التي لم تكن مكسورة أصلاً. من خلال الاستماع إلى "اهتزاز" الآلة، يمكننا جعل تدريب الذكاء الاصطناعي أسرع، وأرخص، وأكثر كفاءة، وكل ذلك دون التضحية بجودة النتيجة النهائية. تشير الورقة إلى أن مفتاح الذكاء الاصطناعي الأفضل ليس دائماً في إضافة المزيد من القوة؛ بل أحياناً يكون في معرفة أين تطبق الضغط بالضبط.