Pin Once, Swap Light: Subspace-Aligned Centroid-Residual Training for Efficient Ultra-LoRA Serving

تخيل أنك تدير مكتبة سحرية ضخمة، حيث يريد آلاف الأشخاص قراءة كتب مكتوبة بأساليب مختلفة قليلاً؛ فبعضهم يريد قصصاً عن الرياضيات، والبعض الآخر عن البرمجة، وآخرون عن التاريخ. في عالم الذكاء الاصطناعي، تُسمى هذه "الأساليب" المُكيِّفات (Adapters). وهي تشبه نظارات خاصة تضعها على روبوت عملاق وذكي (نموذج لغوي كبير) لمساعدته على فهم موضوع معين دون الحاجة إلى إعادة بناء الروبوت بأكه من الصفر. وهذا ما يسمى التكيف منخفض الرتبة (Low-Rank Adaptation)، أو LoRA. إنها حيلة ذكية تتيح لنا تعليم الروبوت أشياء جديدة بسرعة وبتكلفة منخفضة.

لكن هناك مشكلة، فالمكتبة مزدحمة. إذا أحضر كل شخص نظارته الخاصة الثقيلة والمصنوعة خصيصاً له، فستمتلئ الأرفف (ذاكرة الكمبيوتر)، وسينهك أمين المكتبة (معالج الكمبيوتر) في محاولة تبديلها وإدخالها وإخراجها. سيصبح الروبوت بطيئاً، وتتوقف الخدمة. لقد حاول العلماء جعل هذه النظارات أخف وزناً، ولكن عادةً عندما تجعلها أخف، تصبح مشوشة ويبدأ الروبوت في ارتكاب الأخطاء. السؤال الكبير هو: هل يمكننا إبقاء النظارات خفيفة بما يكفي لتناسب الجميع، ولكن حادة بما يكفي للرؤية بوضوح؟

تقدم هذه الورقة البحثية نظاماً ذكياً جديداً يسمى SALT (تدريب LoRA المحاذي للفضاء الجزئي) والذي يحل هذه المشكلة عبر تغيير طريقة صنع هذه النظارات. فبدلاً من إعطاء كل مستخدم زوجاً كاملاً وثقيلاً من النظارات، تقوم المكتبة الآن بالاحتفاظ بـ "عدسة رئيسية" واحدة ضخمة وعالية الجودة على الرف بشكل دائم. وعندما يصل مستخدم ما، فإنه يحتاج فقط إلى إحضار قطعة "تعديل" صغيرة جداً، تكاد تكون غير مرئية، لتعديل العدسة الرئيسية لتناسب احتياجاته الخاصة.

إليك كيف يعمل الأمر، باستخدام تشبيه بسيط. تخيل أن عقل الروبوت عبارة عن لوحة قماشية ضخمة وبيضاء:

1. الطريقة القديمة: يقوم كل مستخدم برسم تحفته الفنية الخاصة من الصفر على لوحة قماشية صغيرة. ولإظهار اللوحة، عليك حمل اللوحة الصغيرة بالكامل إلى الروبوت. إذا كان لديك 100 مستخدم، فأنت تحمل 100 لوحة ثقيلة. وإذا حاولت تصغير اللوحات لتوفير المساحة، فستصبح اللوحات مشوشة وتفقد التفاصيل.
2. طريقة SALT: تقوم المكتبة أولاً برسم "منظر طبيعي أساسي" ضخم ومثالي على لوحة قماشية كبيرة. هذا هو المركز (Centroid). إنه يلتقط الطابع العام لموضوع كامل، مثل "الرياضيات" أو "البرمجة". هذه اللوحة الكبيرة مثبتة على الحائط (في ذاكرة الكمبيوتر السريعة) ولا تتحرك أبداً.
3. التعديل السحري: عندما يريد مستخدم ما التحدث عن مسألة رياضية محددة، فهو لا يحضر لوحة كاملة جديدة، بل يحضر ملصقاً صغيراً جداً، يكاد يكون شفافاً، يضيف فقط التفاصيل المحددة المطلوبة لسؤاله. ولأن القاعدة موجودة بالفعل، يمكن لهذا الملصق أن يكون صغيراً للغاية، لدرجة أنه قد يكون مجرد ذرة غبار.

وجد الباحثون أنه من خلال تدريب "المنظر الطبيئي الأساسي" و"الملصقات الصغيرة" معاً بطريقة خاصة، يمكن جعل الملصقات صغيرة للغاية (باستخدام رتبة 1 أو 2 فقط) دون فقدان أي حدة. وفي اختباراتهم، قللت هذه الطريقة من الذاكرة المطلوبة لكل مستخدم بمقدار يصل إلى 16 ضعفاً. والأفضل من ذلك، ولأن العمل الشاق يتم لمرة واحدة من قبل مالك المكتبة، يمكن للنظام التعامل مع 51% أكثر من المستخدمين في نفس الوقت دون أن يتباطأ، حتى عندما يكون الاتصال بالإنترنت (عرض نطاق PCIe) بطيئاً.

تظهر الورقة أيضاً أن هذا ليس مجرد تخمين محظوظ. لقد أثبتوا أنه باستخدام قاعدة رياضية خاصة للتأكد من أن جميع "المناظر الطبيعية الأساسية" للمواضيع المختلفة تصطف تماماً، فإن الملصقات الصغيرة تتناسب مع بعضها بسلاسة. لقد اختبروا ذلك على أحجام مختلفة من الروبوتات (من نماذج بـ 3 مليارات معلمة إلى نماذج أكبر بـ 12 مليار معلمة) ووجدوا أن النظام استعاد باستمرار الأداء عالي الجودة للنظارات الثقيلة والتقليدية.

ومع ذلك، يوضح المؤلفون بحذر أن هذا النظام ليس سحرياً لكل شيء. فهو يعمل بشكل أفضل عندما تكون المواضيع مرتبطة ببعضها، مثل أنواع مختلفة من الرياضيات أو لغات برمجة مختلفة. إذا حاولت خلط أشياء غير مرتبطة تماماً، مثل الرياضيات والشعر، في قاعدة واحدة، فقد يصاب بالارتباك. كما أن الباحثين يقرون بأنهم لم يختبروا النظام على كل نوع من أنواع المهام في العالم بعد.

باخت-اختصار، يقترح SALT طريقة جديدة لتشغيل خدمات الذكاء الاصطناي: توقف عن محاولة حمل العالم كله لكل مستخدم. بدلاً من ذلك، ابنِ أساساً مشتركاً واجعل المستخدمين يحملون فقط التفاصيل الصغيرة المحددة التي يحتاجونها. هذا يحافظ على سرعة النظام، ويقلل من استخدام الذاكرة، ويجعل الإجابات حادة، مما يحل مشكلة الاختناق التي كانت تعيق مستقبل المساعدين الشخصيين القائمين على الذكاء الاصطناعي.