تخيل أن لديك صديقاً آلياً فائق الذكاء، قد قرأ كل كتاب تقريباً في المكتبة. إنه يعرف كيف يكتب القصائد، ويحل المسائل الرياضية، ويشرح التاريخ. لكن هناك مشكلة: إذا علمت هذا الروبوت خدعة جديدة، مثل كيفية لعب الشطرنج، فقد ينسى بالخطأ كيفية كتابة قصيدة. يُسمى هذا "النسيان الكارثي" (catastrophic forgetting)، وهو صداع كبير للعلماء الذين يحاولون تعليم الذكاء الاصطناعي أشياء جديدة واحداً تلو الآخر دون فقدان ذكرياته القديمة.

لإصلاح ذلك، غالباً ما يستخدم الباحثون اختصاراً ذكياً يسمى "LoRA" (التكيف منخفض الرتبة - Low-Rank Adaptation). فكر في دماغ الروبوت كمكتبة ضخمة ومجمدة. بدلاً من إعادة كتابة الكتب (وهو أمر بطيء ومحفوف بالمخاطر)، يضيف LoRA ملاحظات لاصقة صغيرة على الصفحات. كل مهمة جديدة تحصل على مجموعتها الخاصة من الملاحظات اللاصقة. المشكلة هي أنه عندما يحتاج الروبوت للإجابة على سؤال، فإنه لا يعرف أي الملاحظات يجب أن ينظر إليها. إذا قرأ كل الملاحظات معاً، فقد تفسد الملاحظات المتعلقة بالشطرنج الملاحظات المتعلقة بالشعر. حاول بعض العلماء بناء "أمين مكتبة ذكي" (وحدة بوابة - gating module) لاختيار الملاحظات الصحيحة، لكن أمين المكتبة هذا يحتاج هو أيضاً إلى تعلم كيفية القيام بعمله، وأحياناً ينسى أمين المكتبة كيفية أداء وظيفته أيضاً.

يقدم هذا البحث طريقة جديدة لحل المشكلة تسمى Latent-LoRA. يقترح المؤلفون أنه بدلاً من بناء أمين مكتبة جديد، يمكننا فقط النظر إلى "هالة" (vibe) الروبوت الخاصة لتعرف المهمة التي يقوم بها. لقد وجدوا أن التمثيل الداخلي للجملة لدى الروبوت (embedding) يبدو مختلفاً بالفعل اعتماداً على ما إذا كان يقرأ قصيدة أو دليلاً للشطرنج. ومن خلال استخدام خريطة جاهزة وبسيطة (نموذج الخليط الغاوسي - Gaussian Mixture Model) لقراءة هذه الهالات، يمكن للنظام معرفة الملاحظات اللاصقة التي يجب استخدامها فوراً دون الحاجة لتعلم أي شيء جديد. كما جعلوا الملاحظات اللاصقة نفسها أصغر بكثير وأكثر تنظيماً، بحيث تشغل مساحة أقل ولا تصطدم ببعضها البعض. والنتيجة هي نظام يتعلم مهاماً جديدة باستمرار، ولا ينسى شيئاً تقريباً، ويستخدم موارد حاسوبية أقل بكhen بكثير من الطرق السابقة.

المشكلة: الروبوت الذي ينسى

تخيل أنك تقوم بتدريب نموذج ذكاء اصطناعي ضخم، مثل دماغ رقمي بمليارات الروابط. تعلمه كيفية كتابة رسائل البريد الإلكتروني، ثم تعلمه كيفية كتابة الأكواد البرمجية. عندما ينتقل إلى البرمجة، يصبح الدماغ متحمساً جداً للقواعد الجديدة لدرجة أنه يمسح بالخطأ قواعد البريد الإلكتروني القديمة. هذا هو "النسيان الكارثي".

لإيقاف ذلك، يستخدم العلماء تقنية تسمى LoRA. بدلاً من تغيير الدماغ بأكمله، يقومون بإرفاق "مهايئات" (adapters) صغيرة ومنفصلة (مثل وحدات إضافية صغيرة) لكل مهمة جديدة. عندما يتعلم الروبوت كتابة الأكواد، يحصل على "مهايئ كود". وعندما يتعلم رسائل البريد الإلكتروني، يحصل على "مهايئ بريد إلكتروني". يبقى الدماغ الأصلي مجمدًا وآمناً.

لكن هنا يكمن الجزء الصعب: عندما تسأل الروبوت سؤالاً، كيف يعرف أي مهايئ يستخدم؟

• طريقة "الجمع": بعض الطرق تقوم فقط بدمج جميع المهايئات معاً. هذا يشبه محاولة قراءة وصفة طعام ودليل شطرنج في نفس الوقت؛ تختلط التعليمات، ويرتكب الروبوت أخطاءً.
• طريقة "البوابة المتعلمة": تحاول طرق أخرى تدريب "حارس بوابة" خاص ليقرر أي مهايئ يستخدم. لكن هذا الحارس هو مجرد جزء آخر من الدماغ يحتاج إلى التدريب. إذا علمت الحارس خدعة جديدة، فقد ينسى كيفية فتح الأبواب للخدع القديمة. الأمر يشبه توظيف أمين مكتبة جديد يستمر في نسيان مكان الكتب.

الحل: قراءة "الهالة" (Vibe)

كان لدى مؤلفي هذا البحث، رزا رحيمي أزغان وفريقه، فكرة مختلفة. لقد لاحظوا شيئاً رائعاً: حتى قبل أن يبدأ الروبوت في تعلم مهمة جديدة، فإن الطريقة التي "يشعر" بها تجاه المدخلات تكون فريدة بالفعل.

فكر في الأمر هكذا: إذا دخلت غرفة مليئة بالناس، يمكنك معرفة ما إذا كان هناك حفلة عيد ميلاد أو جنازة بمجرد استشعار "الهالة" العامة للغرفة، دون الحاجة إلى لافتة على الباب. دماغ الروبوت المجمد (تحديداً طبقة التضمين - embedding layer) يفعل الشيء نفسه. عندما يرى جملة عن الطبخ، تبدو الأرقام الداخلية مختلفة عما تبدو عليه عند رؤية جملة عن البرمجة.

لقد بنى الفريق موجهًا لا يحتاج للتدريب (Training-Free Router):

1. لا تعلم جديد: لم يدربوا حارس بوابة جديداً. بدلاً من ذلك، أخذوا "الهالات" (embeddings) من بيانات التدريب لكل مهمة وصنعوا خريطة إحصائية بسيطة (Gaussian Mixture Model).
2. التعرف الفوري: عندما تأتي مدخلات جديدة، يتحقق النظام ببساطة من "الهالة" مقابل الخريطة. "أوه، هذه تبدو كـ هالة الطبخ!" يقول النظام. ثم يختار "مهايئ الطبخ" تلقائياً.
3. لا نسيان: بما أن هذه الخريطة هي مجرد عملية حسابية ثابتة بناءً على الدماغ المجمد، فلا يمكن "مسحها" أو نسيانها بواسطة التدريب الجديد. إنها مثل لافتة دائمة على الجدار لا تتغير أبداً.

السر الخفي: المهايئات المدمجة (Compact Adapters)

قام الفريق أيضاً بجعل المهايئات نفسها أصغر وأذكى بكثير.

• LoRA القياسي: عادةً، يكون المهايئ عبارة عن ورقة كبيرة ومرنة يمكنها الانحناء في اتجاهات عديدة. هذا قوي ولكنه يشغل مساحة كبيرة ويمكن أن يصطدم بالمهايئات الأخرى بالخطأ.
• Latent-LoRA: قام المؤلفون بتقييد هذه المهايئات لتكون في "فضاء فرعي" (subspace) صغير ومحدد (ممر ضيق) يتم تعريفه بواسطة الأجزاء الأكثر أهمية في دماغ الروبوت الأصلي. استخدموا خدعة رياضية تسمى SVD (تحلل القيم المفردة) للعثور على هذا الممر.
• النتيجة: بدلاً من ورقة كبيرة ومتذبذبة، أصبح المهايئ الآن مصفوفة مربعة صغيرة وصلبة. إنه يشبه استبدال صندوق أدوات ضخم وفوضوي بمفتاح واحد مثالي الشكل. هذا يجعل المهايئات صغيرة جداً بحيث تشغل مساحة أقل بـ 16 إلى 80 مرة من السابق، اعتماداً على حجم النموذج.

كما أضافوا قاعدة خاصة تسمى التنظيم المتعامد (Orthogonal Regularization). تخيل شخصين يحاولان السير في ممر ضيق. إذا سارا في نفس الاتجاه تماماً، فسيصطدمان ببعضهما البعض. هذه القاعدة تجبر المهايئات الجديدة على السير في اتجاهات متعامدة تماماً (بزاوية 90 درجة) مع المهايئات القديمة. هذا يضمن أن تعلم مهمة جديدة لا يدفع المهمة القديمة بعيداً عن طريقها بالخطأ.

ماذا وجدوا؟

اختبر الفريق نظامهم، المسمى Latent-LoRA، على خمسة أحجام مختلفة من نماذج الذكاء الاصطناعي (من T5-Large إلى Llama-2-13B) وعلى معيارين رئيسيين (SuperNI و Long Sequence).

• نسيان شبه معدوم: في اختباراتهم، حقق Lat-LoRA "مقياس نسيان" (FM) قدره 0.01 تقريباً (مما يعني أنه لم ينسَ شيئاً تقريباً)، مقارنة بالطرق الأخرى التي نسيت بشكل ملحوظ. على سبيل المثال، في معيار SuperNI، بينما نسيت أفضل طريقة سابقة (GainLoRA) حوالي 2.14% من معرفتها، نسي Lat-LoRA 0.01% فقط.
• أداء أفضل: لم يتذكروا بشكل أفضل فحسب، بل قدموا أداءً أفضل بشكل عام. في معيار SuperNI، سجل Lat-LoRA متوسط أداء قدره 48.60%، متفوقاً على القائد السابق (GainLoRA) الذي سجل 46.77%.
• الكفاءة: لأن المهايئات صغيرة جداً والموجه لا يحتاج للتدريب، فإن النظام فعال للغاية. بالنسبة لنموذج كبير مثل Llama-2-13B، يضيف كل مهايئ جديد حوالي 82,000 معلمة (parameter) فقط، مقارنة بأكثر من 6.5 مليون للطرق القياسية. هذا تقليل في الحجم بمقدار 80 ضعفاً!

الحدود

يلاحظ المؤلفون بحذر أن هذا ليس سحراً.

• الخريطة تحتاج لمساحة: يعتمد النظام على أن تكون "هالات" المهام المختلفة متميزة بما يكفي للتمييز بينها. إذا كانت مهمتان متشابهتان جداً (مثل نوعين مختلفين من تحليل المشاعر)، فقد ترتبك الخريطة. ومع ذلك، في اختباراتهم، كانت المهام متميزة بما يكفي ليكون الموجه صحيحاً دائماً تقريباً.
• الرياضيات مكلفة: تتضمن عملية حساب الخريطة عمليات رياضية ثقيلة (عكس مصفوفة كبيرة) في كل مرة يتم فيها إضافة مهمة جديدة. بالنسبة للنماذج الضخمة جداً، قد يكون هذا بطيئاً، لكن الفريق وجد أن الأمر مستقر بما يكفي للعمل مع نماذج تصل إلى 13 مليار معلمة.
• النطاق: اختبروا النظام حتى 13 مليار معلمة. لا يعرفون بعد ما إذا كان هذا سيعمل مع النماذج الأكبر بكثير (مثل تلك التي تزيد عن 100 مليار معلمة)، لكن النتائج تشير إلى أنه قد يصبح أفضل مع زيادة حجم النماذج.

باختصار، يظهر Lat-LoRA أنك لست بحاجة إلى أمين مكتبة معقد وقابل للتدريب لإدارة ذاكرة الذكاء الاصطناعي. أحياناً، تحتاج فقط إلى الاستماع إلى "هالة" الغرفة وإعطاء الروبوت مفتاحاً صغيراً ومثالياً للوظيفة. إنها طريقة أبسط، أصغر، وأكثر فعالية للحفاظ على تعلم الذكاء الاصطناዊ للأبد دون أن يفقد عقله.