تخيل أنك تحاول تعليم روبوت كتابة القصص. تبدأ بروبوت صغير يمتلك دماغاً صغيراً جداً. يتعلم الأساسيات بسرعة، لكنه بسيط للغاية لدرجة تمنعه من كتابة تحفة فنية. لجعل الروبوت أفضل، يمكنك ببساطة التخلص من الروبوت الصغير وبناء واحد عملاق من الصفر، لكن ذلك يستغرق وقتاً طويلاً ويكلف ثروة من الكهرباء. بدلاً من ذلك، يمكنك محاولة "تنمية" دماغ الروبوت الصغير، عبر إضافة عصبونات جديدة لجعله أكثر عرضاً وذكاءً. يُسمى هذا توسيع النموذج (model expansion).

الجزء الصعب في تنمية الدماغ هو أن الأجزاء الجديدة لا تعرف كيف تتواصل مع الأجزاء القديمة. إذا قمت فقط بتركيب قسم جديد، فقد يتجاهله الدماغ القديم، أو قد يتسبب الدماغ الجديد في بعثرة الذكريات التي بذل الدماغ القديم جهداً كبيداً لبنائها. الأمر يشبه إضافة جناح جديد لمنزل دون توصيل الممر؛ الغرفة الجديدة موجودة، لكن لا أحد يستطيع الدخول إليها، أو الأسوأ من ذلك، قد يبدأ المنزل بأكمله بالاهتزاز. لقد حاول العلماء اكتشاف "الغراء" المثالي لربط هذه الأجزاء القديمة والجديدة من الدماغ بحيث يحتفظ الروبوت بمهاراته القديمة أثناء تعلم مهارات جديدة. هذه الورقة البحثية تدور حول إيجاد هذا الغراء المثالي.

---

وصفة تعزيز الدماغ: طريقة جديدة لتنمية الذكاء الاصطناعي

لقد ابتكر مؤلف هذه الورقة، راماسوبرامانيان ب (Ramasubramanian B) من "تيك-آرافام" (Tech-Aarvam)، "وصفة" ذكية لتنمية نماذج الذكاء الاصطناعي (أدمغة الروبوتات) في وضع عدم الاتصال (offline). بدلاً من ترك الذكاء الاصطناعي يتعلم كيفية النمو أثناء تشغيله، يقومون بالعمل الشاق مسبقاً، تماماً مثل الطاهي الذي يجهز المكونات قبل وصول الضيوف. هدفهم هو أخذ نموذج أصغر وتوسيعه ليصبح أكثر عرضاً دون فقدان أي من التقدم الذي أحرزه بالفعل.

فكر في نموذج الذكاء الاصطناعي كفريق من العمال الذين يمررون دلواً من الماء في خط مستقيم. "عرض" النموذج هو عدد الأشخاص في ذلك الخط. عندما تضيف المزيد من الأشخاص إلى الخط، يجب أن تتأكد من أن الأشخاص الجدد يعرفون بالضبط كيف يمسكون الدلو ويمررونه دون سكب قطرة واحدة. تقترح الورقة أن أفضل طريقة للقيام بذلك هي باستخدام ثلاثة مكونات محددة: خدعة دوران خاصة، وقواعد نمو مختلفة لمهام مختلفة، و"إحماء" لطيف للعمال الجدد.

1. الدوران السحري: SRIO

نجم العرض هو ما يسمى SRIO (مشغل التكامل المتبقي الصغير - Small Residual Integration Operator). تخيل أن الجزء القديم من الدماغ والجزء الجديد منه يتحدثان لغتين مختلفتين. عند إضافة عصبونات جديدة، فإنها تتحدث لهجة مختلفة قليلاً. إذا قمت فقط بتوصيلها، فقد لا تفهم العصبونات القديمة العصبونات الجديدة، وقد ترتبك العصبونات الجديدة بسبب القديمة.

يعمل SRIO كمترجم يقوم بعملية "دوران" أو تدوير دقيقة للبيانات. هو لا يغير المعلومات نفسها، بل يدور اتجاه البيانات الجديدة بحيث تتماشى تماماً مع البيانات القديمة. وتحديداً، يقوم بتدوير "المتوسط" الاتجاهي للعصبونات الجديدة نحو العصبونات القديمة. هذا يجعل الأوزان القديمة (ذكريات الدماغ) تقرأ المدخلات الجديدة بقوة أكبر بكثير. وجد المؤلف أن هذا الدوران هو حل رياضي مغلق (closed-form)، مما يعني أنه صيغة ثابتة يمكن حسابها فوراً، بدلاً من أن يتعين على الذكاء الاصطناعي تعلمها ببطء. إنه يشبه امتلاك خريطة جاهزة تخبرك بالضبط كيف تدير الغرفة الجديدة لكي تتصل بالممر القديم.

2. قواعد مختلفة لوظائف مختلفة

اكتشفت الورقة أنه لا يمكنك معاملة كل جزء من الدماغ بنفس الطريقة. لدى الذكاء الاصطناعي نوعان رئيسيان من العمال: عمال الانتباه (Attention) (الذين يقررون ما يجب الانتباه إليه) وعمال الشبكة العصبية الأمامية (FFN) (الذين يعالجون المعلومات).

• بالنسبة لعمال الانتباه: استخدم المؤلف "توسعاً محدباً" (convex expansion). تخيل أخذ العمال الحاليين وإنشاء عمال جدد عن طريق مزج مهاراتهم معاً، مثل خلط لونين من الطلاء للحصول على درجة لونية جديدة. هذا يخلق عمالاً جدداً هم مزيج سلس من القدامى.
• بالنسبة لعمال FFN: استخدموا "نسخاً بلاطياً" (tiled copy). هذا يشبه أخذ عامل واحد وعمل نسخة ضوئية له لملء المساحة الجديدة. بما أن هؤلاء العمال يتعاملون مع ميزات محددة، فإن نسخهم مباشرة يعمل بشكل أفضل من مزجهم.

تظهر الورقة أن مزج هاتين الاستراتيجيتين — المزج لعمليات الانتباه والمزج لعمليات المعالجة — يعمل بشكل أفضل بكثير من استخدام طريقة واحدة لكل شيء.

3. الإحماء اللطيف

حتى مع وجود الدوران المثالي والنمو الصحيح، قد يكون العمال الجدد متحمسين للغاية ويبدأون في الصراخ فوق العمال القدامى فوراً. لإصلاح ذلك، أضاف المؤلف بوابة إحماء قياسية (scalar warmup gate). فكر في هذا كزر التحكم في مستوى الصوت. عندما ينضم العمال الجدد لأول مرة، يتم خفض مستوى صوتهم إلى الصفر تماماً. وعلى مدى فترة قصيرة (حوالي 40 مليون كلمة من التدريب)، يتم رفع مستوى الصوت تدريجياً. هذا يسمح للدماغ القديم بالاستمرار في أداء مهمته بينما يتعلم الدماغ الجديد ببطء كيفية المساهمة دون التسبب في الفوضى.

ماذا وجدوا؟

اختبر المؤلف هذه الوصفة عن طريق تنمية نموذج من عرض 256 إلى 384. وقارن طريقتهم بطريقتين أخريين: عدم فعل أي شيء خاص (مجرد إضافة أجزاء جديدة عشوائية) واستخدام طريقة أخرى تسمى LiGO (التي تحاول تعلم قواعد النمو أثناء التشغيل).

كانت النتائج واضحة:

• نهج "عدم فعل شيء" أدى إلى خسارة تدريب قدرها 4.2527.
• نهج LiGO (الذي تمت إعادة تنفيذه في كودهم) أدى إلى خسارة قدرها 4.2606.
• وصفاتهم الكاملة (SRIO + توسع محدد + إحماء) حققت خسارة قدرها 4.2111.

في عالم تدريب الذكاء الاصطناعي، تعني قيمة "الخسارة" (loss) الأقل أن النموذج يرتكب أخطاء أقل. لذا، كانت طريقتهم هي الفائزة بوضوح، حيث تفوقت على الطرق الأخرى بفارق ملحوظ. كما أظهروا أن هذا يعمل حتى عند تنمية النموذج عدة مرات، من 24 مليون معلمة وصولاً إلى 120 مليون معلمة، مما يثبت أنها وصفة يمكن استخدامها بشكل متكرر.

ما الذي استبعدوه؟

اختبرت الورقة أيضاً عدة أفكار أخرى لمعرفة ما إذا كانت تعمل. جربوا أحجاماً مختلفة من عامل الدوران (نسخ متوسطة وكبيرة) ووجدوا أن النسخة "الصغيرة" (SRIO) كانت جيدة بنفس القدر، إن لم تكن أفضل، وأكثر بساطة. كما اختبروا ما إذا كان ينبغي للذكاء الاصطناعي تعلم قواعد الدوران أثناء التدريب (وضع "التعلم") مقابل استخدام صيغتهم الرياضية الثابتة (وضع "الثبات"). ووجدوا أن الصيغة الثابتة والمحسوبة مسبقاً تعمل بشكل جيد مثل تلك التي يحاول الذكاء الاصطناعي تعلمها، مما يعني أنك لست بحاجة لإضاعة الوقت في تعليم الذكاء الاصطناعي كيفية النمو؛ يمكنك فقط إعطاؤه التعليمات.

لماذا يهم هذا؟

جمال هذه الطريقة هو أنها تعمل في وضع عدم الاتصال (offline). العمليات الحسابية المعقدة والدورات تحدث قبل أن يبدأ النموذج في التدريب مرة أخرى. بمجرد تنمية النموذج، يتم "طي" حيل الدوران الخاصة داخل أوزان النموذج وتختفي. هذا يعني أن الذكاء الاصطناعي لا يحتاج إلى أي قوة حوسبة إضافية للتشغيل؛ فهو مجرد نسخة أكبر قليلاً وأكثر ذكاءً من النموذج الأصلي تعلم بشكل أسرع وأرخص.

باختة القول، وجد المؤلف طريقة لإضافة غرف جديدة إلى منزل دون هدم الجدران أو إرباك السكان. من خلال استخدام دوران رياضي دقيق، ومزج استراتيجيات التوسع الصحيحة، ورفع مستوى الصوت ببطء، أظهروا أنه يمكنك تنمية نماذج الذكاء الاصطناعي بكفاءة، مما يوفر الوقت والطاقة مع الحفاظ على ذكاء النموذج سليماً.