تخيل أنك تراقب طالباً يذاكر بجهد ليلة امتحان الرياضيات. في البداية، هو فقط يحفظ الإجابات لكل مسألة تدريبية. يحصل على درجة كاملة في ورقة التدريب، ولكن إذا سألته سؤالاً مختلفاً قليلاً، فلن يعرف ماذا يفعل. هذا هو "الحفظ". ثم، فجأة، بعد فترة طويلة من التحديق في نفس المسائل، يحدث شيء ما؛ "تستقر" المعلومة في ذهنه. يتوقف الطالب عن مجرد استرجاع الإجابات ويبدأ في فهم المنطق وراءها. يمكنه الآن حل مسائل جديدة تماماً لم يرها من قبل. هذا التحول المفاجئ من الحفظ الآلي إلى الفهم الحقيقي هو لغز حير العلماء الذين يدرسون الذكاء الاصطناعي.

في عالم الذكاء الاصطناعي، تسمى هذه الظاهرة "الاستيعاب العميق" (Grokking). تحدث عندما يتدرب نموذج حاسوبي على مجموعة بيانات، فيصبح بارعاً جداً في حفظ البيانات، لكنه يفشل في التعميم على بيانات جديدة لفترة طويلة جداً. ثم، وبشكل مفاجئ، يدرك النمط ويصبح عبقرياً. تساءل العلماء: لماذا يعلق النموذج في "وضع الحفظ" هذا لفترة طويلة؟ هل هو بطيء فحسب، أم أنه محاصر؟ للإجابة على ذلك، يستعير الباحثون أفكاراً من الفيزياء، وتحديداً دراسة "الزجاج". أنت تعلم كيف أن الزجاج هو سائل برد بسرعة كبيرة فاستقر في حالة صلبة غير منتظمة؟ إنه ليس صلباً تماماً، لكنه لا يستطيع التدفق أيضاً. يعتقد العلماء أن نماذج الذكاء الاصطناعي قد تعلق في حالة "زجاجية" مماثلة أثناء التدريب، حيث تكون متجمدة في مكانها، غير قادرة على العثور على الحل الأفضل رغم وجوده أمامها مباشرة.

هذه الورقة البحثية الجديدة تغوص بعمق في هذه الفكرة. أراد الباحثون، بقيادة لاي شون تشان وزملائه، إثبات أن "الاستيعاب العميق" هو بالفعل سلوك "زجاجي"، والأهم من ذلك، إيجاد طريقة لإخراج النموذج من تلك الحالة المتجمدة. لم يكتفوا بمراقبة النموذج فحسب؛ بل بنوا مجموعة أدوات خاصة لقياس كيفية تحرك "دماغ" النموذج الداخلي (المعلمات) بدقة. واكتشفوا أنه خلال مرحلة الحفظ الطويلة، تصبح تحركات النموذج بطيئة للغاية، ومتكررة، وعالقة في مسار ضيق، تماماً مثل شخص يحاول السير في غرفة مزدحمة ويُجبر على التزحلق في خط مستقيم دون أن يتمكن من الالتفات أبداً.

ولإصلاح ذلك، ابتكر الفريق خدعة ذكية تسمى "SAM-Swap". مستوحاة من كيفية مساعدة الفيزيائيين للمواد الزجاجية على الاسترخاء عبر تبديل مواقع الجسيمات، ابتكروا طريقة لتبديل قيم الأرقام الداخلية للنموذج عشوائياً. قد يبدو أن هذا سيفسد كل شيء، لكنه بدلاً من ذلك يعمل كـ "هزة لطيفة" توقظ النموذج. هذا التبدل البسيط يسمح للنموذج بالهروب من حالته المتجمدة والعثور على حل "التعميم" بشكل أسرع. تشير الورقة إلى أنه من خلال فهم هندسة كيفية تحرك هذه النماذج، يمكننا منعها من التعلق ومساعدتها على التعلم بشكل أسرع، محولين فترة الانتظار الطويلة والمحبطة إلى لحظة "إدراك" سريعة.

قصة الدماغ المتجمد

لغز توقف "الاستيعاب العميق"
تخيل أنك تدرب روبوتاً لحل لغز ما. تعرض عليه آلاف الأمثلة. في البالبداية، يكون الروبوت نجماً في حفظ الإجابات الدقيقة. يحصل على 100% في اختبارك التجريبي. ولكن عندما تعطيه لغزاً جديداً لم يره من قبل، فإنه يفشل فشلاً ذريعاً. يستمر في الفشل لفترة طويلة جداً. ثم، فجأة، بعد آلاف المحاولات الإضافية، يفهم القاعدة ويحصل على 100% في الألغاز الجديدة أيضاً. هذا هو "الاستيعاب العميق".

لفترة من الوقت، اعتقد العلماء أن هذا مجرد سمة غريبة لكيفية تعلم الروبوت. لكن نظرية جديدة تقترح أن الروبوت يصبح "متجمداً". فكر في الأمر كأنه نهر تجمد في الشتاء. الماء (عملية التعلم) يتوقف عن التدفق. الروبوت عالق في حالة "زجاجية". المشكلة ليست في عدم وجود الحل؛ بل في أن الروبوت لا يستطيع تحريك أجزائه الداخلية بما يكفي للعثور عليه.

الأدوات الثلاثة لقياس التجمد
لإثبات ذلك، بنى المؤلفون مجموعة أدوات مكونة من ثلاثة أجزاء لمراقبة دماغ الروبوت أثناء العمل. أرادوا معرفة: هل يتحرك الروبوت؟ هل هو عالق في حلقة مفرغة؟ وهل يستكشف مسارات جديدة؟

1. حركية المعلمات (PM): مقياس "حجم الخطوة".
   تخيل أن الروبوت يمشي. في البداية، يتخذ خطوات كبيرة وواثقة بينما يتعلم. ولكن بمجرد وصوله إلى مرحلة الحفظ، وجد المؤلفون أن خطوات الروبوت تصبح صغيرة جداً، تكاد لا تُرى. الأمر يشبه وقوف الروبوت على قدم واحدة، بالكاد يهتز. تظهر الورقة أن المسافة التي تتحرك بها أرقام الروبوت الداخلية تنخفض بمبالغ هائلة (من حوالي 1 إلى 0.0001). إنه عالق جسدياً.

2. ارتباط النسخ (RC): "اختبار التوأم".
   هذا هو الجزء الأكثر متعة. أنشأ الباحثون "توائم" للروبوت. بدأوا روبوتين متطابقين من نفس النقطة تماماً وأعطوهما دفعات عشوائية صغيرة. لو كان الروبوتان حراً في الاستكشاف، لذهبا بسرعة في اتجاهات مختلفة. لكن خلال مرحلة الحفظ، ظل التوأمان ملتصقين ببعضهما. حتى مع الدفعات، اتبيا المسار نفسه تماماً. هذا "الاعتماد على التاريخ" يعني أن الروبوت عالق جداً في حالته الحالية لدرجة أنه لا يستطيع حتى تخيل طريقة مختلفة لحل المشكلة. إنه مثل شخصين يحاولان السير في نفق ضيق؛ مهما حاولا التمايل، فإنهما مجبران على البقاء في نفس الخط.

3. البعد الكسوري (FD): كاشف "التمايل".
   يقيس هذا شكل مسار الروبوت. إذا كان الروبوت يستكشف، فسيكون مساره فوضوياً، متعرجاً ومليئاً بالمنعطفات (بُعد عالٍ). ولكن خلال فترة توقف الاستيعاب العميق، يصبح المسار مستقيماً ومملاً. وجد المؤلفون أن "البعد الكسوري" انخفض إلى ما يقرب من 1. هذا يعني أن الروبوت يتحرك في مسار يشبه "القناة" المستقيمة، غير قادر على الانعطاف يساراً أو يميناً. إنه محاصر في ممر ضيق.

تأكيد نظرية "الزجاج"
تشير الورقة إلى أن هذا المزيج — خطوات ضئيلة، توائم لا تستطيع الانفصال، ومسار مستقيم — هو العلامة المميزة للنظام "الزجاجي". الروبوت ليس بطيئاً فحسب؛ بل هو متوقف حركياً. إنه عالق في حالة لا يستطيع فيها الهروب، رغم أن حل "التعميم" (المخرج) موجود هناك تماماً. يجادل المؤلفون بأن عملية التدريب تبرد النظام بسرعة كبيرة، مما يحبسه في هذه الحالة المتجمدة قبل أن تتاح له الفرصة للاسترخاء في الحل الأفضل.

خدعة "التبديل" السحرية
إذاً، كيف تفك تجميد روبوت زجاجي؟ في الفيزياء، يستخدم العلماء طريقة تسمى "مونت كارلو للتبديل" (Swap Monte Carlo) لمساعدة الزجاج على الاسترخاء. يتخيلون تبديل مواقع الجسيمات لمساعدتها في العثور على ترتيب أفضل. طبق المؤلفون ذلك على نموذج الذكاء الاصطناعي.

ابتكروا أداة جديدة تسمى SAM-Swap. إليكم كيف تعمل:

• يراقبون مسار الروبوت.
• عندما يرون المسار يصبح مستقيماً جداً (عندما ينخفض البعد الكسوري إلى أقل من 1.1)، يعرفون أن الروبوت عالق.
• ثم يقومون بتبديل قيم الأرقام الداخلية للروبوت عشوائياً داخل نفس الطبقة.

قد تعتقد: "انتظر، إذا بدلت الأرقام، ألن تدمر ما تعلمه الروبوت؟" من المثير للدهشة أن الإجابة هي لا. وجد المؤلفون أن هذا التبدل لا يكسر النموذج؛ بل يعمل كـ "هزة لطيفة". إنه يكسر "القناة" التي علق فيها الروبوت ويسمح له باستكشاف مسارات جديدة.

النتائج: لحظة "إدراك" أسرع!
كانت النتائج دراماتيكية. في التدريب القياسي (باستخدام طريقة تسمى AdamW)، استغرق الروبوت حوالي 3,000 حقبة (دورات تدريبية) ليتعمق أخيراً في الفهم. ولكن باستخدام خدعة SAM-Swap، حقق الروبوت الاستيعاب في 650 حقبة فقط. هذا تسريع هائل!

قارنت الورقة أيضاً بين هذه الطريقة وطرق أخرى، مثل إضافة ضوضاء عشوائية (هز الروبوت بالكهرباء الساكنة). وبينما ساعدت إضافة الضوضاء قليلاً، كان "التبديل" المنظم أكثر فعالية. النتيجة الرئيسية هي أنه للهروب من الحالة الزجاجية، يحتاج الروبوت إلى القيام بشيء يشبه "الانتشار" (Diffusion) — أي التحرك عشوائياً والاستكشاف، بدلاً من مجرد التزحلق في خط مستقيم.

ماذا يعني هذا؟
هذه الورقة لا تقول فقط إن "الاستيعاب العميق أمر غريب". بل تعطينا طريقة لقياس لماذا يحدث، وأداة لإصلاحه. وهي تشير إلى أن توقيت تعلم النموذج لا يتعلق فقط بـ "رياضيات" المشكلة؛ بل يتعلق بـ الرحلة التي يخوضها النموذج. إذا أصبحت الرحلة مستقيمة وضيقة جداً، سيعلق النموذج. ومن خلال إدخال القليل من الفوضى المنظمة (التبديل)، يمكننا مساعدة النموذج على التحرر والتعلم بشكل أسرع.

يلاحظ المؤلفون بحذر أن هذا تم اختباره على مهمة رياضية محددة (الحساب النمطي) ونوع معين من النماذج. ويقترحون أنه بينما يعمل هذا جيداً هنا، نحتاج إلى معرفة ما إذا كان سيعمل مع النماذج الأكبر والأكثر تعقيداً مثل تلك المستخدمة في اللغة أو الرؤية. لكن الفكرة الأساسية — وهي أنه يمكننا "النفاذ" عبر مشهد الخسارة من خلال فهم هندسة الحركة — هي طريقة جديدة قوية للتفكير في كيفية تعلم الذكاء الاصطناعي.

باختصار، تخبرنا الورقة أننا في بعض الأحيان، لكي نتعلم بشكل أسرع، لا نحتاج إلى الضغط بقوة أكبر. نحن فقط بحاجة إلى هز الأمور قليلاً والسماح للنموذج بسلوك مسار مختلف.