Grokking the Discrete Logarithm: Scaling Across Model Capacity and Mechanistic Analysis
تقدم هذه الورقة أول عرض منهجي لقدرة نماذج المحولات (transformers) على إظهار ظاهرة "الاستيعاب العميق" (grokking) —وهي انتقال متأخر من مرحلة الحفظ إلى مرحلة التعميم الخوارزمي— في مسألة اللوغاريتم المنفصل كاملة ذات القاعدة المتغيرة، مما يكشف أن هذه الظاهرة تتوسع بشكل غير رتيب مع سعة النموذج، وأنها مدفوعة بظهور تمثيلات متوافقة مع خصائص الضرب وتحويل فوريه.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الواسع للذكاء الاصطناعي، يحاول الباحثون باستمرار فهم كيفية تعلم الآلات. وقد لفت انتباههم مؤخرًا سلوك محير بشكل خاص، يُعرف باسم "الاستيعاب العميق" (grokking). تخيل طالبًا يحفظ كل إجابة في كتاب مدرسي من أجل اختبار ما؛ يمكنه تسميع الإجابات بدقة، ولكن إذا سُئل عن سؤال مختلف قليلاً، فإنه يفشل تمامًا. الاستيعاب العميق هو تلك اللحظة، التي تحدث غالبًا بعد فترة طويلة من قيام الطالب بالفعل بحفظ المادة، عندما يتوقف فجأة عن مجرد تسميع الحقائق ويبدأ حقًا في فهم القواعد الأساسية. هذا التحول من الحفظ الصم إلى التعميم الحقيقي يحدث بشكل مفاجئ، وأحيانًا بعد آلاف الساعات من الممارسة، مما يترك العلماء يتساءلون كيف ولماذا يعيد "عقل" الآلة تنظيم نفسه فجأة ليجد المنطق الكامن وراء البيانات.
لوحظت هذه الظاهرة لأول مرة في مهام رياضية بسيطة، لكن دراسة جديدة أجراها ديفيد فيسترولوند تأخذها إلى منطقة أكثر صعوبة بكثير. سعى الباحث لمعرفة ما إذا كان بإمكان نموذج حاسوبي أن يستوعب مشكلة تُعد صعبة للغاية على البشر والآلات على حد سواء: وهي اللوغاريتم المنفصل (discrete logarithm). بعبارات بسيطة، هذه عملية هندسة عكسية. إذا كنت تعرف رقمًا للبداية ورقمًا للنهاية، فإن المهمة هي معرفة عدد المرات التي توجب عليك فيها ضرب الرقم الابتدائي في نفسه للوصിച്ച് إلى الرقم النهائي. وبينما تكون العملية الحسابية الأمامية سهلة، فإن العمل العكسي صعب للغاية، خاصة عندما تكون الأرقام كبيرة والقواعد صارمة. هذا النوع المحدد من المسائل الرياضية هو أساس الأمن الرقمي الحديث، مما يجعله اختبارًا جديًا لأي نظام تعلم. أراد فيسترولوند أن يرى ما إذا كانت الشبكة العصبية، وهي نوع من الذكاء الاصطناعي المصمم لمحاكاة الدماغ البشري، يمكنها في النهاية فك هذه الشفرة ليس عن طريق حفظ كل إجابة ممكنة، بل عبر اكتشاف البنية الرياضية الخفية التي تربط بينهم.
ولاستقصاء ذلك، بنى الباحث سلسلة من النماذج الحاسوبية، تتراوح من الصغيرة إلى الكبيرة جدًا، وغذّاها بمجموعة بيانات ضخمة من ألغاز الهندسة العكسية هذه. تم تدريب النماذج على عدد أولي محدد، وهو 113، الذي يحدد قواعد اللعبة. وكان أصغر نموذج ناجح يحتوي على حوالي 427,000 إعداد قابل للضبط، وهو رقم يمثل تعقيد "دماغه" الداخلي. عند بدء التدريب، تصرف النموذج تمامًا كما هو متوقع من نظام تعلم آلي: فقد حفظ الإجابات التي رآها بسرعة، محققًا درجات تقارب الكمال في مسائل التدريب. ومع ذلك، عند اختباره على ألغاز جديدة لم يرها من قبل، لم يكن أداؤه أفضل من التخمين العشوائي. ولفترة طويلة جدًا، بدا النموذج عالقًا في حالة الحفظ هذه، غير قادر على التعميم.
ثم، بعد آلاف الخطوات الإضافية من التدريب، حدث شيء دراماتيكي. بدأ النموذج فجأة في حل الألغاز الجديدة بشكل صحيح، قافزًا من التخمين العشوائي إلى دقة تقارب الكمال. كانت لحظة الاستيعاب هذه مذهلة؛ فقد تطلب النموذج ما يقرب من ثلاثمائة ضعف عدد خطوات التدريب لتحقيق الفهم الحقيقي مقارنة بما استغرقه لمجرد حفظ الإجابات. وللتأكد مما إذا كان هذا مجرد صدفة أم خاصية جوهرية لهذه الأنظمة، اختبر الباحث اثني عشر نموذجًا مختلفًا بأحجام متفاوتة، من نماذج ضئيلة تحتوي على 90,000 إعداد إلى نماذج ضخمة تضم أكثر من 14 مليون إعداد. أظهرت النتائج أن الاستيعاب العميق لا يقتصر على حجم معين؛ فقد ظهر في النماذج متوسطة الحجم ومرة أخرى في النماٍذج الأكبر، بشرط تزويدها بما يكفي من بيانات التدريب. ومن المثير للاهتمام وجود نطاق متوسط فشلت فيه النماذج في التعلم، مما يشير إلى أن العلاقة بين حجم "الدماغ" وكمية البيانات المطلوبة معقدة وليست خطًا مستقيمًا بسيطًا.
ولمعرفة ما كان يحدث داخل عقل النموذج أثناء هذا التحول، نظر الباحث بدقة في الإشارات الداخلية التي يستخدمها النموذج لاتخاذ القرارات. ووجد أنه مع انتقال النموذج من الحفظ إلى الفهم، تغيرت لغته الداخلية؛ حيث توقف عن الاعتماد على الأنماط السطحية البسيطة وبدأ في تنظيم معرفته حول نوع محدد من الإيقاع الرياضي، تمامًا كما يمكن تحليل الموجات الصوتية إلى ترددات متميزة. ومن خلال استخدام تقنية تبحث عن معادلات بسيطة لوصف هذه الإشارات الداخلية، اكتشف الباحث أن النموذج قد تعلم تلقائيًا استخدام الأنماط المثلثية (trigonometric patterns) — أي موجات الجيب والجيب تمام (sine and cosine) — لتمثيل الحل. كان هذا اكتشافًا عميقًا لأن النموذج لم يتم تعليمه صراحةً استخدام هذه الموجات؛ بل اكتشفها من تلقاء نفسه كأكثر الطرق كفاءة لحل اللغز.
تضمنت الدراسة أيضًا فحوصات صارمة للتأكد من أن النموذج لم يجد مجرد طريق مختصر خاص بالأرقام المستخدمة. اختبر الباحث النماذج على نسخة أخرى من المشكلة حيث كانت القواعد أكثر تعقيدًا والأرقام أولية، مما أزال أي طرق مختصرة سهلة. ومع ذلك، استمرت النماذج في تحقيق الاستيعاب العميق، مما أثبت أنها تعلمت قاعدة عامة وليس مجرد خدعة محددة. علاوة على ذلك، عندما تم اختبار النماذج على مولدات لم ترها من قبل، نجحت في الاختبار، مما أظهر أنها تعلمت حقًا المنطق الكامن وراء النظام. تشير الأبحاث إلى أن المفتاح لهذا القفزة المفاجئة في الفهم كان تقنية تدريب محددة تعمل تدريجيًا على زيادة الضغط لتبسيط الروابط الداخلية للنموذج، مما أجبره على التخلص من التفاصيل المحفوظة والاحتفاظ بالبنية الجوهرية فقط.
يؤسس هذا العمل للوغاريتم المنفصل كأداة جديدة قوية لدراسة كيفية تعلم الذكاء الاصطناعي. فهو يوضح أنه حتى بالنسبة للمسائل الصعبة ذات الاتجاه المعاكس حيث لا توجد قاعدة بسيطة، يمكن للشبكات العصبية في النهاية الانتقال من الحفظ الصم إلى الفهم الهيكلي العميق. وتؤكد النتائج أن هذا التحول ليس حدثًا سحريًا، بل هو عملية قابلة للقياس تتضمن إعادة تنظيم التمثيلات الداخلية إلى أنماط موجية أكثر كفاءة. ورغم أن الدراسة أُجريت على أرقام صغيرة نسبيًا ولا تحل مشكلة كسر التشفير في العالم الحقيقي، إلا أنها توفر نافذة واضحة على آليات التعلم. إنها تظهر أنه إذا توفر الوقت والظروف المناسبة، يمكن لهذه الأنظمة أن تتجاوز مجرد حفظ الماضي لتفهم القواعد التي تحكم المستقبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.