← أحدث الأبحاث
💻 computer science

Mechanistic Interpretability of Discrete Logarithm Grokking: How Representation Determines the Internal Algorithm

تُثبت هذه الورقة أن تمثيل المدخلات لمسألة اللوغاريتم المنفصل يحدد بشكل جوهري الخوارزمية الداخلية التي تكتشفها الشبكات العصبية، مما يكشف أن التوافق الجبري مع التحليل الحقيقي للمسألة يعد شرطًا مسبقًا للتعميم السريع (grokking)، وأن البنى الحسابية الغنية بالتفاعلات اللازمة تتشكل خلال مرحلة الحفظ قبل وقت طويل من تحسن الأداء.

المؤلفون الأصليون: David Vesterlund

نُشر 2026-10-05
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: David Vesterlund

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في الزوايا الهادئة لعلوم الحاسوب، يحاول الباحثون فهم كيف يفكر الذكاء الاصطناعي حقاً. لسنوات، عرفنا أن هذه الأنظمة يمكنها تعلم حل الألغاز المعقدة، لكن العملية غالباً ما تبدو كالسحر: قد يفشل النموذج مراراً وتكرال لفترة طويلة، ثم يحفظ الإجابات فجأة، وبعد توقف غريب، يبدأ في التعميم وحل مشكلات جديدة لم يرها من قبل. هذه الظاهرة، حيث يبدو أن الآلة قد "استوعبت" (grok) مفهوماً ما بعد فترة طويلة من مجرد حفظ البيانات، أصبحت لغزاً مركزياً. ولحل هذا الشفرة، غالباً ما يستخدم العلماء مشكلات رياضية ذات بنية واضحة ومخفية، تماماً مثل قفل له مفتاح محدد. إحدى هذه المشكلات هي اللوغاريتم المنفصل (discrete logarithm)، وهي مهمة تطلب من الحاسوب عكس عملية ضرب لإيجاد رقم مخفي. ورغم أن هذا يبدو مجرداً، إلا أنه نوع من الألغاز المنطقية التي تكشف عن الآلية الداخلية للشبكات العصبية. ومن خلال مراقبة كيفية تعلم الحاسوب لحل هذا اللغز تحديداً، يستطيع الباحثون رؤية الاستراتيجيات الداخلية التي ابتكرتها الآلة بالضبط، وما إذا كانت الطريقة التي نعرض بها المشكلة تغير الحل الذي تجده.

تأخذ دراسة جديدة أجراها ديفيد فيسترولوند هذا التحقيق خطوة أبعد عبر طرح سؤال بسيط ولكنه عميق: هل تغير الطريقة التي نقدم بها المعلومات للكمبيوتر طريقة تفكيره؟ لمعرفة ذلك، قام الباحث بتدريب نماذج الذكاء الاصطناعي لحل مشكلة اللوغاريتم المنفصل باستخدام طريقتين مختلفتين تماماً في عرض البيانات. في الطريقة الأولى، أُعطي النموذج الأرقام الخام، تماماً كما قد يراها الإنسان على صفحة، دون أي تلميحات خاصة حول البنية الأساسية. وفي الطريقة الثانية، قام الباحث بتفكيك المشكلة إلى أجزائها الرياضية الطبيعية قبل عرضها على النموذج، مما يعني عملياً تقديم "مجموعة أدوات" مرتبة مسبقاً للحاسوب. وكشفت النتائج أن هذين النهجين أدت بهما النماذج إلى اكتشاف خوارزميات داخلية مختلفة تماماً. فقد طور النموذج المدرب على البيانات الخام شبكة معقدة ومتشابكة من الروابط حيث كانت الأجزاء المختلفة من المشكلة متداخلة بعمق. وفي المقابل، طور النموذج الذي أُعطي بيانات منظمة ومرتبة مسبقاً تنظيماً نظيفاً ومنفصلاً حيث يتم التعامل مع الأجزاء المختلفة من المشكلة بشكل مستقل.

ربما كان الاكتشاف الأكثر إثارة للدهشة هو توقيت هذا التعلم. فقد وجد الباحثون أن البنية المعقدة والمتشابكة في نموذج البيانات الخام بدأت في التشكل قبل فترة طويلة من بدء النموذج في الحصول على الإجابات الصحيحة. فلآلاف الخطوات، كانت الروابط الداخلية للنموذج تعيد ترتيب نفسها في هذا النمط المعقد بينما ظلت درجات الاختبار الخاصة به عالقة عند مستوى منخفض. ولم يحدث ذلك إلا في وقت لاحق بكثير، بعد أن اكتمل بناء هذه البنية الداخلية، حيث بدأ النموذج فجأة في "الاستيعاب" وبدأ يحل المشكلة بشكل صحيح. وهذا يشير إلى أن الآلة كانت تبني الآليات اللازمة للفهم قبل وقت طويل من قدرتها على إظهار هذا الفهم. كما أظهرت الدراسة أن هذه البنية الداخلية ليست مجرد أثر جانبي بل هي ضرورية للمهمة؛ فعندما قام الباحثون بإزالة أجزاء محددة من الرياضيات الداخلية للنموذج جراحياً، فشل النظام تماماً، مما أثبت أن هذه الأنماط المحددة كانت هي المحرك الفعلي للحل.

كما صححت الدراسة سوء فهم من الأبحاث السابقة فيما يتعلق بكيفية اختبار هذه النماذج. تضمنت تقنية شائعة خلط تسميات البيانات لمعرفة ما إذا كان النموذج يعتمد على الترتيب المحدد للأرقام. وقد أثبت التحليل الجديد أن طريقة الخلط هذه كانت في الواقع خدعة؛ لأن النموذج يتعلم قاموسه الخاص من الرموز، فإن مجرد إعادة تسمية الأرقام لم يغير في الواقع البنية الرياضية الأساسية التي يراها. كان النموذج لا يزال يحل نفس المشكلة المهيكلة، ولكن بأسماء مختلفة. كان هذا الاكتشاف حاسماً لأنه مهد الطريق لاختبار أكثر صدقاً. ثم أنشأ الباحثون تسلسلاً هرمياً من الاختبارات الجديدة، بعضها حافظ على البنية الرياضية سليمة والبعض الآخر كسرها عمداً. ووجدوا أن النماذج لا يمكنها تعلم حل المشكلة بسرعة إلا إذا حافظ المدخل على "التقسيم" (partition) الرياضي الحقيقي للمشكلة. فإذا قام المدخل بخلط العلاقة بين أجزاء المعادلة، فإن النموذج سيحفظ بيانات التدريب بشكل مثالي، لكنه لن يتعلم أبداً حل مشكلات جديدة، حتى بعد التدريب لفترة طويلة جداً.

في النهاية، تشير هذه العمل إلى أن تمثيل المدخلات لا يسرع أو يبطئ التعلم فحسب، بل يحدد بشكل أساسي الخوارزمية التي يكتشفها الجهاز. فعندما تُقدم المشكلة بطريقة تحترم تقسيماتها الرياضية الطبيعية، يجد الجهاز مساراً بسيطاً وفعالاً للحل. وعندما تُقدم المشكلة بطريقة خام وغير مهيكلة، يُجبر الجهاز على بناء عالم داخلي أكثر تعقيداً لسد الفجوات، ويستغرق وقتاً أطول بكثير لإدراك كيفية استخدام هذا التعقيد. تؤكد الدراسة أنه بالنسبة لهذه الأنظمة الاصطناعية، فإن الطريق إلى الفهم ممهد ببنية المعلومات التي تُعطى لها. الأمر ليس مجرد مسألة كمية البيانات التي يراها، بل بكيفية ترتيب تلك البيانات. فالآلة لا تتعلم الإجابة فحسب، بل تتعلم طريقة تفكير محددة تمليها عليها بنية السؤال نفسه.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →