Behaviour Is an Incomplete Measure of Reasoning Development: Cross-surface pre-arrival accessibility and the limits of developmental inference in a recurrent-depth reasoner
تُثبت هذه الورقة أنه في المستنتج ذي العمق المتكرر، يمكن لمجسات الحالة الخفية الداخلية اكتشاف قدرات الاستنتاج قبل وقت طويل من ظهورها في السلوك الملحوظ، مما يكشف أن العتبات السلوكية وإمكانية الوصول إلى فك التشفير هما مقاييس متميزة وغير مكتملة للجدول الزمني الفعلي لتطور الاستنتاج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في مجال الذكاء الاصطناعي سريع التطور، يواجه الباحثون غالبًا سؤالًا جوهريًا: متى يتعلم الآلة حقًا؟ لسنوات، كان الإجابة المعيارية هي السلوكية؛ فإذا استطاع برنامج حاسوبي الإجابة بشكل صحيح على سؤال لم يره من قبل، نفترض أنه اكتسب مهارة الاستنتاج اللازمة للقيام بذلك. نحن ننظر إلى المخرج، الإجابة النهائية، ونعلن عن وجود القدرة. ومع ذلك، فإن هذا النهج يعامل عقل الآلة كصندوق أسود، مفترضًا أنه في اللحظة التي تظهر فيها الإجابة الصحيحة، لا بد أن عملية التفكير في الوصول إليها قد حدثت للتو. تتحدى هذه الورقة هذا الافتراض من خلال النظر داخل الآلة بينما لا تزال في مرحلة التعلم، متسائلة عما إذا كانت القدرة على حل مشكلة ما موجودة داخليًا قبل وقت طويل من قدرة الآلة على إظهارها للخارج. الباحثون لا يراقبون فقط ما تفعله الآلة؛ بل يقيسون ما تعرفه الآلة، حتى عندما لا تستطيع إثبات ذلك بعد.
لفهم المخاطر، تخيل محاولة تعلم لغة جديدة. قد تقضي شهورًا في حفظ المفردات وقواعد القواعد، ومع ذلك تفشل في إجراء محادثة. قد يستنتج معلم يراقب كلامك فقط أنك لم تتعلم شيئًا. ولكن إذا استطعت إلقاء نظرة خاطفة على دماغك، فقد تجد أن المسارات العصبية للغة بدأت تتشكل بالفعل، بانتظار شرارة نهائية لربطها. هذه هي الفجوة التي بحثها الباحثون. لقد بنوا نموذجًا حاسوبيًا متخصصًا مصممًا لحل الألغاز المنطقية التي تتضمن سلاسل من العلاقات، مثل معرفة من يرتبط بمن في شجرة العائلة. قاموا بتدريب هذا النموذج باستخدام طريقتين مختلفتين: إحداهما حيث وُصفت العلاقات باستخدام رموز مجردة وغير ذات معنى، والأخرى حيث وُصفت نفس العلاقات باستخدام جمل تشبه اللغة الإنجليزية. كان الهدف هو معرفة ما إذا كانت طريقة تقديم المعلومات تغير سرعة تعلم النموذج، وما إذا كانت الحالة الداخلية للنموذج تكشف عن معرفة لا تظهر في سلوكه.
كانت النتائج مذهلة ومناقضة للحدس. عندما تم تدريب النموذج على الرموز المجردة، أتقن الألغاز المنطقية المكونة من ثلاث خطوات في سبعين دورة تدريبية فقط. وعندما تم تدريب نفس النموذج، بنفس خطة التدريب تمامًا، على الجمل الشبيهة بالإنجليزية، استغرق الأمر أكثر من ثلاثة عشر ألف دورة للوصول إلى نفس المستوى من الكفاءة. هذا فرق يزيد عن مائة وثمانين مرة. ومع ذلك، بمجرد أن تمكن النموذج المدرب على الجمل من حل اللغز المكون من ثلاث خطوات، حل النسخة المكونة من أربع خطوات في ثماني دورات فقط. يشير هذا إلى أن النموذج قضى آلاف الدورات في العمل بجهد عبر مرحلة صعبة، دون إحراز أي تقدم ظاهري، قبل أن يفتح فجأة القدرة على حل المشكلات الأكثر صعوبة. لو كان الباحث قد راقب الإجابات النهائية فقط، لرأى آلة فشلت لفترة طويلة ثم نجحت فجأة، مما أدى إلى تفويت رحلة التطوير الداخلي الخفية بأكملها التي حدثت أثناء الصراع.
لمعرفة ما كان يحدث خلال تلك الدورات الطويلة والصعبة، نظر الباحثون داخل الحالات الخفية للنموذج — التمثيلات الداخلية للبيانات التي تستخدمها الآلة للتفكير. استخدموا أداة بسيطة، وهي "المسبار الخطي" (linear probe)، والذي يعمل كجهاز فك تشفير، للتحقق مما إذا كانت الإجابة الصحيحة موجودة بالفعل في عقل الآلة قبل أن تقوم الآلة بإخراجها فعليًا. على السطح المدرب على الجمل، استطاع هذا المسبار اكتشاف هوية الإجابة المستقبلية بإشارة صغيرة ولكن موثوقة قبل وقت طويل من قدرة النموذج على الإجابة بشكل صحيح بمفرده. وجد المسبار أن المعلومات المتعلقة بالإجابة كانت متاحة داخليًا، رغم أن النموذج لم يكن قادرًا على التعبير عنها بعد. لم يكن هذا الوصول الداخلي للمعلومات محض صدفة؛ فعندما عاد الباحثون إلى الرموز المجردة، وجدوا نفس النمط من الوصول المبكر في نقاط محددة من معالجة الآلة. كانت الآلة تحتفظ بمعلومات حول الإجابة داخليًا، بانتظار اللحظة المناسبة لإطلاقها.
ومع ذلك، كشفت الدراسة أيضًا عن قصور كبير في كيفية محاولتنا قياس هذا النوع من التعلم. أراد الباحثون تتبع كيفية نمو هذه المعرفة الداخلية وتطورها بمرور الوقت بدقة، ورسم خريطة لمنحنى تعلم الآلة. لكنهم أدركوا بسرعة أن هذا القياس المحدد مستحيل التنفيذ بدقة. كانت المشكلة تكمن في أن مجموعة الأسئلة التي يتم اختبار الآلة عليها كانت تتغير باستمرار. فبينما تتعلم الآلة، تصبح أفضل في الإجابة على أسئلة معينة، ويتم استبعاد تلك الأسئلة من مجموعة الاختبار. وهذا يعني أن فعل قياس تقدم الآلة نفسه كان يغير مجتمع الأسئلة التي يتم قياسها. كان الأمر يشبه محاولة قياس مدى تحسن عداء من خلال توقيت أدائه فقط على المسارات التي لم ينهِها بعد؛ فبينما يصبح أسرع، تتغير المسارات، مما يجعل من المستح المستحيل مقارنة سرعته بشكل عادل بمرور الوقت. أثبت الباحثون أن هذا النوع المحدد من القياس معيب جوهريًا في هذا السياق، ليس لأن الآلة لم تتعلم، بل لأن طريقة تتبعها كانت معطلة.
تخلص الورقة إلى أنه لا يمكننا الاعتماد على طريقة واحدة لمعرفة ما تعلمته الآلة. النجاح السلوكي، أي القدرة على إعطاء الإجابة الصحيحة، هو مجرد حقيقة قابلة للملاحظة. أما الوصول الداخلي، أي القدرة على اكتشاف الإجابة داخل الآلة، فهو أمر آخر. وعملية التطوير الفعلية بمرور الوقت هي أمر ثالث، والذي غالبًا لا يمكن قياسه مباشرة إذا كان أسلوب القياس نفسه يغير الظروف. وجد الباحثون أن الآلة يمكن أن تمتلك قدرة داخليًا قبل وقت طويل من إظهارها، وأن المسار نحو تلك القدرة يمكن أن يبدو مختلفًا تمامًا اعتمادًا على كيفية تقديم المشكلة. والأهم من ذلك، أظهروا أن مجرد مراقبة الآلة، مهما كانت دقيقة، ليست كافية لفهم الحوسبة التي اكتسبتها. لكي نعرف حقًا ما تعلمته الآلة، يجب أن ننتقل من مرحلة المراقبة إلى مرحلة التدخل، واختبار الحالات الداخلية للآلة مباشرة لمعرفة ما إذا كانت هي السبب الفعلي لسلوكها. وإلى أن يحدث ذلك، ستظل الحياة الداخلية لهذه الأنظمة مخفية جزئيًا، حتى عندما تعطي الإجابات الصحيحة أخيرًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.