When Reward Is Not Grammar: A Reward-Action Validity Audit of Deep Reinforcement Learning for English Inflection
تقدم هذه الورقة تدقيقاً لصلاحية المكافأة والعمل لإثبات أن دفتر ملاحظات لشبكة "Deep Q-Network" يدعي تعلم الصرف الإنجليزي يفشل في الواقع في اكتساب القواعد النحوية بسبب عيوب جوهرية في دالة المكافأة، والتعبير عن العمل، وتشفير الحالة، ومنهجية التقييم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي الصاخب، يحاول الباحثون غالبًا تعليم الآلات القواعد الخفية للغة البشرية. إنهم يستخدمون طريقة تسمى "التعلم المعزز"، والتي تعمل بشكل مشابه لتدريب الكلب: يحاول الكمبيوتر القيام بفعل ما، وإذا حصل على النتيجة الصحيحة، فإنه يتلقى مكافأة رقمية أو "مكافأة". ومع مرور الوقت، يتعلم الكمبيوتر تكرار الأفعال التي تجني أكبر عدد من المكافآت. وقد أصبح هذا النهج وسيلة شائعة لاختبار ما إذا كان بإمكان الآلة فهم القواعد حقًا دون الحاجة إلى قاعدة بيانات ضخمة من النصوص البشرية. والأمل هو أنه بمجرد مكافأة الإجابات الصحيحة، يمكن للذكاء الاصطناعي اكتشاف المنطق الكامن وراء كيفية تغييرنا للكلمات، مثل تحويل الاسم المفرد إلى جمع أو تحويل الفعل إلى صيغة الماضي. وإذا نجح ذلك، فسيثبت أن الآلات يمكنها تعلم هياكل اللغة من خلال التجربة بدلاً من مجرد الحفظ.
ومع ذلك، تشير دراسة جديدة من جامعة كوفنتري إلى أنه في بعض التجارب الأخيرة، كانت "المكافآت الرقمية" تُمنح بسهولة مفرطة. فقد قرر الباحثون، نيكيش أديكاري، وشانكار غيميري، وساجار نيوباني، إلقاء نظرة فاحصة على برنامج حاسوبي محدد زعم أنه تعلم قواعد اللغة الإنجليزية. لم يكتفوا بمراقبة البرنامج وهو يتعلم فحسب؛ بل قاموا بتدقيق اللعبة بأكملها التي كان يلعبها. لقد فحصوا القواعد، ونظام تسجيل النقاط، والطريقة التي يرى بها الكمبيوتر العالم. وكشف تحقيقهم أن البرنامج لم يكن يتعلم قواعد اللغة على الإطلاق، بل كان يستغل العيوب في الاختبار نفسه للحصول على درجات عالية مع إنتاج إجابات كانت في كثير من الأحيان خاطئة، أو حتى مستحيلة التوليد بالأدوات المتوفرة.
ركزت الدراسة على "دفتر ملاحظات حاسوبي" (computer notebook) زعم أنه يعلم عميلًا اصطناعيًا ثلاث مهارات محددة في اللغة الإنجليزية: جعل الأسماء جمعًا، وتغيير الأفعال إلى صيغة الماضي، ومطابقة الفاعل مع الفعل. وأفاد دفتر الملاحظات بتحقيق معدلات نجاح مبهرة، زاعمًا أن العميل حقق درجات كاملة في تكوين صيغة الماضي ودقة عالية في المهام الأخرى. بدأ الباحثون بطرح سؤال بسيط: هل أنتج الكمبيوتر بالفعل الكلمات الإنجليزية الصحيحة، أم أنه أنتج فقط كلمات قبلها نظام تسجيل النقاط خطأً؟ وجدوا أن نظام تسجيل النقاط كان متساهلًا للغاية. ففي مهمة جعل الكلمات جمعًا، منح النظام مكافأة إيجابية لـ 10 محاولات مختلفة، لكن أربع محاولات فقط من تلك المحاولات كانت كلمات إنجليزية صحيحة بالفعل. أما المحاولات الست الأخرى، فكانت عبارة عن كلمات هجينة غير مفهومة تشبه في شكلها الإجابة الصحيحة بما يكفي لخداع الفاحص البسيط. وفي مهمة صيغة الماضي، كان الوضع أسوأ؛ حيث سجل النظام نسبة نجاح مثالية بلغت 100 بالمائة، ومع ذلك، عندما عدّ الباحثون الكلمات الصحيحة الفعلية، وجدوا أن 25 بالمائة فقط من المحاولات التي كوفئت كانت صحيحة حقًا. لقد كان الكمبيوتر يُكافأ على أخطائه.
ذهبت المشكلة إلى أبعد من مجرد وجود مُقيّم نقاط متساهل. فقد اكتشف الباحثون أن الكمبيوتر كان عاجزًا جسديًا عن إنتاج الإجابات الصحيحة للعديد من الكلمات التي اختُبر عليها. فقد صُمم البرنامج بمجموعة محدودة جدًا من الأدوات، مما سمح له فقط بإضافة حروف إلى نهاية الكلمة، ولم يكن بإمكانه حذف الحروف أو تغيير وسط الكلمة. وهذا يعني أنه بالنسبة لبعض الكلمات، مثل تحويل "city" إلى "cities" أو "baby" إلى "babies"، فإن الإجابة الصحيحة تتطلب حذف حرف "y" وإضافة "ies". وبما أن الكمبيوتر لم يكن قادرًا على حذف حرف "y"، فقد كان من المستحيل عليه توليد الكلمة الصحيحة، مهما بلغ ذكاؤه. وحسب الباحثون أن ثلث كلمات الجمع ونصف أفعال الماضي كانت الإجابة الصحيحة لها بعيدة المنال ببساطة. وبالتالي، فإن الدرجات العالية التي أبلغ عنها دفتر الملاحظات لم تكن علامة على التعلم، بل كانت علامة على أن الاختبار كان معيبًا.
علاٍوة على ذلك، وجدت الدراسة أن الكمبيوتر لم يكن يلعب حتى لعبة تتطلب منه التفكير في تسلسل. فقد تتبع الباحثون خطوات البرنامج ووجدوا أن الكمبيوتر عُرضت عليه نفس الكلمة مرارًا وتكرارًا لمدة ثلاثين خطوة دون أي تغيير. لم يكن بحاجة لتذكر أي شيء من خطوة إلى أخرى لحل المشكلة. وهذا حول ما كان يُفترض أن يكون مهمة تعلم معقدة إلى مجرد تخمين بسيط ومتكرر. كما وجد الباحثون أن الرسوم البيانية المرئية في دفتر الملاحظات الأصلي، والتي أظهرت تعلم الكمبيوتر لقواعد مختلفة بمرور الوقت وانتقال المعرفة من قاعدة إلى أخرى، كانت مضللة أيضًا. فـ "منحنيات التعلم" كانت في الواقع مجرد أرقام عشوائية ولدها الكمبيوتر، وليست قياسات حقيقية للتقدم. كانت التصورات البيانية زخرفية، وليست دليلًا على الذكاء.
كما كشف الباحثون عن عدم استقرار خفي في كيفية رؤية الكمبيوتر للكلمات. فقد استخدم البرنامج طريقة لتحويل الكلمات إلى أرقام تتغير في كل مرة يتم فيها إعادة تشغيل الكمبيوتر. وهذا يعني أن الكلمة نفسها قد تبدو كرقم مختلف تمامًا في أيام مختلفة. وفي حالات عديدة، انتهى الأمر بكلمتين مختلفتين لتبدوا متشابهتين بالنسبة للكمبيوتر، مما تسبب في خلطهما. ولأن الكمبيوتر لم يستطع التمييز بين هذه الكلمات المختلطة، لم يتمكن من تعلم القاعدة الصحيحة لأي منهما. هذا عدم الاستقرار جعل النتائج غير موثوقة؛ فقد يبدو الكمبيوتر وكأنه تعلم في يوم ما وفشل في اليوم التالي، ببساطة لأن الأرقام التي يستخدمها قد تغيرت.
في الختام، خلصت الدراسة إلى أن دفتر الملاحظات الأصلي لم يثبت أن الكمبيوتر قد تعلم قواعد اللغة الإنجليزية. بل أثبت فقط أن الكمبيوتر استطاع إيجاد طريقة للحصول على درجة عالية في اختبار معيب. ويؤكد الباحثون أن هذا لا يعني أن التعلم المعزز لا يمكن أن ينجح في اللغة، بل يعني فقط أن هذه التجربة المحددة لم تُضبط بشكل صحيح لاختباره. فقد كان نظام المكافأة غامضًا للغاية، والأدوات محدودة للغاية، وبيئة الاختبار غير مستقرة. ولكي نعرف حقًا ما إذا كان الآلة قد تعلمت قاعدة ما، يجب أن يكون الاختبار دقيقًا، وأن تكون الإجابات الصحيحة ممكنة التوليد، وأن يتطلب تسجيل النقاط الكلمة الصحيحة بدقة، وليس مجرد تقريب لها. وإلى أن تتحقق هذه الشروط، يجب النظر إلى الدرجات العالية في مثل هذه الاختبارات بعين الريبة، لأنها قد تعكس عيوب التجربة بدلاً من ذكاء الآلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.