Finite Evidence, Infinite Horizons: The Artificial Age Score as a Case Study in Longitudinal AI Measurement
تجادل هذه الورقة بأن سجلات تقييم الذكاء الاصطناعي الطولية المحدودة، والتي يتمثل نموذجها في درجة العصر الاصطناعي (AAS)، لا يمكنها تحديد خصائص النظام ذات الأفق اللانهائي أو التقارب دون نماذج استمرارية منصوص عليها صراحةً، كما هو موضح من خلال الأمثلة المضادة واختبارات الجهد التي تُظهر أن الملاحظات المحدودة وحدها لا تسفر إلا عن استنتاجات مشروطة قائمة على النماذج بدلاً من الاستنتاجات الحاسمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناًعي المتطور بسرعة، يحاول الباحثون باستمرار قياس مدى جودة تعلم هذه الأنظمة وتذكرها وأدائها بمرور الوقت. وكما قد يتتبع المعلم درجات الطالب عبر فصل دراسي للتنبؤ بنجاحه المستقبلي، يستخدم العلماء الدرجات الطولية لمراقبة أنظمة الذكاء الاصطناعي وهي تواجه أسئلة وتحديثات وبيئات متغيرة. ومن المفترض أن تكون هذه الدرجات أكثر من مجرد لقطة للحظة واحدة؛ إذ يُراد منها أن تروي قصة رحلة النظام، واستقراره، وقدرته على الاستمرار في العمل بفعالية مع مرور الوقت. ومع ذلك، يكم-ن تحدٍ جوهري في هذا النهج: فنحن نمتلك دائمًا سجلًا محدودًا لما حدث حتى الآن. لدينا تاريخ من الاختبارات الماضية، لكننا لا نملك المستقبل. والسؤال الحاسم هو ما إذا كان النمط الملاحظ في عدد محدود من الاختبارات الماضية يمكن أن يخبرنا حقًا بأي شيء حاسم حول كيفية سلوك النظام إلى الأبد، أم أننا ببساطة نقرأ الكثير في قصة قصيرة.
تتناول دراسة جديدة أجرتها سيمّا يمان كاياديب في جامعة فيكتوريا هذه المشكلة مباشرة، وذلك باستخدام أداة قياس محددة تسمى "درجة العمر الاصطناعي" (Artificial Age Score) كحالة دراسية لكشف فجوة خفية في كيفية تفسيرنا لأداء الذكاء الاصطناعي. لا تجادل الدراسة بأن هذه الدرجات عديمة الفائدة؛ بل توضح أن الدرجة التي تُحسب من تاريخ محدود من الملاحظات لا يمكنها، بمفردها، أن تثبت أن النظام سيستمر في الوجود، أو يظل مستقرًا، أو يعمل بشكل جيد إلى الأبد. وتظهر الدراسة أن النظام قد يبدو مستقرًا تمامًا لمدة عشرين جلسة ثم يفشل فورًا بعد ذلك، أو قد يستمر بشكل مثالي، وستبدو الدرجة الرياضية المحسوبة من تلك الجلسات العشرين الأولى متطابقة تمامًا في كلتا الحالتين. وتجادل الورقة البحثية بأن أي ادعاء بشأن المستقبل اللانهائي لنظام ذكاء اصطناعي ليس نتيجة للبيانات التي جمعناها، بل هو نتيجة لافتراضات إضافية نضعها حول كيفية استمرار النظام.
ولتوضيح ذلك، فحص الباحثون مجموعة بيانات من العالم الحقيقي تتضمن نظام ذكاء اصطناعي تم اختباره عبر أربعة وسبعين إصدارًا أسبوعيًا. وقارنوا بين نسختين من النظام: نسخة تعمل في بيئة مغلقة، وأخرى يمكنها البحث في الإنترنت للحصول على الإجابات. وأظهرت البيانات أن النسخة التي تمتلك إمكانية الوصول إلى الإنترنت كانت تؤدي بشكل أفضل باستمرار، مما أدى إلى "عبء" (burden) أقل، وهو ما يشير إلى أخطاء أقل. وقد قام الباحثون بتفكيك سبب حدما حدث هذا الفرق بدقة، ووجدوا أن التحسن جاء من الأداء الأفضل في كل من الأسئلة متعددة الخيارات وتوليد النصوص المفتوحة. ومع ذلك، عندما حاولوا التنبؤ بالأداء المستقبلي لهذه الأنظمة باستخدام قواعد بسيطة — مثل افتراض أن الدرجة التالية ستكون هي نفسها الدرجة الأخيرة، أو أنها ستكون متوسط آخر أربع درجات — وجدوا أن كل قاعدة تنبؤ ارتكبت أخطاءً. والقاعدة التي نجحت بشكل أفضل لنسخة واحدة من النظام لم تكن هي الأفضل للنسخة الأخرى، مما يثبت أنه لا يوجد قانون واحد عالمي مخفي داخل الدرجات يملي المستقبل.
كما استكشفت الدراسة واقعًا رياضيًا أعمق: فبالنسبة لأي تسلسل محدود من الدرجات، من الممكن تخيل عدد لا نهائي من المستقبلات المختلفة التي تتناسب تمامًا مع هذا التسلسل. أحد هذه المستقبلات قد يظهر تحسن النظام للأبد، والآخر قد يظهر فشله فورًا، والثالث قد يظهره يتذبذب بين الأداء الجيد والسيئ. وكل هذه المستقبلات المختلفة ستنتج نفس الدرجة بالضبط للجلسات العشرين الماضية. وقد أثبت الباحثون أنه بدون إضافة قواعد إضافية حول كيفية سلوك النظام، فإن الدرجة نفسها لا يمكنها التمييز بين هذه الاحتمالات. كما بحثوا في كيفية تأثير مرور الوقت الحقيقي على هذه القياسات. فإذا كنت تحسب كل اختبار كوحدة زمنية واحدة، فقد تحصل على صورة مختلفة لجهد العمل الإجمالي للنظام عما لو كنت تقيس بالساعات والأيام الفعلية بين الاختبارات. وتظهر الورقة أن طرق قياس الوقت المختلفة هذه يمكن أن تغير تفسير مقدار "التعرض" أو الضغط الذي تعرض له النظام، ومع ذلك لا يمكن لأي من هذه الطرق التنبؤ بما سيحدث بعد ذلك.
في النهاية، تخلص الورقة إلى ضرورة توخي الحذر الشديد عند التحدث عن الموثوقية طويلة المدى للذكذ الاصطناعي. فالدرجة التي تبدو مستقرة اليوم ليست ضمانًا للاستقرار غدًا. ولتقديم ادعاءات حول المستقبل، يجب على الباحثين التصريح بوضوح بالافتراضات التي يضعونها حول سلالة النظام، وبيئته، وقواعد تشغيله. وتقترح الدراسة طريقة جديدة للإبلاء عن النتائج تفصل بوضوح بين ما تمت ملاحظته فعليًا، وما تم افتراضه لإجراء تنبؤ، وما يظل مجهولًا. ومن خلال معاملة المستقبل كإمكانية مشروطة وليس كيقين رياضي مشتق من البيانات الماضية، تقدم هذه الدراسة إطارًا أكثر صدقًا وصرامة لفهم حدود ما يمكننا معرفته عن العمر الاصطناعي. وتعد هذه النتائج بمثابة تذكير بأنه بينما يمكننا قياس الماضي بدقة، فإن المستقبل يظل مجالًا منفصلاً يتطلب قواعده وافتراضاته الخاصة للملاحة فيه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.