تخيل أنك مدرب يدرب فريقًا من الروبوتات فائقة الذكاء لحل الألغاز. لكي تختبر من هو الأفضل، تعطيها اختبارًا. في البداية، تكون الدرجات متباعدة للغاية: بعض الروبوتات تحصل على 40%، وأخرى على 80%، وبعض العباقي يصلون إلى 95%. هذا أمر رائع! يمكنك بوضوح رؤية من هو الفائز ومن يحتاج إلى مزيد من التدريب. ولكن بعد ذلك، يحدث شيء غريب. بعد فترة، يبدأ كل روبوت في الحصول على 99% أو 100%. تتوقف الدرجات عن الحركة. الفجوة بين الروبوت "الجيد" والروبوت "الممتاز" تختفي. لقد أصبح الاختبار سهلاً للغاية لدرجة أنه لم يعد بإمكان التمييز بينهم. في عالم الذكاء الاصطناي، يُطلق على هذا اسم "التشبع" (Saturation). إنه يشبه مستوى في لعبة فيديو هزمه الجميع لدرجة أن مطوري اللعبة يضطرون لابتكار مستوى أصعب، وإلا ستصبح لوحة الصدارة عديمة الفائدة.

هذه الورقة البحثية، التي تحمل عنوان "عندما تصل معايير الذكاء الاصطناعي إلى مرحلة الثبات"، تغوص بعمق في هذه المشكلة تحديدًا. نظر الباحثون في 60 اختبارًا مختلفًا تُستخدم لقياس مدى ذكاء نماذج لغة الذكاء الاصطناعي. أرادوا معرفة سبب توقف بعض الاختبارات عن العمل بسرعة بينما تظل اختبارات أخرى مفيدة لسنوات. لقد بنوا "مقياس تشبع" خاصًا لقياس مدى تسطح الدرجات بدقة. واكتشافهم الكبير؟ الاختبارات القديمة والتي استُخدمت كثيرًا هي أول ما يتعطل. اتضح أن مجرد إخفاء الإجابات (إبقاء الاختبار "خاصًا") أو جعل الأسئلة من نوع الاختيار من متعدد لا ينقذ الاختبار حقًا من أن يصبح عديم الفائدة. الأبطال الحقيقيون الذين يحافظون على حيوية الاختبار هم أشياء مثل امتلاك عدد هائل من الأسئلة وتصميم الخبراء للاختبار بعناية ليكون صعبًا. إذا كان الاختبار قديمًا وصغيرًا، فمن المؤكد تقريبًا أنه سيصطدم بسقف حيث لا يمكن لأحد التمييز بين أفضل ذكاء اصطناعي والبقية.

قصة لوحة الصدارة العالقة

لن نتخيل عالم معايير الذكاء الاصطناعي كدوري رياضي ضخم وعالي المخاطر. كل عام، تنضم فرق جديدة (نماذج الذكاء الاصطناعي) إلى الدوري، ويجب عليها إثبات أنها الأفضل. وللقيام بذلك، يخوضون سلسلة من السباقات (المعايير). بعض السباقات عبارة عن عدو سريع قصير، وبعضها ماراثونات طويلة، وبعضها مسارات عقبات.

لفترة طويلة، كانت هذه السباقات تعمل بشكل مثالي. عندما يظهر عداء أسرع جديد، فإنه يحطم الرقم القياسي القديم، والجميع يهتف. ولكن بعد ذلك، بدأ الدوري يلاحظ اتجاهًا غريبًا. كان العداءون يصبحون أسرع جميعًا، لكن خطوط النهاية أصبحت مزدحمة. سرعان ما كان أفضل خمسة عدائين يعبرون الخط في نفس الوقت تقريبًا، حتى لو بفارق جزء من الألف من الثانية. كانت لوحة الصدارة عالقة. لم يعد بإمكانك معرفة من هو الأسرع فعليًا لأن السباق كان قصيرًا جدًا أو التوقيت غير دقيق.

هذه هي المشكلة التي سعى مؤلفو هذه الورقة لحلها. فقد تساءلوا: "لماذا تتوقف هذه السباقات عن العمل؟ هل لأن العداءين أصبحوا جيدين جدًا، أم لأن مضمار السباق صُمم بشكل سيء؟"

التحقيق الكبير: 60 سباقًا تحت المجهر

لم يكتفِ الباحثون بالتخمين؛ بل انطلقوا في مهمة استقصائية ضخمة. جمعوا بيانات من 60 معيارًا مختلفًا للذكاء الاصطناعي — وهي "السباقات" التي تستخدمها أكبر شركات وأبحاث الذكاء الاصطناي. نظروا في كل شيء: كم عمر السباق، وكم عدد الأسئلة فيه، وما إذا كانت الإجابات عامة أم سرية، ومن كتب الأسئلة (بشر أم حواسيب).

لقماياس "تعطل" لوحة الصدارة، اخترعوا أداة ذكية تسمى مؤشر التشبع (Saturation Index). فكر في هذا كـ "كاشف للضجيج".

• إذا كان الفرق بين أفضل العدائين كبيرًا مقارلة بـ "الضجيج" (الأخطاء العشوائية في التوقيت)، يكون المؤشر منخفضًا، والسباق لا يزال عادلاً.
• إذا كان أفضل العدائين قريبين جدًا لدرجة أن اختلافاتهم أصغر من الضجيج، يرتفع المؤشر. يصبح السباق "مشبعًا". إنه مثل محاولة سماع همسة وسط إعصار؛ لا يمكنك معرفة من يتحدث لأن الرياح عالية جدًا.

وجدوا أن ما يقرب من النصف من الـ 60 سباقًا التي درسوها كانت مشبعة بالفعل. بعضها كان مشبعًا لدرجة أن النماذج المتصدرة كانت غير قابلة للتمييز عن بعضها البعض.

الأساطير التي فندوها

قبل هذه الدراسة، كانت لدى الناس بعض الأفكاء حول كيفية الحفاظ على عدالة السباق لفترة طويلة. اختبر الباحثون هذه الأفكار، وتبين أن بعضها كان خاطئًا.

الأسطورة 1: "إذا أخفينا الإجابات، سيبقى السباق عادلاً لفترة أطول."
اعتقد الكثيرون أنه إذا أبقوا أسئلة الاختبار سرية (مجموعة اختبار "خاصة")، فلن تتمكن الروبوتات من حفظ الإجابات. تحقق الباحثون من ذلك بمقارنة الاختبارات العامة بالخاصة.

• النتيجة: لم يكن الأمر مهمًا. الاختبارات الخاصة "تعطلت" بنفس سرعة الاختبارات العامة. بمجرد أن يصبح الاختبار شائعًا، حتى لو كانت الإجابات سرية، فإن نماذج الذكاء الاصطناعي تتعلم أسلوب الأسئلة جيدًا لدرجة أنها جميعًا تحصل على نفس الدرجات العالية. إخفاء الاختبار يشبه إخفاء خط النهاية في ضباب؛ في النهاية، سيكتشف الجميع مكانه.

الأسطورة 2: "أسئلة الاختيار من متعدد هي المشكلة."
اعتقد البعض أنه إذا جعلوا الذكاء الاصطناعي يكتب إجابات طويلة ومفتوحة بدلاً من مجرد اختيار أ، ب، ج، أو د، فإن الاختبار سيستمر لفترة أطول.

• النتيجة: لا. وجدت الدراسة أن الاختبارات ذات أسئلة الاختيار من متعدد والاختبارات ذات الكتابة المفتوحة كلاهما تعرضا للتشبع بنفس المعدل تقريبًا. لم ينقذ تنسيق الإجابة الاختبار.

الأسطورة 3: "الاختبارات باللغة الإنجليزية فقط تتعطل أسرع من الاختبارات بعدة لغات."
بدا منطقيًا أن الاختبار بالإنجليزية فقط سيصبح سهلاً جدًا لأن معظم الذكاء الاصطناعي يتم تدريبه غالبًا بالإنجليزية.

• النتيجة: بدا أن الاختبارات بالإنجليزية تتعطل بشكل أسرع، لكن الباحثين أدركوا أن هذا كان خدعة زمنية. الاختبارات بالإنجليزية كانت فقط أقدم. أما الاختبارات متعددة اللغات فكانت جديدة، ولم تُجرَ فيها تجارب كافية بعد لتصل إلى مرحلة التشبع. عندما تقارن اختبارات من نفس العمر، فإن اللغة لم تكن مهمة بقدر ما كنت تعتقد.

الجناة الحقيقيون: العمر والحجم

إذا كان إخفاء الإجابات وتغيير التنسيقات لا يعملان، فما الذي يسبب تعطل الاختبار فعليًا؟ وجد الباحثون مجرمين رئيسيين:

1. العمر (الزمن): كان هذا هو العامل الأكبر. كلما كان الاختبار أقدم، زاد احتمال تشبعه. فكر في الأمر كأغنية مشهورة. في المرة الأولى التي تسمعها فيها، تكون منعشة. ولكن بعد سماعها ألف مرة، ستعرف كل نوتة فيها. نماذج الذكاء الاصطناعي هي نفسها. كلما استُخدم الاختبار عبر السنين، زادت قدرة النماذج على "التلاعب" به، ليس عن طريق الحفظ، بل ببساطة من خلال أن تصبح خبيرة في هذا النوع المحدد من الألغاز. أظهرت الدراسة أن الاختبارات التي يزيد عمرها عن 60 شهرًا كانت أكثر عرضة للتعطل من الاختبارات الجديدة.

2. الحجم (عدد الأسئلة): كان هذا هو العامل الثاني الأكبر. الاختبارات التي تحتوي على عدد قليل جدًا من الأسئلة (مجموعات اختبار صغيرة) تعرضت للتشبع بشكل أسرع بكثير. تخيل سباقًا به 3 حواجز فقط. إذا تعثرت في واحد منها، فسيكون ذلك أمرًا جسيمًا. أما إذا كان لديك 100 حاجز، فإن تعثرًا واحدًا لن يغير الفائز. الاختبارات الصغيرة "صاخبة". إذا حالف الذكاء الاصطناي الحظ في بضع أسئلة، فسترتفع درجته، مما يجعله يبدو عبقريًا. ولكن إذا كان لديك اختبار ضخم يحتوي على آلاف الأسئلة، فإن الحظ لن يهم كثيرًا. وجدت الدراسة أن الاختبارات التي تحتوي على أسئلة أكثر ظلت عادلة ومفيدة لفترة أطول لأنها استطاعت رصد الفروق الدقيقة بين أذكى النماذج.

الأخبار الجيدة: كيف تبني سباقًا أفضل

الورقة البحثية لا تقول فقط "كل شيء معطل". بل تقدم وصفة لبناء اختبارات تدوم.

• اجعل الاختبار ضخمًا: إذا كنت تريد للاختبار أن يظل مفيدًا، أعطِ الذكاء الاصطناعي آلاف الأسئلة، وليس مجرد بضع عشرات. هذا يقلل من "الضجيج" ويسمح لك برؤية الفروق الحقيقية.
• حافظ على الحيوية: لا تستخدم نفس الأسئلة للأبد. أفضل الاختبارات هي تلك التي تتغير، أو تضيف أسئلة جديدة، أو يصممها خبراء يعرفون كيف يخدعون الذكاء الاصطناعي.
• لا تعتمد على الأسرار: إخفاء الاختبار ليس درعًا سحريًا. أنت بحاجة لتصميم الاختبار جيدًا بحيث حتى لو عرف الذكاء الاصطناي القواعد، فإنه لا يزال عليه العمل بجد للفوز.

الخلاصة

يحرص المؤلفون على القول إن الحصول على درجة عالية ليس سيئًا دائمًا. إذا تم تصميم اختبار لقياس شيء بسيط، وحصل كل ذكاء اصطناعي على 100%، فهذا رائع! هذا يعني أن المشكلة قد حُلّت. لكن المشكلة تظهر عندما يجب أن يكون الاختبار قادرًا على التمييز بين ذكاء اصطناعي جيد وآخر ممتاز، لكنه لا يستطيع فعل ذلك بعد لأن الاختبار قديم جدًا أو صغير جدًا.

تشير هذه الدراسة إلى أننا بحاجة للتوقف عن معاملة هذه الاختبارات كأنها كؤوس دائمة والبدء في معاملتها ككائنات حية. فهي تحتاج للنمو، والتغير، والازدياد لتواكب الروبوتات فائقة الذكاء التي نبنيها. إذا لم نفعل ذلك، فستظهر لوحات الصدارة لدينا مجرد خط مستقيم، ولن نعرف من هو الأفضل فعليًا.