State-of-the-Art Claims Require State-of-the-Art Evidence
تجادل هذه الورقة بأن الادعاءات المتعلقة بالوصول إلى "أحدث ما توصل إليه العلم" في أبحاث الذكاء الاصطناعي غالباً ما تفتقر إلى أدلة من الاختبارات المعيارية، حيث تعتمد التحسينات في الدرجات الإجمالية بشكل متكرر على القيم المتطرفة بدلاً من التفوق المستمر والقوي، مما يستوجب تقريراً أكثر صدقاً ودقة لأداء النماذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحثية بعنوان "الادعاءات التي تمثل أحدث ما توصل إليه العلم تتطلب أدلة تمثل أحدث ما توصل إليه العلم" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.
المشكلة الكبرى: وهم "رئيس الفصل"
تخيل مدرسة ثانوية حيث يتنافس الطلاب على منصب رئيس الفصل. ولتقرير الفائز، يقوم المدير بجمع الدرجات من كل مادة (الرياضيات، التاريخ، الفن، التربية البدنية، العلوم) ليحصل في النهاية على "إجمالي الدرجات".
في عالم الذكاء الاصطناعي، يفعل الباحثون الشيء نفسه تمامًا. فهم يختبرون نماذج الذكاء الاصطناعي الخاصة بهم في مهام مختلفة (مثل كتابة الأكواد البرمجية، أو الإجابة على أسئلة تاريخية، أو التعرف على صور القطط)، ثم يجمعون الدرجات ويُعلنون أن النموذج صاحب أعلى إجمالي درجات هو "الأفضل حاليًا" أو ما يُعرف بـ "أحدث ما توصل إليه العلم" (State-of-the-Art - SOTA).
تجادل الورقة البحثية بأن هذا فخ. فمجرد حصول الطالب على أعلى إجمالي درجات لا يعني أنه الأفضل في كل شيء. فقد يكون عبقريًا في الرياضيات لكنه سيء جدًا في التربية البدنية، بينما قد يكون هناك طالب آخر "جيد" في كل المواد. تقول الورقة إن تسمية الفائز بإجمالي الدرجات بلقب "الأفضل" يشبه منح كأس لشخص فاز فقط لأنه حصل على درجات كاملة في بعض المواد السهلة، حتى لو رسب في المواد الصعبة.
الطرق الثلاث التي قد تجعل "الفائز" مجرد ضربة حظ
نظر المؤلفون في 10 لوحات صدارة مختلفة للذكاء الاصطناعي (مثل لوحة صدارة رئيس الفصل)، ووجدوا أنه في أكثر من نصف الحالات، لم يكن الفائز المُعلن عنه بطلًا حقيقيًا واضحًا. لقد استخدموا ثلاثة اختبارات بسيطة للتحقق مما إذا كان الفوز حقيقيًا أم مجرد حادث عرضي:
1. اختبار "هامش النصر" (الحجم/المقدار)
- التشبيه: تخيل عداءين. العداء (أ) أنهى السباق في 10.00 ثانية، والعداء (ب) أنهى السباق في 10.01 ثانية. هل العداء (أ) أسرع بشكل ملحوظ؟ أم أن الفرق مجرد مسألة رياح، أو رب ليس مربوطًا جيدًا، أو بداية سيئة؟
- ما وجدته الورقة: غالبًا ما يكون نموذج الذكاء الاصطناعي "الفائز" أفضل قليلاً فقط من المنافس الثاني. الفرق ضئيل جدًا لدرجة أنه قد يكون مجرد ضجيج عشوائي. ومع ذلك، لا يزال الباحثون يدعون أن الفائز "متفوق"، متجاهلين أن الفجوة غير مرئية عمليًا.
2. اختبار "الاستمرارية" (معدل الفوز)
- التشبيه: تخيل لاعب كرة سلة يسجل 100 نقطة في مباراة واحدة، لكنه يخطئ في كل رمياته في الخمس مباريات التالية. إذا حسبت متوسط نقاطه، سيبدو كالنجم. ولكن إذا سألت: "هل فاز في معظم المباريات؟" ستكون الإجابة لا.
- ما وجدته الورقة: العديد من نماذج الذكاء الاصطناعي "الفائزة" في الواقع تخسر في أكثر من نصف المهام المحددة التي تُختبر فيها. هي تفوز في التصنيف العام فقط لأنها حصلت على درجة هائلة في مهمة أو مهمتين محددتين رفعت متوسطها للأعلى. إنها ليست فائزة مستمرة؛ بل هي نماذج متخصصة حالفها الحظ في جدول الاختبارات.
3. اختبار "الهشاشة" (الاستقرار)
- التشبيه: تخيل برجًا من لعبة "جينجا" (Jenga). إذا استطعت سحب قطعة واحدة فقط وانهار البرج بالكامل، فهذا يعني أن البرج هش.
- ما وجدته الورقة: وجدت الورقة أنه بالنسبة للعديد من نماذج الذكاء الاصطناعي، إذا قمت بإزالة سؤال أو سؤالين محددين (مجموعات بيانات) من لوحة الصدارة، فإن "الفائز" يتراجع فجأة إلى المركز الأخير. هذا يعني أن وضع "البطل" الخاص بهم يعتمد كليًا على أسئلة محددة. إذا تغير الاختبار قليلًا، تنقلب الترتيبات تمامًا.
"فجوة الادعاء والأدلة"
يسمي المؤلفون هذا بـ "فجوة الادعاء والأدلة" (Claim-Evidence Gap).
- الأدلة: البيانات تظهر أن النموذج هو "الأول من حيث المتوسط".
- الادعاء: تقول الورقة "هذا النموذج هو أحدث ما توصل إليه العلم (الأفضل على الإطلاق)".
تجادل الورقة بأن مصطلح "أحدث ما توصل إليه العلم" يوحي بأن النموذج قوي، ومستمر، ومتفوق بشكل ملموس. لكن الأدلة غالبًا ما تدعم فقط قول: "هذا النموذج حقق أعلى متوسط درجة في هذه القائمة المحددة من الاختبارات اليوم".
لماذا يستمر حدوث ذلك؟
تشير الورقة إلى أن هذا لا يحدث لأن الباحثين سيئون في الرياضيات، بل هي مشكلة مؤسسية.
- الضغط: تحب المؤتمرات والمجلات العناوين المثيرة. ورقة بعنوان "نموذجنا هو الأول من حيث المتوسط" تبدو مملة، بينما عنوان "نموذجنا هو أحدث ما توصل إليه العلم!" يبدو مثيرًا ويجلب المزيد من الاستشهادات.
- الوضع الراهن: الجميع يفعل ذلك، لذا لا أحد يتوقف. إنه مثل لعبة حيث يركض الجميع على جهاز المشي؛ إذا توقفت لتتحقق من سرعتك، ستتأخر عن الركب.
الحل: التقارير الصادقة (لا حاجة لتجارب جديدة)
الخبر الجيد هو أننا لسنا بحاجة لابتكار نماذج ذكاء اصطناعي جديدة أو إجراء اختبارات مكلفة جديدة لإصلاح هذا الأمر. نحن فقط بحاجة إلى تغيير طريقة حديثنا عن النتائج.
بدلاً من قول:
"نموذجنا هو أحدث ما توصل إليه العلم!"
يقترح المؤلفون قول:
"حقق نموذجنا أعلى متوسط درجة في هذا الاختبار المرجعي، لكنه فاز في 60% فقط من المهام، وتتلاشى صدارته إذا أزلنا مجموعتي بيانات محددتين."
الخلاصة:
تحث الورقة مجتمع الذكاء الاصطناعي على التوقف عن معاملة رقم متوسط واحد كدليل على التفوق المطلق. تمامًا كما لا تسمي طالبًا بأنه "الأذكى في المدرسة" لمجرد أنه اجتاز اختبارًا سهلاً واحدًا، لا ينبغي لنا تسمية الذكاء الاصطناعي بأنه "الأفضل" لمجرد أن لديه أعلى متوسط درجة في لوحة صدارة مهتزة. نحن بحاجة إلى مطابقة ادعاءاتنا الجريئة مع أدلة مفصلة وصادقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.