Frontier AI Forecasting Has a Measurement Problem: An Audit of Progress Evidence

نحن نعيش في عصر تُتوقع فيه قدرات الذكاء الاصطناعي بدقة تشبه دقة توقعات الطقس. ينظر الخبراء إلى مدى سرعة تطور أجهزة الكمبيوتر، وكمية البيانات التي يتم تغذيتها بها، ومدى أدائها في الاختبارات المعيارية لتخمين متى ستصل الآلات إلى مستوى التفكير البشري أو حتى تتفوق عليه. عادة ما تأخذ هذه التوقعات شكل تاريخ محدد في التقويم، مما يوحي بأنه بحلول عام معين، سيكون الذكاء الاصطناعي قادرًا على حل مشكلة معقدة أو أداء مهمة محددة. يبدو المنطق مباشرًا: إذا كان بإمكانك قياس سرعة سيارة، يمكنك حساب متى ستصل إلى وجهتها. لكن هذا النهج يعتمد على افتراض خفي — وهو أن المسطرة المستخدمة لقياس السرعة هي نفسها اليوم كما كانت بالأمس، وأن عداد السرعة يعمل بشكل صحيح لكل سيارة على الطريق.

يتحدى تحليل جديد من فابريزيو ف. كوستا هذا الافتراض. لا يجادل البحث بأن التنبؤ بمستقبل الذكاء الاصطناعي مستحيل، بل إن الطريقة الحالية التي نحاول بها القيام بذلك مبنية على أساس مهتز. أجرى المؤلف تدقيقًا صارمًا للسجلات العامة المستخدمة لتقديم هذه التوقعات، حيث تعامل مع البيانات ليس كخط سلس على رسم بياني، بل كمجموعة من الأحداث والقياسات والمصادر الفردية. ويكشف التحقيق أن العلاقة بين الموارد المستخدمة لبناء هذه الأنظمة وأدائها الفعلي هي أكثر تشتتًا مما توحي به التوقعات الشائعة. وتجد الدراسة أن الأدلة الداعمة لهذه التوقعات غالبًا ما تكون غير كاملة، وغير متسقة، وتعتمد بشكل كبير على مصدر واحد للمعلومات، مما يجعل التواريخ المحددة التي تُذكر غالبًا في الأخبار أقرب إلى التخمين منها إلى الاستنتاج العلمي.

لفهم نطاق المشكلة، يجب على المرء أولاً أن ينظر إلى كيفية بناء هذه التوقعات عادةً. يحاول الباحثون عادةً ربط شيئين: كمية القدرة الحوسبية المستخدمة لتدريب نموذج ما، والنتائج التي يحققها في اختبار معياري. الاختبار المعياري هو ببساطة مجموعة موحدة من الأسئلة أو المهام المصممة لقياس مهارة معينة، مثل الإجابة على أسئلة عامة أو حل مسائل رياضية. الفكرة هي أنه كلما أعطيت النموذج المزيد من القدرة الحوسبية، ارتفعت درجته في هذه الاختبارات بطريقة يمكن التنبؤ بها. إذا تمكنت من رسم تلك العلاقة، يمكنك الإسقاط للأمام لرؤية متى ستصل الدرجة إلى عتبة معينة. ومع ذلك، لكي يكون هذا الإسقاط صالحًا، تحتاج إلى نقاط بيانات تكون فيها كل من القدرة الحوسبية ودرجة الاختبار معروفة لنفس النظام.

عندما فحص المؤلف السجل العام لستة وستين نظامًا رئيسيًا للذكاء الاصطناعي، ظهرت فجوة كبيرة. فبينما كانت المعلومات حول القدرة الحوسبية المستخدمة متاحة للعديد من الأنظمة، كانت مفقودة للعديد من النماذج الأكثر تقدمًا ومغلقة المصدر. وعلى العكس من ذلك، كانت درجات الأداء من برنامج قياس محدد ومشهور يُدعى METR متاحة للعديد من النماذج المغلقة ولكنها كانت غائبة تمامًا عن الأنظمة مفتوحة المصدر. خلق هذا وضعًا حيث لا توجد القطعتان المطلوبتان لرسم الخط — "الوقود" و"السرعة" — معًا لنفس الآلة. في المجموعة الكاملة المكونة من ستة وستين نظامًا، كان هناك سبعة فقط لديها تقدير القدرة الحوسبية ودرجة الأداء المسجلة معًا. وهذا يعني أن المنحنيات السلسة التي تُرى غالبًا في التوقعات هي في الواقع مرسومة عبر عدد قليل جدًا من نقاط البيانات، بينما يظل باقي المشهد مساحة فارغة.

تتعمق المشكلة عندما تأخذ في الاعتبار أن هذه الاختبارات ليست ثابتة. تمامًا كما قد يتم استبدال مسطرة بأخرى جديدة ذات علامات مختلفة قليلاً، فإن الاختبارات المعيارية المستخدمة لقياس الذكاء الاصطناعي يتم تحديثها أو مراجعتها أو استبدالها باستمرار لمنع النماذج من مجرد حفظ الإجابات. بحث التدقيق في كيفية ارتباط هذه النسخ المختلفة من الاختبارات ببعضها البعض. ووجد أنه عندما تحاول مقارنة درجات نسخة قديمة من اختبار ما بنسخة أحدث، فإن العلاقة لا تكون دائمًا مجرد تحول بسيط ومستقيم. أحيانًا، يقيس الاختبار الجديد شيئًا مختلفًا قليلاً، أو تتغير الصعوبة بطريقة تجعل الدرجات تقفز أو تهبط بشكل غير متوقع. اختبرت الدراسة ذلك من خلال النظر في كيفية أداء الأنظمة على نسختين من اختبار شائع، ووجدت أن العلاقة بين الدرجات القديمة والجديدة تعتمد بشدة على الطريقة الرياضية المستخدمة للمقارنة. وفي بعض الحالات، بدت النسخة الجديدة وكأنها تظهر تحسنًا أكبر بكثير من القديمة، بينما في حالات أخرى، بدا التحسن مسطحًا. يشير هذا إلى أن ارتفاع الدرجة قد لا يعني دائمًا أن الذكاء الاصطناعي قد أصبح أذكى؛ بل قد يعني فقط أن الاختبار قد تغير.

المشكلة الأخرى الحرجة التي تم تحديدها هي تركيز الأدلة. تأتي الغالبية العظمى من نقاط البيانات المحددة المستخدمة لتتبع تقدم الذكاء الاصطناعي من برنامج قياس واحد. فمن بين واحد وسبعين حدثًا كميًا رئيسيًا تم تسجيلها في التدقيق، جاء اثنان وخمسون منها من مصدر واحد فقط. هذا يشبه محاولة فهم أنماط الطقس في قارة بأكملة بالاعتماد على قراءات ميزان الحرارة من مدينة واحدة. وبينما قد تكون تلك المدينة دقيقة، إلا أنها لا تخبرك ما إذا كانت بقية القارة تشهد نفس الظروف. كما لاحظ التدقيق أن العديد من هذه القياسات تأتي من إصدارات مختبرية وليس من اختبارات ميدانية في العالم الحقيقي. في المختبر، تكون الظروف مضبوطة، ولكن في العالم الحقيقي، يتفاعل الذكاء الاصطناعي مع بيئات غير متوقعة، ومستخدمين مختلفين، ومستويات متفاوتة من الدعم. يجادل البحث بأن الاعتماد على مصدر واحد ونوع واحد من الاختبارات يخلق شعورًا زائفًا باليقين، حيث تكون الثقة في التوقعات عالية لمجرد أن البيانات تبدو متسقة، رغم أنها ليست مستقلة حقًا.

نظر المؤلف أيضًا في قوة الاختبارات الإحصائية المستخدمة لربط هذه القياسات المختلفة. أظهر التحليل أن مجموعات البيانات الحالية غالبًا ما تكون صغيرة جدًا بحيث لا يمكنها اكتشاف أي شيء سوى التغييرات الكبيرة جدًا. إذا تغيرت العلاقة بين القدرة الحوسبية والأداء بمقدار ضئيل، فمن المرجح أن تسجل السجلات الحالية ذلك كليًا. وحسبت الدراسة أنه لكي يتم اكتشاف تحول صغير في كيفية تحسن هذه الأنظمة بشكل موثوق، يحتاج الباحثون إلى اختبار العديد من الأنظمة الأخرى على المعايير القديمة والجديدة في وقت واحد. وبدون هذه المجموعة الأكبر والأكثر تنوعًا من البيانات، فإن أي توقع يدعي معرفة الموعد الدقيق الذي سيتم فيه الوصول إلى معلم محدد هو في الأساس مجرد تخمين.

لا يقترح البحث أن نتوقف عن محاولة قياس تقدم الذكاء الاصطناعي. بدلاً من ذلك، فإنه يدعو إلى نهج أكثر صدقًا وتعقيدًا. فبدلاً من محاولة حشر جميع قدرات الذكاء الاصطناعي في رقم واحد أو تاريخ واحد، يقترح المؤلف "محفظة" من القياسات. سيتضمن ذلك تتبع أشياء مختلفة في نفس الوقت: مقدار الطاقة والمال اللازم لتشغيل نموذج ما، ومدى موثوقيته على فترات طويلة، وكيفية أدائه في المهام الواقعية، وكيفية تعامله مع مخاطر السلامة. سيتطلب الأمر أيضًا نظامًا تقوم فيه مجموعات بحثية مختلفة باختبار نفس النماذج باستخدام طرق مختلفة لضمان أن النتائج ليست مجرد نتاج مختبر معين أو اختبار معين. الهدف هو الانتقياد من فكرة المسطرة الواحدة المثالية نحو مجموعة من الأدوات التي يمكنها قياس جوانب مختلفة من الذكاء مع عدم اليقين الخاص بها.

في النهاية، خلصت الدراسة إلى أن أي توقع دفاعي حول مستقبل الذكاء الاصطناعي يجب أن يكون شفافًا بشأن ما يقيسه وكيفية قياسه. يجب أن يعترف بمواضع فقدان البيانات، وحيث تغيرت الاختبارات، ومن أين تأتي الأدلة. إن التنبؤ الذي يعطي تاريخًا ببساطة دون شرح نظام القياس وراءه ليس ادعاءً علميًا؛ بل هو تخمين. يحث البحث مجال الذكاء الاصطناعي على التعامل مع نظام القياس نفسه كجزء من التوقع، مع الإقرار بأن التاريخ لا يكون ذا معنى إلا بقدر المسطرة المستخدمة لإيجاده. وإلى أن يتمكن المجتمع من بناء سجل حيث يتم قياس القدرة الحوسبية والأداء والنتائج الواقعية باستمرار وبشكل مستقل عبر العديد من الأنظمة المختلفة، فإن الجزء الأكثر دقة في أي توقع سيكون التاريخ الموجود على التقويم، بينما سيكون الجزء الأقل دقة هو ما يتم قياسه فعليًا في الطريق إلى هناك.