The geometry of AI validation: Exact certification limits for iid best-of-N search
تحدد هذه الورقة حدود اعتماد دقيقة لعملية البحث من نوع (best-of-N) المستقلة والمتماثلة توزيعياً (iid) عبر نمذجة التحقق كـ هندسة نووية فوق سطح موثوقية، واستخلاص صيغة دقيقة لعرض الغموض تتناسب مع واقتراح قاعدة تدقيق ثنائية البوابة للتمييز بين التغطية الهيكلية والدقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تجاوز الذكاء الاصطناعي الحديث مجرد الإجابة على سؤال واحد بإجابة واحدة. فاليوم، غالبًا ما تولد الأنظمة مجموعة واسعة من الاحتمالات، وتقارن بينها، ثم تختار الخيار الأفضل لتقديمه للمستخدم. هذه العملية، المعروفة باسم "البحث"، تُستخدم لحل المسائل الرياضية المعقدة، أو كتابة أكواد الكمبيوتر، أو تصميم جزيئات جديدة. ولأن النظام يختار من بين بدائل متعددة، فإن موثوقية مخرجاته النهائية تعتمد كليًا على كيفية اتخاذ هذا الاختيار. فإذا اختار النظام أفضل إجابة من بين مئة محاولة، فإن جودة تلك الإجابة تختلف عن جودة إجابة تم اختيارها من محاولة واحدة فقط. ويتمثل التحدي المركزي للعلماء في معرفة كيفية التحقق من أن هذه الإجابات المختارة صحيحة بالفعل، خاصة عندما يكون النظام قد تدرب على اختيار "الأفضل" وليس عشوائيًا.
إن مشكلة التحقق هذه معقدة لأن عملية الاختيار تغير طبيعة الحقيقة التي يتم قياسها. تخيل عالمًا يفحص أداء نموذج على أنواع محددة من الأسئلة ويجد أنه دقيق للغاية. إذا استُخدم هذا النموذج بعد ذلك لحل نوع مختلف تمامًا من المشكلات، أو إذا تغيرت عملية الاختيار للبحث عن نوع مختلف من الإجابات "الأفضل"، فقد لا تنطبق الفحوصات السابقة. إن موثوقية النظام ليست رقمًا ثابتًا يبقى كما هو؛ بل هي مرتبطة بالطريقة المحددة المستخدمة لإيجاد الإجابة. فإذا كانت الطريقة المستخدمة لفحص النظام لا تغطي نفس المجال الذي يُستخدم فيه، فقد يبدو النظام موثوقًا بينما هو في الواقع أعمى عن أخطائه في السياق الجديد.
قام ريكاردو فيتاس، وهو باحث في جامعة دارمشتات التقنية، بتطوير طريقة دقيقة لقياس مقدار عدم اليقين المتبقي عندما نحاول التحقق من صحة هذه الأنظمة الذكية. يركز عمله على سيناريو شائع حيث يولد الذكاء الاصطناعي العديد من المرشحين ويختار الأفضل بينهم بناءً على درجة معينة. وتطرح الدراسة سؤالًا جوهريًا: إذا كنا نعرف مدى موثوقية النظام عندما يختار أفضل إجابة من عدد صغير من المحاولات، فهل يمكننا التأكد من مدى موثوقيته عندما يختار أفضل إجابة من عدد أكبر بكثير؟ الإجابة، وفقًا للبحث، هي "لا" في كثير من الأحيان. هناك حد صلب لما يمكننا معرفته دون تغيير الطريقة التي نختبر بها النظام.
توضح الأبحاث أن معرفة أداء النظام في أحجام بحث صغيرة لا تضمن معرفة أدائه في أحجام البحث الكبيرة. فحتى لو كان النظام يعمل بشكل مثالي عند اختيار أفضل إجابة من عشر محاولات، فمن الناحية النظرية يمكن أن يكون سيئًا جدًا عند الاختيار من بين مئة محاولة، وكلا السيناريوهين يمكن أن يتوافقا مع نفس بيانات الاختبار. ليس هذا بسبب إجراء الاختبارات بشكل سيء، ولكن لأن الاختبارات ببساطة لم تنظر في الاتجاه الصحيح. وتثبت الدراسة أن هناك فجوة معرفية محددة وغير قابلة للعبور تظهر دائمًا عندما يكون حجم البحث في العالم الحقيقي أكبر من حجم البحث المستخدم أثناء الاختبار. وتمثل هذه الفجوة شكلاً من أشكال العمى الهيكلي: قد يعمل النظام تمامًا كما تشير الاختبارات، ومع ذلك يفشل بطرق لا تستطيع الاختبارات التنبؤ بها.
لفهم ذلك، اعتبر أن عملية التحقق تشبه تسليط ضوء مصباح يدوي في غرفة مظلمة. إذا سلطت الضوء في بضعة أماكن محددة فقط، يمكنك التأكد مما يوجد في تلك الأماكن، لكن لا يمكنك معرفة ما يوجد في الزوايا المظلمة. وإذا تم استخدام نظام الذكاء الاصطناعي بعد ذلك بطريقة تتطلب النظر في تلك الزوايا المظلمة، فإن فحوصاتك السابقة لن توفر أي أمان. لقد حسب الباحث حجم عدم اليقين هذا بدقة؛ فبالنسبة لنظام يبحث عبر مئة مرشح، إذا كنت قد اختبرته فقط على عمليات بحث تصل إلى ستة عشر مرشحًا، فإن عدم اليقين بشأن أدائه الحقيقي يمكن أن يصل إلى ثلاثة وثمانين بالمائة. وهذا يعني أن نسختين مختلفتين تمامًا من النظام يمكن أن تجتازا جميع اختباراتك، ومع ذلك قد تكون إحداهما شبه مثالية بينما الأخرى عديمة الفائدة تقريبًا عند مواجهة البحث الأكبر.
كما تظهر الدراسة أن مجرد تكرار الاختبارات نفسها مرارًا وتكرارًا لا يحل هذه المشكلة. إن تشغيل الاختبار ألف مرة على نفس حجم البحث الصغير يقلل فقط من الضوضاء العشوائية؛ لكنه لا ينير الزوايا المظلمة. ولتقليل عدم اليقين، يجب عليك تغيير الاختبار نفسه للنظر في نوع مختلف من البحث. وتوفر الأبحاث قاعدة واضحة لكيفية القيام بذلك: يجب عليك توسيع نطاق اختباراتك لتغطي نفس المجال الذي سيتم فيه النشر في العالم الحقيقي. إذا كنت تريد اعتماد نظام يبحث عبر مئة مرشح، فيجب أن تتضمن الاختبارات عمليات بحث تتضمن البحث عبر مئة مرشح، أو على الأقل عددًا قريبًا من ذلك.
تتحقق الورقة البحثية من هذه النتائج باستخدام بيانات من عالمين مختلفين: الاستدلال الرياضي وبرمجة الكمبيوتر. في تجارب الرياضيات، نظر الباحثون في مدى قدرة نماذج الذكاء الاصطناعي على حل المشكلات عند اختيار أفضل إجابة من بين آلاف الحلول المولدة. ووجدوا أنه بينما يتحسن الأداء المتوسط مع بحث النظام في المزيد من المرشحين، إلا أن بعض المسائل تصبح في الواقع أسوأ. فبعض المسائل التي حُلت بشكل صحيح مع بحث صغير أصبحت غير صحيحة عندما بحث النظام بشكل أوسع. وبالمثل، في تجارب البرمجة، حلل الباحثون مهام توليد الأكواد. واكتشفوا أنه حتى عندما بدا معدل النجاح الإجمالي جيدًا، يمكن لمهام فردية أن تفشل بشكل كبير عند تغير عرض البحث. هذه الأمثلة من العالم الحقيقي أكدت أن حدود عدم اليقين النظرية لم تكن مجرد تجريدات رياضية، بل كانت موجودة في سلوك الذكاء الاصطناعي الفعلي.
علاوة على ذلك، تقدم الدراسة حلاً عمليًا لكيفية تصميم تقييمات أفضل. فهي تقترح نهجًا يتكون من خطوتين: أولاً، يجب على الباحثين التأكد من أن اختباراتهم تغطي الاتساع الهيكلي للمهمة في العالم الحقيقي، وهذا يعني اختبار النظام على نفس مقياس البحث الذي سيواجهه في الممارسة العملية. ثانيًا، بمجرد إنشاء هذا التغطية الهيكلية، يمكنهم إضافة المزيد من المهام المستقلة لتقليل الضوضاء العشوائية وتحسين الدقة. وتظهر الأبحاث أن جمع المزيد من البيانات أو التصنيفات (labels) يكون فعالًا فقط إذا تم جمع البيانات في الاتجاه الصحيح. فعلى سبيل المثال، في تجارب البرمجة، أدى جمع التصنيفات خصيصًا للمرشحين الأعلى درجة إلى تقليل معدل الخطأ بشكل أكبر بكثير من جمع التصنيفات للمرشحين العشوائيين. وهذا يسلط الض الضوء على أن اتجاه الاختبار أهم من الحجم الإجمالي للبيانات.
تعد هذه النتائج بمثابة تحذير ضد افتراض أن النظام آمن لمجرد أنه اجتاز مجموعة من الاختبارات القياسية. فإذا كانت تلك الاختبارات لا تتطابق مع الطريقة المحددة التي سيُستخدم بها النظام، فقد يحتوي النظام على إخفاقات خفية لا تظهر إلا عند نشره. لا تدعي الدراسة أن البحث في الذكاء الاصطناعي معطل أو أنه لا يمكن تحسينه؛ بل توضح أن القواعد لإثبات عمل النظام أكثر صرامة مما كان يُعتقد سابقًا. إنها تؤسس لفكرة أن التحقق ليس فحصًا لمرة واحدة، بل هو عملية مستمرة يجب أن تتطور جنبًا إلى جنب مع قدرات النظام. ومن خلال فهم هندسة هذه الحدود، يمكن للمطورين تصميم عمليات تدقيق تصدق حقًا على موثوقية أنظمة الذكاء الاصطناعي، مما يضمن أن الإجابات التي تقدمها جديرة بالثقة ليس فقط في المختبر، بل في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.