The Exceedance Design Effect: Effective Sample Size for Thresholds under Clustering
تُبين هذه الورقة أنه عندما تكون بيانات المعايرة متكتلة بدلاً من كونها مستقلة، فإن حجم العينة الفعال لأنظمة التعلم الآلي القائمة على العتبة يختلف اعتماداً على مستوى العتبة المحدد بدلاً من كونه قيمة ثابتة واحدة، مما يستلزم تصحيحاً جديداً بصيغة مغلقة للتنبؤ بدقة بموثوقية التغطية وتجنب عثرات الطرق الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي الحديث، غالباً ما تُدرَّب الأنظمة لتكون حذرة. فقبل أن يجيب الذكاء الاصطناński على سؤال صعب أو يُنشئ قطعة من البرمجيات، يقوم بإجراء فحص سلامة ليقرر ما إذا كان واثقاً بما يكفي للمضي قدماً. ولتحديد فحص السلامة هذا، يجمع المهندسون مجموعة كبيرة من أمثلة التدريب، تُعرف باسم "مجموعة المعايرة". وهم ينظرون إلى الدرجات التي يعطيها الذكاء الاصطناعي لهذه الأمثلة ويختارون نقطة قطع، عادةً عند موضع محدد في الترتيب، مثل التسعين بالمائة الأعلى. والوعد هنا هو أنه إذا استُخدم الذكاء الاصطناعي على بيانات جديدة لم يسبق له رؤيتها، فسيظل ضمن حد السلامة هذا بنسبة تسعين بالمائة. ويعتمد هذا الوعد على افتراض جوهري: وهو أن كل مثال تدريبي هو حدث فريد ومستقل، مثل رمي حجر نرد حيث لا تؤثر نتيجة رمية واحدة على الرمية التالية.
ومع ذلك، في خطوط الإنتاج المعقدة التي تشغل نماذج اللغات اليوم، غالباً ما يكون هذا الاستقلال وهماً. فعندما يستنتج الذكاء الاصطناعي مساراً لحل مشكلة ما، قد يولد عدة مسارات مختلفة أو "فروعاً" من التفكير من نفس نقطة البداية. وتتشارك هذه الفروع تاريخاً مشتركاً، تماماً مثل الأشقاء الذين يتشاركون خلفية عائلية واحدة. وبسبب مجيئها من المصدر نفسه، تميل درجاتها للتحرك معاً؛ فإذا كان أحد الفروع واثقاً، فمن المرجح أن تكون الفروع الأخرى واثقة أيضاً. لعدة عقود، عرف الإحصائيون كيفية التعامل مع مثل هذه البيانات المتكتلة عند حساب المتوسطات البسيطة، لكنهم لم يعرفوا كيفية تعديل القواعد عندما يكون الهدف هو تحديد عتبة أو خط قطع. وقد أدت هذه الفجوة إلى معايرة أنظمة الذكاء الاصطناعي بشعور زائف بالأمان، باعتقادها أنها تمتلك بيانات مستقلة أكثر مما تمتلكه في الواقع.
يكشف بحث جديد أجراه الباحث المستقل آدم نونانان بدقة كيف يشوه هذا النسب المشترك ضمانات السلامة لهذه الأنظمة. ويوضح البحث أن الطريقة القياسية لعدّ نقاط البيانات تفشل عندما تأتي البيانات في مجموعات (clusters). ويظهر البحث أن العدد "الفعلي" للأمثلة المستقلة ليس رقماً ثابتاً واحداً لمجموعة بيانات ما؛ بل يتغير اعتماداً على مكان تحديد قطع السلامة. فقد تعمل مجموعة من الدرجات كأنها نقطة مستقلة واحدة إذا كان القط مرتفعاً، ولكنها قد تعمل كنقطتين منفصلتين إذا كان القط أدنى من ذلك. إن تشابه الدرجات كأرقام لا يهم؛ ما يهم هو ما إذا كانت تقع على الجانب نفسه من الخط.
لقد أثبت الباحثون قانوناً رياضياً يصف هذه الظاهرة، والذي يسمونه "تأثير تصميم التجاوز" (exceedance design effect). ووجدوا أن الطريقة المعتادة لتصحيح البيانات المتكتلة، والتي تنظر في مدى تشابه الدرجات مع بعضها البعض، غالباً ما تكون خاطئة. ففي كثير من الحالات الواقعية، قد تبدو الدرجات غير مترابطة، ومع ذلك يكون قرار النجاح أو الفشل في فحص السلامة مترابطاً للغاية. وعندما اختبر الباحثون ذلك على مجموعة بيانات منشورة تضم أكثر من خمسة وعشرين ألف مثال من نموذج مكافأة العملية (process-reward model)، اكتشفوا واقعاً مذهلاً. فبينما كانت مجموعة البيانات تحتوي على خمسة وعشرين ألف صف، فإن مقدار المعلومات المستقلة التي قدمتها فعلياً كان يعادل حوالي ألف وثلاثمائة فقط. لقد كان النظام يتصرف كما لو كان لديه أقل بعشرين مرة من البيانات التي توحي بها جداول البيانات.
ولهذا التفاوت عواقب وخيمة على أي شخص يقوم بنشر هذه الأنظمة. فقد يبدو متوسط أداء النظام صحيحاً عبر تجارب عديدة، ولكن بالنسبة لنشر واحد، فإن خطر الفشل يكون أعلى بكثير مما هو موعود به. ويظهر البحث أن هامش السلامة ليس مجرد بعيد قليلاً عن الصواب، بل هو أوسع بكثير مما هو متوقع، مما يعني أن النظام أقل موثوقية في الحالات الفردية مما توحي به الأرقام المتوسطة. علاوة على ذلك، ينفي البحث فكرة أن مجرد جمع المزيد من البيانات من نفس المصادر سيحل المشكلة؛ إذ إن زيادة عدد فروع الاستنتاج لسؤال واحد تعطي عوائد متناقصة لأن الفروع متشابهة للغاية. والطريقة الوحيدة لزيادة موثوقية فحص السلامة حقاً هي جمع أسئلة أكثر تميزاً، وليس المزيد من التباينات لنفس السؤال.
كما يتناول البحث مفهوماً خاطئاً شائعاً مفاده أن المشكلة يمكن حلها بالنظر إلى الارتباط بين الدرجات نفسها. فقد أظهر الباحثون أن هذا النهج يمكن أن يكون مضللاً بشكل خطير. ففي إحدى الحالات المتعلقة بمجموعة بيانات قياسية لفهم القراءة، كان الارتباط بين الدرجات قريباً جداً من الصفر لدرجة تجعل الممارس يستنتج عدم الحاجة لأي تصحيح. ومع ذلك، عندما نظروا إلى قرارات النجاح أو الفشل الفعلية، وجدوا أن الارتباط كان كبيراً، وأن النظام كان في الواقع أصغر بكما يبدو. وتقدم الدراسة وصفة جديدة للممارسين: فبدلاً من عدّ كل صف في مجموعة البيانات، يجب عليهم عدّ عدد المصادر المستقلة، مثل عدد الأسئلة الفريدة، وتعديل توقعاتهم بناءً على كيفية تكتل تلك المصادر.
في نهاية المطاف، يقدم هذا العمل قانوناً واضحاً ومغلقاً لفهم كيف يؤثر البيانات المتكتلة على عتبات السلامة. إنه يتجاوز التحذيرات الغامضة ليقدم قياساً دقيقاً للمخاطر. وتؤكد النتائج أن الضرر الناجم عن تجاهل هذه التبعيات يكون غير مرئي في النتائج المتوسطة، ولكنه ملموس تماماً للمستخدم الذي يستخدم النظام لمرة واحدة. ومن خلال فهم أن مجموعة البيانات لها حجم فعال مختلف لكل مستوى من مستويات السلامة تهدف إلى تحقيقه، يمكن للمهندسين أخيراً معايرة أنظمة الذكاء الاصطناعي الخاصة بهم برؤية واقعية لحدودها، مما يضمن الوفاء بالوعود المقدمة للمستخدمين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.