Robust Ambiguity Detection (RAD) From Model- and Feature-Space Consistency

تخيل أنك قاضٍ في محكمة رفيعة المستوى، ولكن بدلاً من قاضٍ واحد، لديك لجنة من عشرة خبراء. جميعهم بارعون بنفس القدر، وقد درسوا نفس ملفات القضية تماماً، واجتازوا نفس الاختبارات الصارمة. عادةً ما يتفقون جميعاً على الحكم، ولكن أحياناً لا يفعلون ذلك. ربما يقول خمسة منهم "مذنب" وخمسة "غير مذنب". هذا أمر مربك، لكنه على الأقل يجعلك تدرك وجود الخلاف.

الآن، تخيل سيناريو أكثر تعقيداً. العشرة خبراء يتفقون جميعاً على الحكم لمتهم معين. ولكن، إذا غيرت تفصيلاً صغيراً جداً في القصة — مثل القول إن المتهم وصل متأخراً ثانية واحدة فقط، أو كان يرتدي قبعة مختلفة قليلاً — فإن اللجنة بأكملها تنقلب فجأة لتصوت في الجانب المعاكس. أو، تخيل أن هناك متهمين توأمين متطابقين تقريباً، ومع ذلك يحصل أحدهما على حكم "مذنب" بينما يحصل الآخر على "غير مذنب" لمجرد أن خط القرار بينهما رُسم بطريقة متذبذبة وغير مستقرة. في عالم تعلم الآلة، حيث تتخذ الحواسيب قرارات بشأن القروض، أو التشخيصات الطبية، أو القبول الجامعي، فإن هذه التنبؤات "المتذبذبة" خطيرة. تُسمى هذه الحالة بـ الغموض (Ambiguity). إذا لم يستطع نموذج الحاسوب التمسك بقصته عندما تتغير الأمور قليلاً، أو إذا اختلف مع نماذجه التوأم، فلا يمكننا الوثوق به. هذه الورقة البحثية تدور حول بناء طريقة أفضل لرصد تلك التنبؤات المهتزة وغير الموثوقة قبل أن تسبب مشاكل في العالم الحقيقي.

---

كاشف الـ "RAD": رصد التنبؤات المتذبذبة

قام مؤلفو هذه الورقة، مانيا سينغ، مارك ت. كين، وأرجون باكراشي من جامعة كوليدج دبلن، ببناء أداة جديدة تسمى RAD (كشف الغموض المتين - Robust Ambiguity Detection). فكر في RAD كآلة لاختبار الإجهاد لتنبؤات الذكاء الاصطناعي. فبدلاً من مجرد السؤال: "ماذا يعتقد الذكاء الاصطناعي؟"، يسأل RAD: "ماذا سيعتقد الذكاء الاصطناعي إذا حركنا المدخلات قليلاً؟ وماذا ستعتقد نماذجه التوأم؟"

لفهم كيفية عمل RAD، دعونا نستخدم تشبيه حارس النادي (البواب).

الإعداد: لجنة من الحراس

تخيل نادياً لديه سياسة دخول صارمة للغاية. وللتأكد من أن السياسة عادلة، استأجر النادي 10 حراس مختلفين (هذه هي النماذج المتكافئة). لقد تم تدريبهم جميعاً على نفس القواعد وهم بارعون بنفس القدر في وظيفتهم.

• المدخل (The Input): شخص يحاول الدخول (هذه هي نقطة البيانات).
• الاضطراب (The Perturbation): يُطلب من الحراس تخيل تغييرات طفيفة في مظهر الشخص. ربما يتخيلون أن الشخص يرتدي قبعة مختلفة، أو يقف على بعد بوصة واحدة إلى اليسار (هذه هي الاضطرابات المحلية).

"مصفوفة الغموض": بطاقة النتائج

ينشئ RAD بطاقة نتائج ضخمة (تسمى مصفوفة الغموض) لتتبع ما يحدث.

• الصفوف: الحراس العشرة.
• الأعمدة: الشخص الأصلي بالإضافة إلى جميع النسخ "المتخيلة" منه (الجيران).
• الخلايا: هل قال كل حارس "نعم" أم "لا" لكل نسخة؟

إذا كان الحراس جميعاً يقولون "نعم" للشخص الأصلي وأيضاً لجميع النسخ المتغيرة قليلاً، فإن التنبؤ يكون متيناً (Robust). إنه صلب. ولكن إذا بدأ الحراس في الجدال مع بعضهم البعض، أو إذا غيروا آراءهم لمجرد أن الشخص حرك قدمه، فهذا هو الغموض.

مخطط RAD: الزوايا الأربع للارتباك

يحول البحث هذه البطاقة إلى رسم بياني بسيط يسمى مخطط RAD. تخيل مربعاً مقسماً إلى أربع زوايا. المكان الذي يقع فيه التنبؤ يخبرك بالضبط لماذا هو مهتز:

1. الزاوية العليا اليمنى (زاوية "الصلابة المطلقة"): جميع الحراس يتفقون، ويتفقون حتى عندما يتحرك الشخص قليلاً. هذا تنبؤ متين. يمكنك الوثوق به.
2. الزاوية العليا اليسرى (زاوية "الحراس المتجادلون"): يظل الحراس جميعاً متسقين مع أنفسهم (إذا قالوا "نعم" للقبعة، فهم يقولون "نعم" لعدم وجود القبعة)، لكنهم يختلفون مع بعضهم البعض. أحد الحراس يعتقد أن القواعد تقول "نعم"، والآخر يعتقد "لا". هذا هو غموض فضاء النموذج (Model-Space Ambiguity). المشكلة ليست في الشخص؛ بل في أن الحراس تعلموا نسخاً مختلفة من القواعد.
3. الزاوية السفلى اليمنى (زاوية "الحراس المتذبذبين"): يتفق جميع الحراس عموماً مع بعضهم البعض، لكنهم جميعاً مرتبكون بسبب تحركات الشخص الطفيفة. إذا تحرك الشخص بوصة واحدة، فإنه ينتقل من "نعم" إلى "لا". هذا هو غموض فضاء الميزات (Feature-Space Ambiguity). الشخص يقف تماماً على حافة خط القرار، والقواعد حساسة للغاية.
4. الزاوية السفلى اليسرى (زاوية "الفوضى الشاملة"): يختلف الحراس مع بعضهم البعض، ولا يمكنهم حتى الاتفاق مع أنفسهم عندما يتحرك الشخص. هذا هو أسوأ أنواع الغموض. التنبؤ غير موثوق لأي سبب من الأسباب.

ماذا وجدوا؟

اختبر المؤلفون أداة RAD على نوعين من البيانات:

1. بيانات وهمية (Synthetic): أنشأوا عوالم مولدة حاسوبياً حيث يمكنهم التحكم بدقة في مدى تداخل مجموعات "نعم" و"No". وجدوا أنه كلما اختلطت المجموعات أكثر، انتقلت التنبؤات بعيداً عن الزاوية "الصلبة" وإلى الزوايا "المتذبذبة" أو "الفوضوية". أثبت هذا أن RAD يمكنه بالفعل اكتشاف متى تصبح الأمور فوضوية.
2. بيانات من العالم الحقيقي: استخدموا مجموعات بيانات حقيقية (مثل التعثر في بطاقات الائتمان، مخاطر أمراض القلب، وحتى الأرقام المكتوبة بخط اليد من مجموعة بيانات MNIST). وبما أنه لا يمكنك "رؤية" خطوط القرار في هذه المجموعات المعقدة، فقد عمل RAD مثل الأشعة السينية، مظهراً أي التنبؤات التي يحتمل أن تكون مهتزة.

الفائدة الكبرى: معرفة متى تقول "لا أعرف"

الجزء الأكثر إثارة في الورقة هو التطبيق العملي المسمى الامتناع (Abstention). في المواقف عالية المخاطر (مثل قبول طالب في الكلية أو تشخيص مرض)، من الأفضل قول "لست متأكداً، يجب أن يفحص بشري هذا الأمر" بدلاً من التخمين بشكل خاطئ.

استخدم المؤلفون RAD لتصنيف التنبؤات. وجدوا أنه إذا رفضوا ببساطة تقديم تنبؤ للعينات التي وقعت في الزوايا "المتذبذبة" أو "الفوضوية" (التي سجلت أدنى رتبة Pareto-Rank لـ RAD)، فإن دقة التنبؤات المتبقية ارتفقت بشكل كبير. بعبارة أخرى، من خلال استخدام RAD لتصفية الحالات المربكة، أصبح الذكاء الاصطناعي أكثر موثوقية في الحالات التي أجاب عنها بالفعل.

ما الذي لا يفعله RAD

من المهم ملاحظة ما لا تفعله هذه الورقة. هي لا تدعي إصلاح الذكاء الاصطناعي أو جعل الحراس يتفقون. وهي لا تقول إن كل الذكاء الاصطناعي معطل. بدلاً من ذلك، هي تقدم أداة تشخيصية. إنها تخبرك أين تكمن المشكلة:

• هل المشكلة في أن النماذج مختلفة جداً؟ (إذن قد تحتاج لتدريبها بشكل أفضل أو دمجها).
• هل المشكلة في أن البيانات فوضوية للغاية أو أن خط القرار حاد جداً؟ (إذن قد تحتاج لبيانات أفضل أو طريقة مختلفة لتحديد القواعد).

تشير الورقة إلى أنه من خلال النظر في كل من فضاء النموذج (هل تتفق النماذج؟) وفضاء الميزات (هل البيانات مستقرة؟)، نحصل على صورة أوضح للثقة مما لو نظرنا إلى جانب واحد فقط. إنها طريقة للتوقف عن الثقة العمياء في حاسوب قد يكون في حالة تخمين، والبدء في طرح الأسئلة الصحيحة عندما لا تكون الإجابة واضحة.