Subtype Robustness Is Not Just Accuracy: Calibration Under Unseen Subtype Shift

تخيل أنك تعلم روبوتاً كيفية التعرف على الحيوانات. تعرض عليه آلاف الصور للكلاب والقطط، فيتعلم أن يقول: "هذا ثديي!" بثقة تامة. ولكن ماذا يحدث عندما تعرض عليه صورة لحيوان جديد تماماً، مثل خلد الماء، لم يره من قبل؟ إذا ظل الروبوت يقول: "هذا ثديي!" ولكنه أخطأ في تحديد الحيوان بدقة، فهل يؤدي عملاً جيداً؟ هذا السؤال يقع في قلب مجال يسمى تعلم الآلة، وتحديداً التركيز على كيفية تعامل الذكاء الاصطناعي مع التباينات الجديدة للأشياء التي يعرفها بالفعل.

في عالم الذكاء الاصطناعي، هناك فكرتان كبيرتان نحتاج لفهمهما لمتابعة هذه القصة. أولاً، هناك الدقة (Accuracy)، وهي ببساطة مدى تكرار حصول الروبوت على الإجابة الصحيحة. إذا قال "ثديي" وكان بالفعل من الثدييات، فهذه نقطة للدقة. ثانياً، هناك المعايرة (Calibration)؛ وهي أمر أكثر تعقيداً، إذ تتعلق بما إذا كانت ثقة الروبوت تتوافق مع دقته. الروبوت المعاير جيداً، والذي يكون متأكداً بنسبة 90% من إجابته، يجب أن يكون مصيباً بنسبة 90% من الوقت. أما إذا كان متأكداً بنسبة 90% ولكنه مصيب بنسبة 50% فقط، فهو "مفرط في الثقة"، وهذا أمر خطير لأنه لن يعرف متى يطلب المساعدة. نحن نهتم بهذا لأن أنظمة الذكاء الاصطناعي في العالم الحقيقي تقابل باستمرار نسخاً جديدة من فئات قديمة — مثل نوع جديد من الطيور أو طراز جديد من السيارات — ونحتاج لمعرفة ما إذا كان بإمكانها أن تظل متواضعة وصادقة عندما تواجه المجهول.

فخ الثقة المفرطة الصامت

تبحث هذه الورقة البحثية، بعنوان "متانة النوع الفرعي ليست مجرد دقة"، في مشكلة خفية تفشل النماذج فيها بطريقة لا تكتشفها الاختبارات القياسية. وضع الباحثون سيناريو حيث يتم تدريب النموذج على "أنواع فرعية" محددة (مثل رؤية كلاب من فصيلة "جولدن ريتريفر" و"بودل" فقط)، ولكن يتم اختباره على أنواع فرعية جديدة تماماً ضمن نفس الفئة العريضة (مثل رؤية كلب من فصيلة "دالميشن" لأول مرة). من المفترض أن يظل النموذج قادراً على تحديد الفئة العريضة بشكل صحيح (مثل "كلب") حتى لو لم يعرف السلالة المحددة.

وجد الفريق أمراً مثيراً للقلق: النماذج تفقد دقتها في هذه الأنواع الفرعية الجديدة، لكنها لا تفقد ثقتها.

تخيل طالباً يؤدي اختباراً. لقد درس فقط كلاب "الجولدن ريتريفر" و"البودل". عندما يرى كلب "دالميشن"، يخمن أنه "كلب" بشكل صحيح، لكنه في الواقع مجرد تخمين. في عالم مثالي، سيشعر الطالب بعدم اليقين ويقول: "لست متأكداً، لكني أعتقد أنه كلب". بدلاً من ذلك، تتصرف هذه النماذج كطالب متأكد بنسبة 95% من صحة إجابته، رغم أنه مخطئ في التفاصيل المحددة. تُظهر الورقة أنه بينما تنخفض دقة النموذج في هذه الأنواع الفرعية غير المرئية، فإن ثقته لا تنخفض إلا قليلاً. هذا يخلق "ثقة مفرطة صامتة" حيث يكون النظام واثقاً وهو مخطئ، ولأنه يشعر باليقين، فإنه لا يطلق أي إنذارات.

لماذا لا يتعلق الأمر بمجرد "صور سيئة"

قد تعتقد: "حسناً، ربما الصور الجديدة تبدو غريبة أو ضبابية، لذا يرتبك الذكاء الاصطناعي". اختبر الباحثون ذلك من خلال مقارنة مشكلة "النوع الفرعي الجديد" بـ "الفساد العام" (Generic Corruption)، وهو ما يشبه أخذ صورة عادية وتلطيخها بالطين، أو إضافة ضجيج إليها، أو جعلها ضبابية.

وجدوا فرقاً هائلاً. عندما جعلوا الصور تبدو سيئة (الفساد العام)، انخفضت ثقة الذكاء الاصطناعي بشكل حاد جنباً إلى جنب مع دقته. لقد عرف أنه ينظر إلى فوضى. ولكن عندما عرضوا عليه صورة نظيفة ومثالية لنوع فرعي جديد لم يره من قبل، ظل الذكاء الاصطناعي واثقاً بعناد رغم كونه يعاني ليكون دقيقاً. يتفاعل النموذج مع الضرر المرئي، لكنه يظل أعمى تجاه "الحداثة داخل التصنيف" (In-taxonomy novelty) — الأشياء الجديدة التي تبدو طبيعية ولكنها تقنياً جديدة بالنسبة للنظام.

الأدوات التي نملكها لا تعالج المشكلة

ثم سأل الباحثون: "هل يمكننا فقط إصلاح هذا بعد حدوثه؟" جربوا حلين شائعين:

1. إعادة المعايرة (Recalibration): حاولوا تعديل درجات ثقة النموذج باستخدام بيانات من الأنواع التي عرفها بالفعل. ساعد هذا قليلاً، حيث قلص الفجوة بين ما هو مرئي وما هو غير مرئي، لكنه لم يغلقها تماماً. ظل النموذج مفرط الثقة في الأشياء الجديدة.
2. كشف التوزيع الخارج عن النطاق (Out-of-Distribution Detection): حاولوا استخدام أدوات قياسية مصم-مة لتحديد المدخلات "الغريبة". فشلت هذه الأدوات فشلاً ذريعاً. لم تستطع التمييز بين كلب معروف وكلب جديد غير مرئي. كانت الدرجات متشابهة جداً لدرجة أن الأدوات كانت في الأساس تخمن.

السبب الجذري: كم عدد الأمثلة التي رأيتها؟

اكتشفت الورقة أيضاً نمطاً يفسر سبب حدوث ذلك. كلما زادت الأمثلة التي رآها النموذج لفئة معينة أثناء التدريب، كان أفضل في الحفاظ على معايرته للأنواع الجديدة. على سبيل المثال، إذا رأى النموذج 100 نوع مختلف من الكلاب، فسيتعامل مع الكلاب الجديدة بشكل أفضل بكثير مما لو رأى نوعين فقط. الأمر يشبه طباخاً طبخ بـ 50 نوعاً من التفاح؛ يمكنه تخمين نكهة تفاحة جديدة بشكل أفضل بكثير من طباخ لم يطبخ إلا بنوع واحد فقط. تشير الورقة إلى أن "الثقة المفرطة" مرتبطة مباشرة بمدى ندرة بيانات التدريب لتلك المجموعة المحددة.

الخلاصة

الرسالة الأساسية هي أنه لا يمكننا مجرد النظر إلى الدقة لنرى ما إذا كان الذكاء الاصطناعي قوياً. إذا كان النموذج يحصل على الإجابة العريضة الصحيحة ولكنه مفرط الثقة بشكل صارخ في المتغيرات الجديدة، فهو في الواقع يفشل. تجادل الورقة بأننا يجب أن نبدأ في قياس المعايرة جنباً إلى جنب مع الدقة. وحتى نبني أدوات أفضل يمكنها اكتشاف هذه الإخفاقات "الصامتة"، يجب أن نكون حذرين في الثقة بأنظمة الذكاء الاصطناعي التي تدعي أنها قوية بينما هي في الواقع مجرد تخمين واثق للأشياء الجديدة التي تواجهها.