Discrimination transfers but calibration does not:1prevalence-dominated miscalibration of diabetic2retinopathy screening across fundus cameras

تخيل أنك تعلم روبوتًا كيفية رصد نوع معين من السحب في السماء. عرضت عليه آلاف الصور الملتقطة من محطة أرصاد جوية عالية التقنية بعدسة مثالية. تعلم الروبوت أن يقول: "هذه سحابة عاصفة!" بثقة كبيرة. لكن الجزء الصعب هنا هو أن القدرة على رصد السحبة تختلف عن معرفة مدى احتمالية هطول المطر. إذا قال الروبوت: "أنا متأكد بنسبة 90% أن هذه عاصفة"، فيجب أن يكون محقًا في 90% من الحالات. إذا أخطأ، ووثقت به أكثر من اللازم، فقد تنسى مظلتك في يوم ممطر، أو قد تحمل واحدة بينما السماء صافية تمامًا.

يغوص هذا البحث في عالم حيث تساعد الحواسيب الأطباء في اكتشاف أمراض العين المعروفة باسم اعتلال الشبكية السكري. وهو يطرح سؤالًا عمليًا للغاية: إذا دربنا حاسوبًا على صور ملتقطة بكاميرات كبيرة وباهظة الثمن في مستشفى، فهل سيظل موثوقًا عندما نأخذه إلى قرية ونستخدم كاميرا صغيرة محمولة باليد؟ الإجابة لا تتعلق فقط بما إذا كان الحاسوب يستطيع رؤية المرض (وهو ما يستطيع فعله)، بل فيما إذا كانت ثقته منطقية في البيئة الجديدة. وجد الباحثون أنه بينما تظل "عيون" الحاسوب حادة، فإن "شعوره الداخلي" حول مدى تأكده يتشتت تمامًا، ويرجع ذلك أساسًا إلى أن المرض أكثر شيوعًا في المكان الجديد منه في القديم.

---

قصة روبوت طبيب العيون المرتبك

تخيل أن لديك روبوتًا عبقريًا لطبيب العيون يُدعى "دكتور AI". لقد دربت "دكتور AI" في مستشفى فاخر ومكيف المناخ باستخدام كاميرا ضخمة وثابتة على الطاولة. تعلم "دكتور AI" النظر إلى صور العيون ورصد مرض يسمى اعتلال الشبكية السكري. عندما يرى "دكتور AI" عينًا مريضة، يعطي درجة: "أنا متأكد بنسبة 95% أن هذه العين مريضة!" وعندما يرى عينًا سليمة، يقول: "أنا متأكد بنسبة 99% أنها سليمة".

الآن، تريد أخذ "دكتور AI" إلى قرية نائية لمساعدة الناس الذين لا يملكون وصولاً إلى المستشفيات الكبيرة. ولكن في القرية، لا يمكنك حمل تلك الكاميرا الضخمة؛ عليك استخدام كاميرا صغيرة محمولة باليد تتسع في حقيبة ظهر. الصور من هذه الكاميرا الصغيرة تبدو مختلفة قليلاً — قد تكون أكثر سطوعًا، أو أكثر قتامة، أو ضبابية قليلاً مقارنة بصور المستشفى.

السؤال الكبير: عندما ينظر "دكتور AI" إلى صور القرية الجديدة هذه، هل سيظل طبيبًا جيدًا؟

وضع الباحثون "دكتور AI" تحت الاختبار، ووجدوا أمرين مختلفين تمامًا:

1. بقيت العيون حادة (التمييز): ظل "دكتور AI" ممتازًا في التمييز بين العين المريضة والعين السليمة. حتى بدون أي تدريب إضافي، كان لا يزال قادرًا على تصنيف العيون المريضة بدرجة أعلى من العيون السليمة بنفس كفاءة طبيب تم تدريبه خصيصًا على صور القرية. لم يفقد قدرته على رؤية المشكلة.
2. تشتتت الثقة (المعايرة): هنا حدث الخطأ. بدأ "دكتور AI" يكذب بشأن مدى تأكده. إذا قال: "أنا متأكد بنسبة 90% أن هذه العين مريضة"، فلم يكن محقًا في الواقع بنسبة 90% من المرات. درجات ثقته كانت معطلة. في القرية، قد يكون "دكتور AI" واثقًا جدًا بشأن العيون السليمة أو غير واثق بما يكفي بشأن العيون المريضة. وهذا أمر خطير لأن الأطباء يعتمدون على أرقام الثقة هذه لتقرير من يحتاج إلى رؤية أخصائي بشري على الفور.

لماذا تعطلت الثقة؟

قد تعتقد: "لا بد أن الكاميرا المحمولة هي المشكلة! فالصور تبدو مختلفة". لقد اختبر الباحثون هذه الفكرة بالفعل، ووجدوا شيئًا مفاجئًا.

اكتشفوا أن الكاميرا نفسها كانت جزءًا صغيرًا فقط من المشكلة (حوالي 20%). المجرم الحقيقي كان الجمهور.

فكر في الأمر هكذا: في المستشفى حيث تدرب "دكتور AI"، كان شخص واحد فقط من بين كل 20 شخصًا يعاني من المرض (5.7%). ولكن في القرية، كان شخص واحد من بين كل 6 أشخاص يعاني منه (17.6%). وفي مجموعة اختبار أخرى، كان نصف الناس تقريبًا يعانون منه (40.6%).

لقد تدرب "دكتور AI" في عالم كان فيه المرض نادرًا، لذا تعلم أن يكون حذرًا للغاية. وعندما انتقل إلى قرية حيث المرض شائع، لم يعرف كيف يعدل "شعوره الداخلي". الأمر يشبه خبير أرصاد جوية نشأ في صحراء؛ إذا انتقل إلى غابة مطيرة وقال: "هناك احتمال 10% فقط لهطول المطر"، فسيكون مخطئًا، ليس لأن عينيه سيئتان، بل لأنه اعتاد على عالم يكون فيه المطر نادرًا. أظهر الباحثون أن حوالي 80% من الارتباك جاء من هذا التغيير في مدى شيوع المرض، وليس من الكاميرا التي تلتقط الصورة.

كيف نصلح الروبوت

إذًا، كيف نصلح ثقة "دكتور AI" المكسورة؟ جرب الباحثون بعض الحيل:

• حيلة "درجة الحرارة": جربوا تعديلًا رياضيًا بسيطًا يسمى "تدرج درجة الحرارة" (temperature scaling). هذا يشبه تدوير قرص لجعل إجابات الروبوت أكثر ليونة أو أكثر حدة. لم ينجح الأمر جيدًا لأن مشكلة الروبوت لم تكن مجرد مدى "ليونة" إجاباته، بل كان بحاجة إلى تغيير خط الأساس الخاص به بالكامل لأن المرض كان أكثر شيوعًا.
• حل "إعادة التدريب": جربوا طريقتين أخريين تُسميان "تدرج بلات" (Platt scaling) و "التدرج الأيزوتوني" (isotonic scaling). هاتان الطريقتان تشبهان إعطاء الروبوت درسًا سريعًا وقصيرًا. لقد عرضوا على الروبوت ما بين 100 إلى 200 صورة جديدة فقط من القرية (تم تصنيفها بواسطة البشر) وطلبوا منه تعديل أرقام ثقته.
  • النتيجة: لقد نجح الأمر! بفضل القليل من البيانات الجديدة فقط، أصبحت ثقة "دكتور AI" موثوقة مرة أخرى. لقد تحول من كونه مخطئًا بشكل صارخ إلى كونه قريبًا جدًا من كفاءة روبوت تم تدريبه من الصفر على صور القرية.

مشكلة "الدماغ الصغير"

كان هناك منعطف واحد أخير. لتشغيل "دكتور AI" على جهاز صغير محمول باليد، يتعين عليك غالبًا تقليص برنامج الكمبيوتر لكي يتناسب معه. يسمى هذا "الكمية" (quantization).

• الدقة النصفية (FP16): هذا يشبه ضغط صورة قليلاً. جعل البرنامج أصغر ولكنه لم يؤثر على "عيون" "دكتور AI" أو ثقته. كان ذلك آمنًا.
• الأعداد الصحيحة 8-بت (INT8): هذا يشبه ضغط الصورة كثيرًا لدرجة أنها تصبح مشوشة (pixelated). وجد الباحثون أن هذا حطم "عيون" "دكتور AI" وأيضًا ثقته. حتى لو حاولوا إصلاح الثقة باستخدام حيلة "إعادة التدريب"، لم يتمكنوا من إصلاح الضرر الذي لحق بالعيون بشكل كامل. أصبح الروبوت أقل دقة، ولم تكن أي عملية حسابية سريعة كافية لإعادة الأمور إلى نصابها.

الخلاصة

الدرس الرئيسي من هذه الدراسة هو أنه لكي يكون الذكاء الاصطناعي آمنًا في العالم الحقيقي، لا يمكننا الاكتفاء بالنظر في ما إذا كان بإمكانه رصد المرض فحًا. يجب علينا أيضًا التحقق مما إذا كانت ثقته منطقية في المكان الجديد.

إذا كنت تنقل ذكاءً اصطناعيًا طبيًا من مستشفى غني إلى قرية فقيرة، فلا تفترض ببساطة أنه سيعمل لمجرد أنه ذكي. قد يكون المرض أكثر شيوعًا هناك، وهذا سيسبب ارتباكًا لثقة الروبوت. لكن الخبر السار هو أنك لست بحاجة إلى مليون صورة جديدة لإصلاحه؛ أنت تحتاج فقط إلى درس صغير ورخيص (حوالي 100-200 مثال) وحيلة رياضية صحيحة لتعليم الروبوت كيف يثق في مشاعره مرة أخرى. وإذا كنت تقوم بتقليص البرنامج ليتناسب مع جهاز صغير، فكن حذرًا: فالتقليص الزائد قد يكسر الروبوت بطرق لا يمكنك إصلاحها بسهولة.