Forensic Reproducibility Audit of a Radiology Vision-Language Model Benchmark: From Intended Protocol to Released Artifact

تخيل عالماً يبني فيه العلماء محققين رقميين لقراءة الأشعة السينية وإخبار الأطباء بما هو خاطئ. هؤلاء المحققون هم نوع خاص من برامج الكمبيوتر تسمى "نموذج لغة ورؤية" (Vision-Language Model). فكر فيهم كأنهم روبوتات فائقة الذكاء يمكنها النظر إلى صورة لصدر ثم كتابة تقرير، تماماً كما قد يفعل طبيب بشري. ولكي يرى الباحثون ما إذا كانت هذه الروبوتات جيدة أم لا، يقومون بإنشاء "معايير قياس" (benchmarks). معيار القياس هو مثل اختبار معياري: تعرض على الروبوت 30 صورة أشعة سينية، وتطرح عليه أسئلة محددة، ثم تتحقق من إجاباته مقابل "المعيار الذهبي" لترى كم عدد الإجابات الصحيحة التي حصل عليها. والجميع يفترض أنه إذا كُتب الاختبار في ورقة بحثية، فإن الكمبيوتر قد فعل بالضبط ما تقوله الورقة. ولكن ماذا لو سلك الكمبيوتر طريقاً مختصراً؟ ماذا لو تم استبدال أسئلة الاختبار، أو قُلبت صور الأشعة رأساً على عقب، ولم يلاحظ أحد ذلك حتى بعد سنوات؟ هذا هو الفارق المخيف بين ما "نقول" أننا فعلناه وما "فعله" الكمبيوتر بالفعل.

هذه الورقة هي قصة تحقيق جنائي عن أحد تلك الاختبارات الرقمية. قرر المؤلف، ماتيوس كوزلوفسكي، أن يلعب دور محقق مسرح الجريمة الرقمي. لم يقم بإجراء الاختبار مرة أخرى؛ بل نظر بدلاً من ذلك إلى "مسرح الجريمة" (ملفات الكمبيوتر والكود البرمجي) الذي تركه بحث سابق. أراد أن يرى ما إذا كانت القصة المروية في التقرير النهائي تتطابق مع واقع الملفات الموجودة على القرص الصلب. وجد أن القصة والواقع مختلفان تماماً. زعم البحث أنه يقارن بين طريقتين مختلفتين لطرح الأسئلة على الروبوت، ولكن من خلال تتبع مسار كيفية استيراد التعليمات واستدعائها داخل الكود، اكتشف أن الروبوت كان يُسأل في الواقع نفس السؤال مرتين. زعم البحث أنه استخدم 30 مريضاً مختلفاً، لكن الملفات أظهرت وجود 28 فقط. زعم البحث أنه استخدم صور أشعة مثالية، لكن أربع صور منها كانت مقلوبة بشكل خاطئ، مثل النظر إلى صورة مرآة للصدر. وبسبب هذه الأخطاء، كانت النتائج والترتيبات النهائية في التقرير الأصلي خاطئة. ويخلص المؤلف إلى أن نتائج الاختبار الأصلية لا يمكن الوثوق بها لإخبارنا بمدى جودة عمل الروبوتات حقاً، ويقترح مجموعة جديدة من "القواعد الآلية" لضمان عدم حدوث مثل هذه الأعطال الخفية في الاختبارات المستقبلية.

تقرير المحقق الرقمي

الإعداد: اختبار لم يكن اختباراً
تخيل أنك معلم تعطي اختباراً في الرياضيات. تقول للفصل: "سأعطيكم نسختين مختلفتين من الاختبار، النسخة (أ) والنسخة (ب)، لأرى أيهما أصعب". توزع الأوراق، تجمعها، ثم تصححها. ولكن عندما تنظر إلى نموذج الإجابة الخاص بك لاحقاً، تدرك أنك قدمت لكل الطلاب بالخطأ النسخة (ج) نفسها. كنت تعتقد أنك تختبر الفرق بين (أ) و(ب)، لكنك كنت تختبر فقط كيف أدى الطلاب في النسخة (ج) مرتين.

هذا هو بالضبط ما حدث في هذه الدراسة. أراد الباحثون معرفة ما إذا كان طرح سؤالين مختلفين على ذكاء اصطناعي طبي (المطالبة أ والمطالبة ب) سيغير الإجابات. أجروا الاختبار على 30 صورة أشعة سينية للصدر. ومع ذلك، عندما نبش المؤلف في كود الكمبيوتر، وجد "خللاً" في نظام التسليم. من خلال تتبع مسار كيفية استيراد واستدعاء التعليمات، وجد أن الكود كان من المفترض أن ينتقل بين المطالبة (أ) والمطالبة (ب)، ولكن بسبب خطأ برمجي، تم إرسال مجموعتي الأسئلة بالفعل كالمطالبة (ج). لذا، الـ 60 مرة التي طُلب فيها من الكمبيوتر الإجابة، كان في الواقع يجيب على نفس السؤال 60 مرة. زعم البحث أنه وجد فرقاً بين (أ) و(ب)، ولكن بما أن (أ) و(ب) لم يحدثا فعلياً، فإن ذلك الفرق كان مجرد شبح.

خلط الأشعة السينية
بعد ذلك، تخيل أنك تنظر إلى صورة بالأبيض والأسود. إذا كانت الصورة مطبوعة بنظام "السالب" (حيث الأسود يصبح أبيض والأبيض يصبح أسود)، فقد تعتقد أن البقعة الداكنة هي في الواقع بقعة فاتحة. في عالم التصوير الطبي، هناك نوعان من إعدادات الأبيض والأسود: أحدهما حيث يعني اللون الداكن "العظم" والآخر حيث يعني اللون الداكن "الهواء". زعم البحث أنه استخدم صور أشعة سينية قياسية. لكن المؤلف وجد أن أربع صور كانت في إعداد "الهواء"، وأن كود الكمبيوتر نسي قلبها إلى إعداد "العظم" قبل عرضها على الذكاء الاصطناعي.

الأمر يشبه تقديم برجر للزبون مع وضع الخبز في الأسوال واللحم في الأعلى، ثم الادعاء بأنك قدمت "برجر قياسي". لقد رأى الذكاء الاصطناعي صورة مقلوبة، وليس الصورة الحقيقية. وهذا يعني أن الذكاء الاصطناعي اتخذ قرارات بناءً على واقع مشوه، وليس بناءً على الأشعة السينية الفعلية.

عدد المرضى والملفات المفقودة
ذكرت الدراسة أنها استخدمت 30 مريضاً مختلفاً. لكن عندما عدّ المؤلف الملفات، وجد أن مريضين قد ظهرا مرتين، مما يعني وجود 28 شخصاً فريداً فقط. الأمر يشبه نداء أسماء في فصل دراسي حيث سجل طالبان حضورهم مرتين، مما جعل الأمر يبدو وكأن هناك 30 طفلاً بينما يوجد 28 فقط. هذا الأمر مهم لأنه إذا كان نفس الشخص موجوداً في الاختبار مرتين، فإن ذلك يفسد النتائج.

علاوة على ذلك، خططت الدراسة لـ 300 إجابة (30 صورة أشعة × 10 نماذج ذكاء اصطناضي مختلفة). ولكن عندما فحص المؤلف الملفات، وجد أن ثلاثة منها كانت مفقودة أو فارغة. ملفان كانا فارغين تماماً (صفر بايت)، وواحد كان مفقوداً تماماً. ادعى التقرير الأصلي أن هذه كانت إجابات ناجحة، لكنها كانت في الواقع إخفاقات. إنه يشبه معلماً يصحح اختباراً ويعطي درجة لطالب رغم أن الطالب ترك الورقة بيضاء.

الرياضيات "السحرية"
بسبب هذه الأخطاء، كانت الرياضيات في الورقة الأصلية خاطئة. قام المؤلفون بحساب إحصائية تسمى "إحصائية كوكران" (Cochran statistic) لمعرفة ما إذا كانت النماذج مختلفة. قال البحث الأصلي إن النتيجة كانت 154.73. وعندما قام المؤلف بتصحيح الرياضيات باستخدام البيانات الصحيحة والكاملة (369 كتلة من المعلومات بدلاً من النسخة الفوضوية وغير المكتملة)، قفزت النتيجة إلى 182.29.

كما ادعى البحث الأصلي أن 26 من أصل 45 مقارنة أظهرت فرقاً "جوهرياً". وعندما أعاد المؤلف حساب الرياضيات باستخدام البيانات الصحيحة والكاملة، وجد أن 27 من أصل 45 مقارنة كانت جوهرية عند استخدام الطريقة غير المعدلة، و20 من أصل 45 كانت جوهرية عند استخدام طريقة "هولم" (Holm-adjusted) الأكثر صرامة. ومع ذلك، فإن النتيجة الأصلية البالغة 28 من أصل 45 تم إعادة إنتاجها بالفعل عندما أجرى المؤلف تحليلاً منفصلاً حيث استخدمت كل مقارنة مقامها الخاص. وبينما تبدو هذه الأرقام متشابهة، إلا أن "المعنى" مختلف تماماً لأن البيانات التي استندت إليها كانت معيبة. الادعاء الأصلي بأن "النموذج أ أفضل من النموذج ب" استند إلى اختبار لم يحدث أبداً.

الإصدار "القديم"
هذا هو الجزء الأكثر إحباطاً. عندما أدرك الباحثون خطأهم وقاموا بتصحيح الأرقام في ورقتهم المكتوبة، نسوا تحديث الملفات الرقمية التي شاركوها مع العالم. لقد رفعوا ورقة "منقحة"، لكن ملف الـ (zip) المرفق كان لا يزال يحتوي على الأرقام القديمة والخاطئة والأسماء القديمة للنماذج. الأمر يشبه طباخاً يصحح وصفة في كتاب طبخ ولكنه ينسى تغيير قائمة المكونات على الموقع الإلكتروني. كل من قام بتحميل الملف حصل على النسخة القديمة المعطلة.

الحل: كتاب قواعد جديد
المؤلف لا يكتفي بالإشارة إلى الأخطاء فحسب؛ بل يبني كتاب قواعد جديداً لمنع حدوث ذلك مرة أخرى. يطلق عليه اسم "عقد المعيار" (Benchmark Contract). تخيل عقداً يجبر الكمبيوتر على إثبات أنه فعل الشيء الصحيح قبل أن يُسمح له بنشر نتيجة ما.

يتكون هذا العقد من ثمانية قواعد:

1. عقد المجموعة (Cohort Contract): أثبت أن لديك العدد الصحيح من المرضى الفريدين.
2. عقد البكسل (Pixel Contract): أثبت أن صور الأشعة السينية لم تكن مقلوبة أو تالفة.
3. عقد المطالبة (Prompt Contract): أثبت أن الذكاء الاصطناعي تلقى بالفعل السؤال المحدد الذي طرحته، وليس سؤالاً آخر.
4. عقد النموذج (Model Contract): أثبت أنك استخدمت الإصدار الدقيق من الذكاء الاصطناعي الذي ذكرته.
5. عقد المخرجات (Output Contract): أثبت أن ملف الإجابة ليس فارغاً.
6. عقد التوصيف (Annotation Contract): أثبت أن التصنيفات (مثل "مريض" أو "سليم") قد تم تعيينها بشكل صحيح.
7. عقد التحليل (Analysis Contract): أثبت أن الرياضيات تمت على المجموعات الصحيحة من البيانات.
8. عقد الإصدار (Release Contract): أثبت أن الملفات التي تشاركها تطابق الورقة التي كتبتها.

بنى المؤلف مجموعة من 36 اختباراً آلياً (مثل مفتش آلي) تتحقق من هذه القواعد. إذا فشل اختبار ما، يتوقف النظام ويقول: "لا، لا يمكنك نشر هذا بعد".

الخلاصة
النتيجة الكبرى هي أن ادعاءات الدراسة الأصلية حول مدى جودة عمل نماذج الذكاء الاصطناعي هذه قد سُحبت. المؤلف واضح جداً: النتائج الأصلية غير صالحة. لا يمكنك الوثوق في التصنيفات أو في النموذج "الأفضل" لأن الاختبار كان معطلاً. الشيء الوحيد الذي يمكن إنقاذه هو قصة كيف تعطل.

يقترح المؤلف أنه في المستقبل، نحتاج إلى استخدام هذه العقود التي يمكن فحصها آلياً. لا يمكننا فقط الوثوق بأن الكمبيوتر فعل ما أمرناه به؛ بل نحتاج من الكمبيوتر أن يثبت ذلك. لا تقدم هذه الورقة نموذج ذكاء اصطناعي جديداً وأفضل؛ بل تقدم طريقة أفضل للتأكد من أن الاختبارات التي نستخدمها للحكم على الذكاء الاصطناعي عادلة وحقيقية. إنها تذكير بأنه في العصر الرقمي، إذا لم تفحص الكود، فقد تكون بصدد تقييم اختبار لم يحدث أبداً.