When Experts Disagree: Characterizing Annotator Variability for Vessel Segmentation in DSA Images

تخيل أنك تحاول رسم خريطة لمدينة صغيرة، ملتوية، تقع داخل رأس بشري، لكنك لا تستطيع رؤيتها إلا من خلال نافذة ضبابية. هذا هو عالم التصوير الطبي، وتحديداً تقنية تصوير الأوعية الرقمي بطرح الصور (DSA). يستخدم الأطباء هذه التقنية لتصوير الأوعية الدموية في الدماغ، والتي تبدو مثل شبكة معقدة من الطرق. ولمساعدة الحواسيب على تعلم كيفية قراءة هذه الخرائط تلقائياً، يتعين على البشر رسم خطوط الطرق أولاً، وهذا ما يسمى بـ "التجزئة" (segmentation). عادةً، نفترض أنه إذا رسم خبير بشري الخط، فإن هذا الرسم هو "الحقيقة" المطلقة. ولكن ماذا لو نظر خبيران إلى نفس النافذة الضبابية ورسما خطوطاً مختلفة قليلاً؟ ماذا لو رأى أحدهما زقاقاً صغيراً غفل عنه الآخر؟ تغوص هذه الورقة البحثية في هذا اللغز تحديداً؛ فهي تطرح سؤالاً بسيطاً ولكنه شائك: إذا كان حتى الخبراء لا يتفقون على مكان وجود الأوعية الدموية، فكيف يمكننا تعليم الحاسوب كيف يصيب الهدف؟ الإجابة لا تتعلق فقط بالرسم الأفضل، بل بفهم أن "الحقيقة" قد تكون ضبابية بعض الشيء، وهذا أمر طبيعي.

قرر الباحثون وراء هذه الدراسة التوقف عن التظاهر بأن هناك طريقة واحدة مثالية فقط لرسم هذه الأوعية الدموية في الدماغ. فقد جمعوا 66 صورة حقيقية لأوعية دموية دماغية من مرضى، وطلبوا من خبيرين تتبع الأوعية يدوياً؛ كان أحد الخبيرين طبيباً متدرباً متخصصاً في إجراءات الأوعية الدموية، والآخر عالماً يعرف كيفية تعليم الحواسيب الرؤية. وكما كان متوقعاً، لم يرسم الخبيران نفس الخطوط تماماً. في بعض الأحيان، اتفقا بشكل مثالي، ولكن في كثير من الأحيان اختلفا، خاصة في الأوعية الدقيقة والمتناهية الصغر التي يقل عرضها عن 1 أو 2 بكسل. ولتحديد من هو "المحق"، لم يكتفِ الفريق باختيار فائز واحد، بل استعانوا بلجنة كاملة مكونة من 11 حكماً آخرين — من أطباء وعلماء — للنظر في 100 قطعة صغيرة من الصور والتصويت عما إذا كان الوعاء موجوداً أم لا.

كانت النتائج رائعة ومثيرة للدهشة نوعاً ما. فعندما اتفق الخبيران الأصليان على وجود وعاء دموي، اتفق معهما الحكام بنسبة 90% من الوقت. ولكن عندما اختلف الخبيران، انقسم الحكام؛ فإذا قال الخبير (أ) "يوجد وعاء" وقال الخبير (ب) "لا يوجد وعاء"، انحاز الحكام للخبير (أ) بنسبة 76% من الوقت. ومع ذلك، إذا انعكست الأدوار، فقد انحازوا للخبير (أ) بنسبة 16% فقط. أظهر هذا أن "الحقيقة الأرضية" ليست خطاً واحداً صلباً، بل هي أشبه بسحابة من الاحتمالات. كما قام الفريق بقياس مدى تداخل رسومات الخبراء باستخدام أداة رياضية خاصة تسمى "clDice"، والتي تتحقق مما إذا كان مركز الخطوط المرسومة يتطابق. ووجدوا أنه بينما كان الخبراء متناغمين في الغالب، إلا أنه كان لا يزال هناك فجوة ملحوية، خاصة بالنسبة للأوعية الأكثر دقة.

ولحل مشكلة قياس هذه الخطوط الدقيقة والضبابية، ابتكر الباحثون طريقة جديدة لحساب الدرجات. كانت الطريقة القديمة صارمة للغاية؛ فإذا انحرف خط الخبير قليلاً عن الآخر، تنهار الدرجة، حتى لو كان كلاهما ينظر إلى نفس الوعاء الرفيع. ابتكر الفريق "clDice معدلاً" يعمل كشبكة أمان؛ فبدلاً من المطالبة بتطابق الخطوط بكسل بكسل، يسأل: "هل الخط قريب بما يكفي؟". اختبروا ذلك باستخدام "عتبات مسافة" مختلفة، مثل حدود ضبابية تبلغ 2.5 بكسل حول الخط. وأظهرت هذه الطالة الجديدة أن الخبراء كانوا في الواقع في اتفاق أفضل بكثير مما أوحت به الرياضيات الصارمة القديمة.

فماذا يعني كل هذا؟ لا تدعي الورقة البحثية أنها حلت مشكلة الرسم المثالي للأوعية. بدلاً من ذلك، تقترح أننا بحاجة إلى تغيير طريقة تعليم الحواسيب. لا ينبغي لنا فقط أن نغذيها برسم شخص واحد ونقول لها: "هذه هي الحقيقة"، بل يجب أن نعلمها فهم عدم اليقين. ومن خلال استخدام الخلاف بين الخبراء كدليل، يمكننا إخبار الحاسوب: "مهلاً، هذه المنطقة صعبة؛ ربما نحتاج إلى المزيد من العيون عليها"، أو يمكننا بناء نماذج ذكاء اصطناعي تعرف متى تكون حذرة. كما شارك الفريق عملهم مع العالم: قاعدة بيانات تضم حوالي 2,000 قطعة من الصور مع كل هذه الرسومات المختلفة، والبرمجيات مفتوحة المصدر التي استخدموها لقياس عدم اليقين. باختختصار، لقد أثبتوا أنه في عالم التصوير الطبي الفوضوي، يعد الاعتراف بأن الخبراء يختلفون هو في الواقع الخطوة الأولى نحو بناء أدوات أكثر ذكاءً وموثوقية.