CXR-Retrieve: Compositional Text-to-Image Retrieval in Chest Radiography
تقدم هذه الورقة CXR-Retrieve، وهو معيار هيكلي وطريقة ضبط دقيق تبايني مدركة للعلامات تحسن بشكل كبير عملية استرجاع الصور من النصوص في التصوير الشعاعي للصدر من خلال ضمان استيفاء الصور المسترجعة للقيود السريرية المعقدة، بما في ذلك العطف والنفي، بدلاً من مجرد مطابقة الكلمات المفتاحية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق يحاول حل لغز ما، ولكن بدلاً من البحث عن مشتبه به، أنت تبحث في مكتبة ضخمة من صور الأشعة السينية. في العالم الحقيقي، يمتلك الأطباء الملايين من هذه الصور، لكن معظمها يقبع هناك مع فقرة نصية طويلة وفوضوية مرفقة بها—وهي تقرير طبيب الأشعة. إذا أردت العثور على صورة لعظمة مكسورة، فلا يمكنك ببساطة أن تسأل الكمبيوتر "أرني العظام المكسورة". عليك قراءة آلاف التقارير لتجد الصورة الصحيحة.
لجعل هذا الأمر أسهل، يقوم العلماء بتعليم الحواسيب فهم كل من الصور والكلمات في وقت واحد. فكر في هذا كتعليم روبوت التحدث بلغة "صورة-إنجليزية". أفضل المعلمين لهذه المهمة هي نماذج تسمى "نماذج الرؤية واللغة" (Vision-Language Models). هؤلاء يشبهون أمناء مكتبة فائق الذكاء قرأوا كل كتاب ونظروا إلى كل صورة في المكتبة، وتعلموا كيفية مطابقة الوصف بالصورة. عادةً، يتم تدريب هؤلاء الأمناء على مطابقة قصة كاملة وطويلة (تقرير طبي كامل) بصورة ما. ولكن ماذا يحدث إذا كنت لا تريد القصة بأكملها؟ ماذا لو كنت تريد فقط صورة تحتوي على شيء واحد محدد، ولكن بالتأكيد ليس شيئًا آخر؟ هنا يبدأ أمناء المكتبة الحاليون في الارتباك. إنهم بارعون في إيجاد "القصة"، لكنهم سيئون للغاية في اتباع التعليمات القصيرة والصارمة مثل "أرني رئة بها سوائل، ولكن تأكد من عدم وجود التهاب رئوي".
هذه هي المشكلة التي قرر فريق من الباحثين من معهد التكنيون وجامعة بن غوريون معالجتها. لقد أدركوا أنه بينما تصبح الحواسيب أفضل في مطابقة التقارير الطويلة بالأشعة السينية، فإنها تفشل فشلاً ذريعاً في الإجابة على الأسئلة السريرية القصيرة والدقيقة، خاصة عندما تتضمن تلك الأسئلة قول "لا" لشيء ما أو الجمع بين حالتين مختلفتين.
المشكلة: ارتباك "نعم، ولكن لا"
وجد الباحثون أن نماذج الذكاء الاصطناعي الحالية لديها نقطة عمياء غريبة. إذا طلبت منهم صورة بها "انخماص" (Atelectasis - وهو جزء منهار من الرئة) و"لا يوجد التهاب رئوي"، فإن الذكاء الاصطناعي غالباً ما يتجاهل جزء الـ "لا". فهو يرى كلمة "التهاب رئوي" في طلبك ويعتقد: "أوه، إنهم يريدون التهاباً رئوياً!" ويظهر لك صورة تحتوي على كلا المشكلتين. الأمر يشبه أن تطلب من طاهٍ برجر بدون جبن، فيسمع الطاهي كلمة "جبن" ويقرر وضع شريحة ضخمة من الجبن على البرجر لأنه كان مركزاً جداً على الكلمة نفسها بدلاً من التركيز على التعليمات.
أنشأ الفريق اختباراً جديداً يسمى CXR-RETRIEVE لإثبات ذلك. لقد بنوا تحدياً خاصاً يضم 5,159 صورة أشعة سينية و145 استعلام بحث مختلفاً. بعض الاستعلامات كانت بسيطة ("أرني كسراً")، وبعضها كان مركباً ("أرني كسراً وآفة رئوية")، وبعضها كان محيراً في النفي ("أرني كسراً ولكن بدون آفة رئوية"). وجدوا أن أفضل النماذج الموجودة، والتي يتم تدريبها على مطابقة التقارير الكاملة، كانت غالباً ما تنجح في الاستعلامات البسيطة، لكنها كانت تفشل تماماً في الاستعلامات المحيرة. كانت تسترجع صوراً تطابق الكلمات ولكنها تنتهك المنطق.
الحل: تعليم الذكاء الاصطناعي كيف يفهم "لا"
لإصلاح ذلك، لم يكتفِ الباحثون بضخ المزيد من البيانات في المشكلة؛ بل غيروا طريقة تعلم الذكاء الاصطناعي. لقد قدموا طريقة جديدة للتدريب تسمى التدريب التبايني المدرك للتسميات (label-aware contrastive fine-tuning).
تخيل أنك تعلم كلباً كيف يجلب كرة. إذا قلت "أحضر الكرة"، سيركض الكلب إلى الكرة. ولكن إذا قلت "أحضر الكرة، ولكن لا تحضر العصا"، فقد يرتبك الكلب العادي ويحضر كليهما. علم الباحثون الذكاء الاصطناعي قاعدة جديدة: "إذا رأيت صورة تطابق جزء 'الكرة' ولكنها تحتوي أيضاً على جزء 'العصا'، يجب عليك دفعها بعيداً".
لقد فعلوا ذلك من خلال إنشاء "بطاقة تسجيل" خاصة لكل زوج من الصور والنصوص.
- الجذب: إذا اتفقت صورة واستعلام نصي على ما هو موجود (على سبيل المثال، كلاهما يقول "الوذمة موجودة هنا") وما هو غائب (على سبيل المثال، كلاهما يقول "لا يوجد التهاب رئوي")، يتم مكافأة الذكاء الاصطناعي لتقريبهما من بعضهما البعض.
- التنافر: هذا هو السر الحقيقي. إذا قال النص "لا يوجد التهاب رئوي" ولكن الصورة تحتوي بالفعل على "التهاب رئوي"، يتم معاقبة الذكاء الاصطناعي صراحةً وإخباره بدفع تلك الصورة بعيداً جداً. إنه يشبه علامة "ممنوع اللمس" التي تطرد الإجابات الخاطئة بنشاط.
كما تأكدوا من أن الذكاء الاصطناعي يفهم أنه إذا لم يذكر التقرير مرضاً ما، فهذا لا يعني بالضرورة "نعم" أو "لا" — بل يعني فقط "غير معروف". ولكن إذا قال التقرير صراحة "لا يوجد التهاب رئوي"، فهذه حقيقة مؤكدة يجب على الذكاء الاصطناعي احترامها.
النتائج: قفزة هائلة في المنطق
عندما اختبروا طريقتهم الجديدة، كانت النتائج مثيرة للإعجاب، خاصة بالنسبة للأسئلة الصعبة.
- للبحث البسيط: كان نموذجهم بنفس جودة أفضل النماذج الموجودة.
- للبحث المركب (أ و ب): حققوا تحسناً في الدقة بنسبة 8.5 نقطة مئوية عن أفضل نموذج سابق.
- للبحث المحير (أ و لا ب): كان هذا هو الفوز الأكبر. فقد حققوا تحسناً في الدقة بنسبة 22.0 نقطة مئوية.
لوضع ذلك في الاعتبار، إذا كان النموذج القديم يستطيع فقط إيجاد صورة "لا يوجد التهاب رئوي" الصحيحة 20 مرة من أصل 100، فإن النموذج الجديد يجدها 42 مرة من أصل 100. كما قاموا بقياس عدد المرات التي يرتكب فيها الذكاء الاصطناعي الخطأ المحدد المتمثل في إظهار صورة تحتوي على المرض المحظور (المسمى معدل استرجاع السلبيات الصعبة). انخفض معدل الخطأ هذا بشكل كبير في طريقتهم، مما يعني أن الذكاء الاصطناعي كان أقل عرضة لتجاهل الـ "لا" في طلبك.
لماذا يهم هذا
يشير الباحثون إلى أنه لكي يكون الذكاء الاصطناዊ الطبي مفيداً حقاً، لا يمكنه أن يكون مجرد آلة لمطابقة الكلمات. يجب أن يفهم المنطق السريري. يجب أن يعرف أن "انخماص ولا يوجد التهاب رئوي" هي طلب مختلف تماماً عن "انخماص والتهاب رئوي". من خلال تعليم الذكاء الاصطناعي كيف ينفر بنشاط من الصور المتناقضة ويحترم قيود الـ "لا" الصريحة، أظهروا أنه يمكننا بناء أنظمة تستمع بالفعل إلى تعليمات الأطباء القصيرة والمحددة.
هذا ليس عصا سحرية تحل كل المشكلات الطبية بعد، ولكنه يشير إلى مسار واضح للمضي قدماً. إذا أردنا من الحواسيب أن تساعد الأطباء في العثد على الحالات الماضية الصحيحة للتعلم منها، فعلينا ألا نعلمها فقط معنى الكلمات، بل كيف تتناسب تلك الكلمات معاً لوصف واقع المريض. وتخلص الورقة البحثية إلى أن استرجاع الصور الطبية الموثوق يتطلب أهداف تدريب لا تكتفي بنمذجة أي النتائج تم ذكرها، بل كيف تم تأكيدها — سواء كانت موجودة، أو غائبة، أو غير مؤكدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.