Lesion-Grounded Content-Based Retrieval of CT Findings Using Foundation Model Patch Embeddings for Case Review
تُظهر هذه الدراسة أنه يمكن بناء نظام قابل لإعادة الاستخدام، وخالٍ من المهام المحددة مسبقاً، لاسترجاع المحتوى القائم على الآفات من صور الأشعة المقطعية باستخدام تضمينات الرقع (patch embeddings) من نموذج تأسيسي حجمي مجمد، وهو ما يتفوق بشكل كبير على مستويات الصدفة والأساليب المعتمدة على الوصفات فقط في استرجاع الحالات التعليمية ذات الصلة دون الحاجة إلى ضبط دقيق.
لطالما اعتمد التصوير الطبي على القدرة على مقارنة فحص المريض الحالي بحالات سابقة لفهم ما يراه الطبيب. فعندما يفحص أخصائي الأشعة تصويراً مقطعياً (CT) للصدر، فإنه يبحث عن تشوهات محددة، مثل عقدة صغيرة أو بقعة من الالتهاب. وتكون الطريقة الأكثر فائدة للتعرف على اكتشاف جديد هي رؤية كيف يبدو في مرضى آخرين عانوا من مشكلات مماثلة. ومع ذلك، فإن البحث عبر آلاف الصور المخزنة أمر صعب لأن الحواسيب عادة ما تقارن الصور الكاملة دفعة واحدة. وهذا النهج الشامل غالباً ما يغفل البقعة المحددة محل الاهتمام، حيث يتشتت الانتباه بسبب التشريح الطبيعي أو الأمراض غير ذات الصلة الموجودة في نفس الفحص. ولجعل عمليات البحث هذه مفيدة للتعليم والمراجعة، احتاج الباحثون إلى وسيلة لتعليم الحواسيب كيفية التركيز على بقعة واحدة محددة داخل حجم ضخم من البيانات ثلاثية الأبعاد، بدلاً من مجرد النظر إلى الصورة بأكملها.
لقد طور أحد الباحثين طريقة تسمح للحاسوب بإيجاد آفات طبية مماثلة من خلال النظر إلى قطع صغيرة ومحددة من الصورة، باستخدام نموذج قوي مسبق التدريب لم يُعلم خصيصاً للعثور على هذه البقع. يعمل النظام من خلال أخذ نموذج تأسيسي "مجمد" أو غير متغير — وهو نوع من الذكاء الاصطناعي الذي تعلم بالفعل فهم البنية العامة لصور الأشعة المقطعية ثلاثية الأبعاد — واستخدامه لتفكيك الفحص إلى مكعبات صغيرة من البيانات. وبدلاً من معاملة الفحص بأكمله ككتلة واحدة كبيرة، يحدد النظام المكعبات المحددة التي تتداخل مع تشوه معروف ويجمع معلوماتها في بصمة رقمية فريدة. تمثل هذه البصمة تلك الآفة المحددة فقط، مع الحفاظ على صلتها بالمريض الأصلي وملاحظات الطبيب. ثم اختبر الباحث ما إذا كان هذا النهج يمكنه بنجاح إيجاد آفات أخرى تشبه العينة المستعلم عنها، حتى دون تعليم الحاسوب كيفية ترتيب الحالات الطبية بشكل محدد.
استخدمت الدراسة مجموعة كبيرة من صور الأشعة المقطعية للصدر حيث تم تحديد كل تشوه مسبقاً بمخطط ثلاثي الأبعاد دقيق وربطه بوصف مكتوب. أنشأ الباحث مكتبة تضم أكثر من 14,000 آفة محددة من ما يقرب من 3,000 مريض مختلف. ثم أخذ 407 آفات محددة من 50 فحصاً آخر وطلب من النظام إيجاد المطابقات الأكثر تشابهاً في المكتبة. ولاختبار مدى نجاح النظام، جربوا ثلاث طرق مختلفة لتحديد منطقة البحث: باستخدام المخطط الدقيق والمثالي للآفة، واستخدام صندوق ضيق يحتوي الآفة فقط، واستخدام صندوق واسع يتضمن بعض الأنسجة المحيطة. عندما كانت منطقة البحث هي المخطط الدقيق للآفة، وجد النظام نوعاً مطابقاً من الآفات في النتيجة الأولى في نصف الحالات تقريباً، وهو تحسن ملحوظ عن التخمين العشوائي. وعندما كانت منطقة البحث عبارة عن صندوق ضيق، انخفض معدل النجاح قليلاً ولكنه ظل قوياً. وحتى عندما كانت منطقة البحث عبارة عن صندوق واسع مع أنسجة إضافية، تمكن النظام من إيجاد مطابقة ذات صلة في أفضل عشر نتائج أكثر من 80 في المائة من المرات.
وجد الباحث أن النظام يعمل بشكل أفضل عندما تكون منطقة البحث دقيقة، لكنه ظل متيناً بشكل مفاجئ حتى عندما كانت منطقة البحث أكثر عشوائية. وهذا يشير إلى أن النموذج الأساسي قد تعلم ما يكفي حول النسيج البصري لهذه الحالات الطبية للتعرف عليها دون الحاجة إلى إعادة تدريبه لهذه المهمة المحددة. كما أثبت النظام أنه يمكنه تنظيم النتائج ليس فقط بناءً على الآفة نفسها، بل من خلال تجميعها مرة أخرى إلى فحوصات المرضى الأصلية، مما يسمح للمستخدم برؤية السياق الكامل للحالة. والأهم من ذلك، أظهرت الدراسة أن هذا الأسلوب لم يتطلب من الحاسوب قراءة التقارير النصية لاتخاذ قراراته؛ بل اعتمد كلياً على الأنماط البصرية داخل بيانات الصورة. وبينما لم يكن أداء النظام مثالياً، وكانت قدرته على التمييز بين أنواع التشوهات المتشابهة جداً ولكن المختلفة أحياناً محدودة، فقد نجح في إثبات أنه يمكن بناء طبقة قابلة لإعادة الاستخدام للعثور على نتائج طبية محددة باستخدام أدوات الذكاء الاصطناعي العامة الموجودة.
تشير النتائج إلى أن هذا النهج يوفر طريقة عملية لبناء مكتبات قابلة للبحث من الحالات الطبية لأغراض تعليمية، حيث يمكن للطالب أو الطبيب النظر إلى تشوه معين ورؤية كيف ظهر في العديد من المرضى الآخرين على الفور. لم تدّعِ الدراسة أن هذا النظام يمكنه تشخيص المرضى أو استبدال حكم الطبيب، ولم تثبت أنه سيعمل على كل أنواع الأمراض أو في كل مستشفى. لقد أجريت الاختبارات على مجموعة محددة من فحوصات الصدر، وأشار الباحث إلى أن أداء النظام يعتمد على دقة منطقة البحث المقدمة. ومع ذلك، فإن النتيجة الجوهرية قائمة: من خلال التركيز على قطع صغيرة وموضعية من البيانات بدلاً من الصورة بأكملها، من الممكن إنشاء أداة مرنة تساعد في تنظيم واسترجاع الحالات الطبية بناءً على مظهرها، دون الحاجة إلى تدريب مخصص ومعقد لكل قاعدة بيانات جديدة.
ملخص تقني: استرجاع المحتوى القائم على الآفات المرتكزة على الآفات لنتائج التصوير المقطعي المحوسب باستخدام تضمينات رقع (Patch Embeddings) النماذج التأسيسية
بيان المشكلة غالباً ما تتطلب عمليات التعليم ومراجعة الحالات في مجال التصوير المقطعي المحوسب (CT) إمكانية الوصول إلى فحوصات سابقة تحتوي على تشوهات محددة وموضعية. ومع ذلك، فإن أنظمة استرجاع المحتوى القائم على الصور (CBIR) القياسية تعمل عادةً على مستوى الحجم الكامل، حيث يمكن للتشريح العام، أو عبء المرض في الخلفية، أو النتائج غير ذات الصلة أن تهيمن على مقاييس التشابه، مما يحجب آفات معينة. علاوة على ذلك، فإن نماذج الاسترجاع الحالية غالباً ما تكون خاصة بمجموعة بيانات معينة، مما يتطلب ضبطاً دقيقاً (fine-tuning) خاصاً بالمهمة، وهو ما يحد من قابليتها لإعادة الاستخدام عبر قواعد بيانات الصور الطبية المختلفة. تعالج هذه الدراسة تحدي بناء إطار عمل استرجاع قابل لإعادة الاستخدام ومرتكز على الآفات، يعمل دون الحاجة لتدريب مخصص للمهمة، وذلك باستخدام الميزات المكانية من نموذج تأسيسي حجمي مجمد.
المنهجية يستخدم الإطار المقترح مشفراً تأسيسياً حجمياً مجمداً (بشكل أساسي FlexiCT-3D) لتوليد ميزات رقع مكانية (spatial patch-token features). لا يقوم النظام بضبط المشفر لمهام الاسترجاع، بل يوظف "مسار أدوات التشتت" (sparse artifact pipeline) لاشتقاق تمثيلات آفات قابلة لإعادة الاستخدام:
الفهرسة: لكل مرجع تصوير مقطعي في قاعدة البيانات، يقوم المشفر بمعالجة الحجم مرة واحدة لإنتاج شبكة من الرقع المكانية (8x8x8 فوكسل). يتم إسقاط أقنعة الآفات من مجموعة البيانات على هذه الشبكة من الرقع.
بناء تضمين الآفة: يتم تجميع رقع الـ (tokens) التي تتداخل مع الآفة باستخدام تجميع متوسط الأوزان بناءً على الإشغال (مع عتبة إشغال τ=0.05) وتطبيع L2 لإنشاء تضمين آفة واحد مكون من 864 بُعداً. يحتفظ هذا التضمين بالروابط مع التصوير المقطعي الأب، والبيانات الوصفية للتعليقات، ونص النتائج المصدرية.
معالجة الاستعلام: في وقت الاستعلام، يتم إسقاط منطقة اهتمام (ROI) محددة من قبل المستخدم على حجم الاستعلام المشفر. يتم تجميع الرقع داخل هذه المنطقة لتشكيل تضمين الاستعلام.
الاسترجاع: يتم حساب تشابه جيب التمام (Cosine similarity) بين تضمين الآفة المستعلم عنه وتضمينات الآفات المرجعية المفهرسة. يتم تجميع الآفات المسترجعة حسب التصوير المقطعي الأب لمراجعة الحالة.
سياسات الاستعلام: تقيم الدراسة الحساسية تجاه دقة التحديد المكاني باستخدام ثلاث حالات استعلام محكومة:
القناع الدقيق (Exact Mask): يستخدم أقنعة التجزئة الحقيقية (الحد الأعلى المثالي/Oracle). টি صندوق الإحاطة (Bounding Box): يستخدم صندوق الإحاطة ثلاثي الأبعاد الضيق حول الآفة.
الصندوق الفضفاض (Loose Box): يستخدم صندوقاً موسعاً بشكل حتمي (هامش 25%) لمحاكاة الاختيار اليدوي غير الدقيق.
أجري التقييم على مجموعة بيانات ReXGroundingCT، التي تربط نتائج التصوير المقطعي للصدر بالنصوص الحرة مع أقنعة التجزئة ثلاثية الأبعاد. استخدم التقييم الأساسي 407 استعلام آفة من التحقق العام مقابل بنك مرجعي يضم 14,359 آفة مستمدة من 2,978 تصويراً مقطعياً تدريبياً.
المساهمات الرئيسية
إطار عمل الاسترجاع المفهرس للآفات: طريقة لتحويل رقع المشفر التأسيسي المجمد إلى تضمينات آفات قابلة لإعادة الاستخدام دون تدريب مخصص للمهمة، مع الحفاظ على الروابط مع الحالات الأبوية والنصوص السريرية.
مسار أدوات التشتت (Sparse Artifact Pipeline): آلية لاشتقاق تمثيلات الآفة، والحجم، وشريحة الآفة من رقع الـ (tokens) دون الحاجة إلى تكرار استدلال المشفر أو تخزين رقع حجمية كثيفة بالكامل.
تقييم المتانة المحكوم: تقييم منهجي لأداء الاسترجاع تحت دقة تحديد استعلام متفاوتة (الأقنعة الدقيقة مقابل صناديق الإحاطة مقابل الصناديك الفضفاضة).
مجموعة تحقق شاملة: تتضمن تقسيماً خماسياً للمطورين يعتمد على المجموعات، واختبار التحقق العام، والمقارنات مع ضوابط الوصف فقط (descriptor-only baselines)، واسترجاع شريحة الآفة، ودراسة استئصال (ablation study) تقارن بين المشفرات المعتمدة على الصور فقط (FlexiCT-3D) والمشفرات المحاذية للتقارير (FlexiCT-3D-VLM).
النتائج
الأداء مقابل الصدفة: بالنسبة لاستعلامات القناع الدقيق، حقق النظام استدعاء عند المركز الأول (Recall@1) للفئة الفرعية الدقيقة بلغ 0.484، وهو ما يتجاوز بشكل كبير توقع الصدفة التحليلية البالغ 0.154. كما بلغ الاستدعاء عند المركز العاشر (Recall@10) قيمة 0.848 (مقابل 0.729 للصدفة).
تأثير دقة الاستعلام: أدت مناطق الاستعلام الأقل دقة (صناديق الإحاطة والصناديق الفضفاضة) إلى انخفاض في أداء الرتب الأولى (Recall@1 و MRR@10) مقارنة بالأقنعة الدقيقة. ومع ذلك، ظل الاستدعاء عند المركز العاشر قوياً، حيث بقي فوق 0.82 لكلا سياستي الصناديق.
النماذج المرجعية: تفوق الاسترجاع القائم على التضمين بشكل كبير على نموذج التحكم المعتمد على الوصف فقط (الذي استخدم هندسة الآفة دون مظهر الصورة) تحت كلا سياستي الصناديق.
استئصال المشفر: أظهر المشفر المحاذي للتقارير (FlexiCT-3D-VLM) أداءً مشابهاً للمشفر المعتمد على الصور فقط (FlexiCT-3D)، ولم يتم إثبات ميزة ذات دلالة إحصائية لنموذج الرؤية واللغة في هذه المهمة المحددة للاسترجاع.
استرجاع الحجم والشريحة: أدى تجميع الآفة الواعي للآفة (lesion-aware volume pooling) إلى تحسين الترتيب المبكر للاسترجاع على مستوى الحالة مقارنة بـ (CLS tokens) العالمية. نجح استرجاع شريحة الآفة في اختيار شرائح متسقة الفئة للمراجعة.
تحليل الفشل: كانت حالات الفشل مدفوعة بشكل أساسي بالارتباك بين الفئات الدقيقة (مثل التمييز بين الأنواع الفرعية المتشابهة من الانخماص أو العقد)، وليس بسبب عدم التطابق في الفئات العامة.
الأهمية والادعاءات تدعي الورقة إثبات جدوى بناء طبة استرجاع مرتكزة على الآفات وقابلة لإعادة الاستدلال من ميزات تأسيسية حجمية مجمدة دون تدريب مخصص للمهمة. وتؤكد أن الرقع المكانية تحتفظ بمعلومات كافية ودقيقة بما يكفي لاسترجاع آفات متسقة الفئة، حتى عندما تكون مناطق الاستعلام غير دقيقة.
يصرح المؤلف صراحةً بأن النظام مصمم كـ سير عمل تعليمي للمقارنة بين الحالات بين المرضى، مما يسمح للمستخدمين بمراجعة شرائح الآفة، والأقنعة، ونص النتائج جنباً إلى جنب. لا يدعي البحث التحقق من الدقة التشخيصية، أو دعم اتخاذ القرار العلاجي، أو الفائدة التعليمية التي يقيمها أطباء الأشعة؛ إذ تتطلب هذه الأمور دراسات مستخدمة منفصلة. علاوة على ذلك، يشير المؤلف إلى أن التقييم محدود بكون مجموعة التحقق تنتمي إلى نفس مجموعة البيانات المستخدمة في التدريب المسبق للنموذج التأسيسي (CT-RATE)، وأن العمل المستقبلي مطلوب لاختبار التعميم الخارجي على مجموعات بيانات خارج هذا النطاق. تؤكد النتائج أن الاسترجاع المتسق مع الفئة ممكن، لكنها لا تثبت صلة المحتوى من وجهة نظر القارئ أو المنفعة السريرية.