🤖 AI

Composed Vision-Language Retrieval for Skin Cancer Case Search via Joint Alignment of Global and Local Representations

تقترح هذه الورقة إطار عمل يعتمد على تقنية "المحول" (transformer) لاسترجاع حالات سرطان الجلد، يجمع بفعالية بين الصور المرجعية والوصفات النصية من خلال تعلم التمثيلات الهرمية وإجراء محاذاة مشتركة شاملة ومحلية، مما يحقق أداءً هو الأفضل حالياً على مجموعة بيانات Derm7pt لدعم اتخاذ القرار السريري.

المؤلفون الأصليون: Yuheng Wang, Yuji Lin, Dongrun Zhu, Jiayue Cai, Sunil Kalia, Harvey Lui, Chunqi Chang, Z. Jane Wang, Tim K. Lee

نُشر 2026-03-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuheng Wang, Yuji Lin, Dongrun Zhu, Jiayue Cai, Sunil Kalia, Harvey Lui, Chunqi Chang, Z. Jane Wang, Tim K. Lee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق تحاول حل لغز، ولكن بدلاً من مسرح جريمة، أنت تنظر إلى آفة جلدية (بقعة على الجلد) لتعرف ما إذا كانت خطيرة (سرطان الجلد) أم حميدة.

في الماضي، كان لدى الأطباء طريقتان رئيسيتان للحصول على المساعدة من الكمبيوتر:

عرض صورة: "ابحث لي عن بقع أخرى تشبه هذه تماماً". (مثل استخدام بحث الصور في جوجل).
قراءة وصف: "ابحث عن بقع سوداء، ذات حواف متعرجة، وتنمو بسرعة". (مثل البحث النصي).

لكن في الواقع، نادراً ما يستخدم الأطباء طريقة واحدة فقط. بل يقولون عادةً: "انظر إلى هذه البقعة تحديداً، وأخبرني إذا كانت تطابق أي حالات تمتلك هذه السمات المحددة."

تقدم هذه الورقة البحثية نظام ذكاء اصطناعي جديداً صُمم للقيام بذلك بالضبط. وإليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. "المحقق الهجين" (الاسترجاع المركب)

فكر في الأنظمة القديمة كأنها محققون إما مكفوفون (ينظرون فقط إلى الصور) أو أميون (يقرؤون النصوص فقط). هذا النظام الجديد هو محقق هجين يمكنه القيام بالأمرين معاً في نفس الوقت.

عندما يطرح الطبيب سؤالاً، فإنه يعطي الذكاء الاصطناعي "حزمة":

الصورة: صورة لبقعة الجلد لدى المريض.
بطاقة الأدلة: ملاحظة نصية قصيرة تصف ما يراه الطبيب (مثل "حدود غير منتظمة"، "وشاح أبيض مزرق").

يقوم الذكاء الاصطناعي بدمج هذين العنصرين في استعلام بحث واحد قوي. الأمر يشبه إخبار أمين مكتبة: "ابحث لي عن كتاب يشبه هذا الغلاف، ولكن يحتوي على حبكة درامية موصوفة في هذه الجملة".

2. "عدسة الزووم" مقابل "الزاوية الواسعة" (المحاذاة العالمية والمحلية)

أكبر تحدٍ في سرطان الجلد هو أن الأدلة الأكثر أهمية غالباً ما تكون تفاصيل صغيرة مخفية داخل صورة أكبر.

الزاوية الواسعة (العالمية - Global): ينظر الذكاء الاصطناعي إلى الصورة بأكملة لفهم الانطباع العام. هل البقعة كبيرة؟ هل هي حمراء بشكل عام؟ هذا يضمن عدم ارتباك الذكاء الاصطني بسبب أنواع مختلفة تماماً من البشرة.
عدسة الزووم (المحلية - Local): يستخدم الذكاء الاصطناعي "عدسة مكبرة سحرية" خاصة للتركيز على نقاط صغيرة ومحددة. إنه يبحث عن "الأدلة القاطعة" — مثل خط أسود صغير من الصبغة أو ملمس غريب — وهي الأمور التي تحدد فعلياً ما إذا كان سرطانًا أم لا.

التشبيه: تخيل أنك تحاول التعرف على مشتبه به في حشد من الناس.

العالمي (Global) يخبرك: "إنه رجل طويل يرتدي قبعة حمراء".
المحلي (Local) يخبرك: "لديه ندبة محددة على خده الأيسف ويمسك بمظلة زرقاء".
المشكلة: إذا نظرت فقط إلى القبعة، فقد تختار الشخص الخطأ. وإذا نظرت فقط إلى الندبة، فقد تفقد الشخص إذا كان يرتدي قبعة مختلفة.
الحل: يقوم هذا الذكاء الاصطناعي بالأمرين معاً. فهو يتحقق من القبعة (العالمي) ليتأكد من أنه في الحشد الصحيح، ولكنه يعطي الأولوية للندبة (المحلي) لاتخاذ القرار النهائي.

3. "الدرجة الموزونة" (القرار النهائي)

بمجرد أن يجد الذكاء الاصطناعي مطابقات محتملة، يجب عليه أن يقرر أيهما الأفضل. وهو يستخدم نظام تسجيل خاص.

فكر في الأمر كأنه هيئة محلفين.

"الدليل العالمي" هو الطابع العام للمشتبه به.
"الدليل المحلي" هو تفاصيل الجريمة المحددة.

في سرطان الجلد، تكون التفاصيل المحددة (الدليل المحلي) هي الأكثر أهمية عادةً للتشخيص. لذلك، يعطي "القاضي" في الذكاء الاصطناعي وزناً أكبر للأدلة المحلية. ومع ذلك، فإنه لا يتجاهل الأدلة العالمية تماماً، لأنه لا يزال من الضروري التأكد من أن الصورة الكاملة منطقية.

4. لماذا يهم هذا الأمر (النتيجة)

اختبر الباحثون هذا النظام على قاعدة بيانات عامة لصور الجلد (Derm7pt).

الطرق القديمة كانت تشبه التخمين بناءً على صورة ضبابية أو وصف غامض. لقد أصابت في حوالي 77-78% من المرة الأولى.
هذه الطريقة الجديدة أصابت في حوالي 79.3% من المرة الأولى.

ورغم أن هذا الرقم قد يبدو صغيراً، إلا أنه في العالم الطبي، فإن الحصول على الإجابة الأولى بشكل صحيح هو أمر ضخم. هذا يعني أن الطبيب يمكنه فوراً رؤية حالة مشابهة مؤكدة من الماضي، مما يساعده على اتخاذ قرار أسرع وأكثر ثقة لمريضه.

ملخص

تتعلق هذه الورقة البحثية بتعليم الذكاء الاصطناعي كيف يكون مساعداً طبياً أفضل. فبدلاً من مجرد مطابقة الصور أو مجرد مطابقة الكلمات، فإنه يتعلم كيف ينظر إلى صورة بينما يقرأ وصفاً، حيث يركز على التفاصيل الصغيرة والخطيرة مع الحفاظ على مراقبة الصورة الكبيرة. وهذا يساعد الأطباء في العثور على أكثر الحالات السابقة صلة وبسرعة أكبر، مما يؤدي إلى رعاية أفضل للمرضى المصابين بسرطان الجلد.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "البحث المركب عن حالات سرطان الجلد عبر المحاذاة المشتركة للتمثيلات العالمية والمحلية".

1. صياغة المشكلة

تتناول الورقة البحثية تحدي البحث عن حالات سرطان الجلد، وهو شكل محدد من استرجاع الصور الطبية يهدف إلى دعم اتخاذ القرار التشخيصي، والتعليم، وضبط الجودة.

الفجوة: تعتمد أنظمة الاسترجاع التقليدية عادةً على استعلامات تعتمد على الصور فقط أو الأوصاف النصية فقط. ومع ذلك، في الممارسة السريرية، غالبًا ما يصيغ أطباء الجلد استعلاماتهم من خلال الجمع بين صورة آفة مرجعية وأوصاف نصية محددة (مثل الأنماط الجلدية أو معايير قائمة التحقق).
المهمة: يعرّف المؤلفون هذه المهمة كمسألة استرجاع مركب بين الرؤية واللغة (Composed Vision-Language Retrieval). بالنظر إلى استعلام $q = (I_q, T_\tau)$ يتكون من صورة مرجعية ووصف نصي، فإن الهدف هو استرجاع أفضل $K$ من الحالات الأكثر صلة والمؤكدة بالخزعة من قاعدة بيانات $D = \{(I_n, y_n)\}$ ، حيث $y_n$ هو الملصق التشخيصي.
التحدي: تصميم دالة تشابه تلتقط كلًا من الدلالات العالمية (الشكل العام وتوزيع الألوان) والإشارات التمييزية المحلية (سمات محددة مثل الخطوط، أو التصبغ غير المنتظم، أو هياكل التراجع) والتي تعد حاسمة للتشخيص الدقيق ولكن غالبًا ما يتم إغفالها بواسطة التمثيلات العالمية فقط.

2. المنهجية

يقترح المؤلفون إطار عمل قائم على المحولات (Transformer) يتعلم تمثيلات استعلام مركبة هرمية ويقوم بإجراء محاذاة مشتركة بين التمثيل العالمي والمحلي.

أ. الترميز البصري الهرمي

العمود الفقري: يستخدم Swin Transformer لاستخراج خرائط السمات البصرية متعددة المستويات ( $X_L, X_M, X_H$ ) التي تمثل السمات منخفضة، ومتوسطة، وعالية المستوى.
الغرض: يحافظ هذا على التفاصيل المظهرية دقيقة التفاصيل (وهي ضرورية للأنماط المحلية) والسياق الدلالي عالي المستوى (وهو ضروري للمورفولوجيا العامة).

ب. التركيب عبر الوسائط (Cross-Modal Composition)

ترميز النص: يستخدم BERT لترميز الوصف النصي $T_\tau$ إلى تمثيلات الرموز (token embeddings) $Z_\tau$ .
الدمج: يقوم محول عبر الوسائط (Cross-Modal Transformer) بحقن المعلومات النصية في السمات البصرية للصورة المرجعية عند كل مستوى هرمي.
المخرجات: يولد خريطة سمات استعلام مركبة $X^i_{q\tau}$ لكل مستوى $i \in \{L, M, H\}$ ، متوافقة في نفس الفضاء الميزاتي البصري لصور قاعدة البيانات المستهدفة.

ج. المحاذاة المشتركة بين العالمي والمحلي

يكمن الابتكار الأساسي في حساب التشابه من خلال حدين متكاملين:

المحاذاة المحلية:
- يتعلم $k$ من أقنعة الانتباه المكانية ( $\alpha_j$ ) لتحديد المناطق التمييزية دون الحاجة إلى تسميات توضيحية صريحة للآفة.
- يحسب واصفات المناطق عن طريق تطبيق هذه الأقنعة على خرائط السمات وتجميعها (pooling).
- يجمع تشابه جيب التمام (cosine similarity) عبر هذه المناطق المحلية لالتقاط الإشارات التشخيصية المحددة (مثل الحدود غير المنتظمة).
المحاذاة العالمية:
- يحسب التشابه عن طريق تجميع (pooling) خرائط السمات بأكملها وتطبيق تشابه جيب التمام.
- يوفر إشرافًا دلاليًا كليًا لضمان الاتساق العام بين الاستعلام والهدف.
درجة التشابه النهائية:
- يجمع بين الدرجات المحلية والعالمية عبر وزن معرفي مستند إلى المجال:
  $S = \beta S_{local} + (1 - \beta) S_{global}$
- $\beta$ (تم ضبطها عند 0.6): تعطي الأولوية للأدلة المحلية (الإشارات ذات الصلة سريريًا) مع الحفاظ على الاتساق العالمي.

3. المساهمات الرئيسية

صياغة مبتكرة للمشكلة: تعد هذه هي الدراسة الأولى التي تبحث في الاسترجاع المركب للرؤية واللغة خصيصًا للبحث عن حالات سرطان الجلد، من خلال إقران الصورة المرجعية بالنص السريري لاسترجاع الحالات المؤكدة بالخزعة.
إطار عمل هرمي مع محاذاة مشتركة: يقدم طريقة تتعلم تمثيلات مركبة متعددة المستويات وتقوم بمحاذاتها باستخدام مزيج مرجح من التشابهات العالمية والمحلية. يسمح هذا للنموذج بالتركيز على الأنماط المحلية التمييزية (مثل الخطوط) مع الحفاظ على التماسك المورفولوجي العالمي.
أداء رائد (State-of-the-Art): أظهر تحسينات كبيرة مقارنة بالطرق الموجودة على مجموعة بيانات متعددة الوسائط عامة، مما يؤكد فعالية دالة التشابه المقترحة.

4. النتائج التجريبية

مجموعة البيانات: تم التقييم على Derm7pt، وهي مجموعة بيانات مرجعية تحتوي على صور جلدية وسمات سريرية مهيكلة متوافقة مع قائمة التحقق المكونة من 7 نقاط. ركزت الدراسة على ثلاث فئات: الميلانوما (mel)، والوحمة (Nevus)، والآفات الشبيهة بالتقرن الحميد (bkl)، بإجمالي 888 صورة.
النماذج المرجعية (Baselines): تمت المقارنة مع ResNet50-CosSim، وSNF-DCA، وMaskRCNN-Fusion، وDAHNET.
الأداء الكمي:
- الدقة عند 1 (Accuracy@1): حققت الطريقة المقترحة 79.3%، متفوقة على أفضل نموذج مرجعي (SNF-DCA بنسبة 77.8%) والنموذج المرجعي العالمي فقط (ResNet50-CosSim بنسبة 77.6%).
- متوسط الدقة المتوسطة (mAP): حققت 81.7%، متجاوزة جميع النماذج المرجعية (DAHNET: 80.6%، ResNet50: 80.4%).
- الدقة عند 4 (Accuracy@4): وصلت إلى 87.3%، مما يظهر قدرة قوية على الاسترجاع عبر النتائج الأولى.
التحليل النوعي: أكدت الأمثلة المرئية أن النموذج نجح في استرجاع الحالات التي تتشابه بصريًا وتتوافق سريريًا مع الواصفات النصية المحددة للاستعلام (على سبيل المثال، الحفاظ على الإشارات الخبيثة لاستعلامات الميلانوما).

5. الأهمية والأثر

الأهمية السريرية: يسد إطار العمل الفجوة بين نماذج الذكاء الاصطناعي وسير العمل السريري من خلال محاكة كيفية بحث أطباء الجلد عن الحالات (صورة + نص).
القابلية للتفسير: من خلال التأكيد على الإشارات المحلية التمييزية عبر أقنعة الانتباه، يقدم النموذج نظام دعم قرار أكثر قابلية للتفسير مقارنة بطرق التمثيل العالمي التي تُعتبر "صندوقًا أسود".
الكفاءة: القدرة على استرجاع الحالات التاريخية ذات الصلة والمؤكدة بالخزعة تدعم التقييم المقارن، وتدريب الأطباء، وضبط الجودة، مما قد يقلل من اعتلال المرضى من خلال تشخيص مبكر وأكثر دقة.
القدرة على التعميم: تقدم استراتيجية المحاذاة المشتركة المقترحة نموذجًا قويًا لمهام الاسترجاء الطبية الأخرى حيث تكون السمات المحلية المحددة بنفس أهمية السياق الدلالي العام.