💻 computer science

RD-ViT: Recurrent-Depth Vision Transformer for Semantic Segmentation with Reduced Data Dependence Extending the Recurrent-Depth Transformer Architecture to Dense Prediction

تقدم الورقة البحثية RD-ViT، وهو محول رؤية متكرر العمق (Recurrent-Depth Vision Transformer) يستبدل المجموعات العميقة القياسية بكتلة واحدة مشتركة لتقليل عدد المعلمات والاعتماد على البيانات بشكل كبير، مع تحقيق أداء رائد في تقسيم الصور الدلالي على معايير التصوير بالرنين المغناطيسي للقلب من خلال آليات مثل وقت الحوسبة التكيفي (Adaptive Computation Time) ومزيج الخبراء (Mixture-of-Experts).

المؤلفون الأصليون: Renjie He

نُشر 2026-05-06

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Renjie He

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف ينظر إلى المسوحات الطبية (مثل رنين القلب المغناطيسي أو صور الأشعة السينية للأسنان) ويرسم حدوداً مثالية حول أجزاء محددة، مثل حجرات القلب أو الأسنان الفردية. تسمى هذه المهمة "التقسيم" (Segmentation).

لفترة طويلة، كانت أفضل الروبوتات لهذه المهمة هي "محولات الرؤية" (Vision Transformers - ViTs). فكر في نموذج (ViT) القياسي كفريق من 10 متخصصين مختلفين يعملون في خط مستقيم. ينظر المتخصص الأول إلى الصورة، ثم ينظر الثاني إلى نتيجة الأول، والثالث إلى نتيجة الثاني، وهكذا. لكل متخصص "دماغ" فريد (معلمات/Parameters) ويجب تدريبه من الصفر. هذا الأسلوب يعمل بشكل رائع حقاً، لكنه يتطلب كمية هائلة من بيانات التدريب (آلاف الأمثلة) لأن كل متخصص يحتاج لتعلم وظيفته الخاصة.

في العالم الطبي، الحصول على آلاف الأمثلة المصنفة أمر صعب؛ فالأطباء مشغولون، وتصنيف الصور يستغرق وقتاً طويلاً. لذا، تساءل مؤلفو هذه الورقة البحثية: هل يمكننا صنع روبوت يعمل بنفس الكفاءة ولكنه يحتاج إلى بيانات أقل بكثير؟

الحل: "المتخصص المتكرر" (RD-ViT)

ابتكر المؤلفون روبوتاً جديداً يسمى RD-ViT. بدلاً من توظيف 10 متخصصين مختلفين، قاموا بتوظيف متخصص واحد بارع وطلبوا منه النظر إلى الصورة، ثم التفكير، ثم النظر مجدداً، ثم التفكير مجدداً، وتكرار هذه العملية عدة مرات.

إليك كيف جعلوا هذا "المتخصص المتكرر" يعمل بهذا الشكل الجيد:

1. "الحلقة" (العمق المتكرر - Recurrent Depth)
بدلاً من وجود خط طويل من الأشخاص المختلفين، لديك شخص واحد ينظر إلى الصورة، ثم ينظر إلى ملاحظاته الخاصة، ثم ينظر مرة أخرى.

المشكلة: إذا طلبت من نفس الشخص النظر 10 مرات، فقد يعلق في حلقة مفرغة أو يصاب بالارتباك.
الحل (حقن الاستقرار LTI-Stable Injection): منح المؤلفون هذا المتخصص "قاعدة استقرار" خاصة. إنها تشبه نظام امتصاص الصدمات في السيارة. بغض النظر عن عدد المرات التي ينظر فيها المتخصص إلى الصورة، تضمن هذه القاعدة أنه لن يفقد صوابه أو يعلق في حلقة مفرغة، بل سيستقر دائماً على إجابة واضحة. هذا يسمح للروبوت بـ "التفكير" بقدر ما يحتاج دون أن يتعطل.

2. "الاستراحة الذكية" (وقت الحوسبة التكيفي - Adaptive Computation Time)
ليست كل الأجزاء في الصورة الطبية متساوية في الصعوبة. فالمساحات الفارغة حول القلب سهلة التجاهل، بينما الحواف الرفيعة والمتعرجة لعضلة القلب صعبة جداً في التتبع.

التشبيه: تخيل طالباً يؤدي اختباراً. بالنسبة للأسئلة السهلة (مثل "ما لون السماء؟")، يجيب فوراً. أما بالنسبة للأسئلة الصعبة (مثل "احسب هذا التكامل المعقد")، فإنه يقضي وقتاً إضافياً في التفكير.
كيف يعمل: يمتلك (RD-ViT) "زر إيقاف" لكل قطعة صغيرة من الصورة. إذا كانت القطعة سهلة (مثل الخلفية)، يتوقف الروبوت عن التفكير فيها بعد حلقة أو حلقتين. أما إذا كانت القطعة صعبة (مثل حدود القلب)، فيستمر الروبوت في التكرار 3 أو 4 أو 5 مرات لإتقانها. هذا يوفر الطاقة ويجعل الروبوت أكثر ذكاءً حيث تكمن الحاجة.

3. "فريق المتخصصين" (خليط الخبراء - Mixture of Experts)
على الرغم من أن الروبوت يستخدم نفس "الحلقة" مراراً وتكراراً، إلا أن المؤلفين أضافوا لمسة مميزة: خليط الخبراء (MoE).

التشبيه: تخيل أن المتخصص الواحد لديه فريق من 8 مساعدين غير مرئيين داخل رأسه. عندما يرى الروبوت بقعة من "البطين الأيمن" (جزء من القلب)، فإنه يستدعي تلقائياً "المساعد رقم 1". وعندما يرى "عضلة القلب"، فإنه يستدعي "المساعد رقم 2".
المفاجأة: لم يخبر المؤلفون الروبوت أي مساعد يستخدم لأي جزء؛ لقد اكتشف الروبوت ذلك بنفسه! أصبح "المساعد الخاص بالبطين الأيمن" خبيراً في ذلك الشكل، وأصبح "المساعد الخاص بالبطين الأيسر" خبيراً في شكله الخاص. يحدث هذا دون أي تعليمات إضافية، فقط من خلال محاولة الروبوت أداء المهمة بإتقان.

ماذا وجدوا؟

اختبر المؤلفون هذا الروبوت الجديد في مهمتين طبيتين مختلفتين تماماً:

1. القلب (مجموعة بيانات ACDC)

التحدي: كان لديهم عدد قليل جداً من صور التدريب (100 مريض فقط).
النتيجة:
- في المقاطع ثنائية الأبعاد (2D) (النظر إلى صورة مسطحة واحدة في كل مرة)، كان (RD-ViT) في الواقع أفضل من فريق المتخصصين العشرة التقليدي، حتى مع وجود بيانات قليلة جداً؛ فقد تعلم بشكل أسرع وارتكب أخطاءً أقل.
- في الأحجام ثلاثية الأبعاد (3D) (النظر إلى كتلة القلب كاملة)، كان الفريق التقليدي أفضل قليلاً، إلا إذا أضافوا "فريق المتخصصين" (MoE). مع إضافة (MoE)، حقق (RD-ViT) نسبة 99.4% من دقة الفريق التقليدي، ولكنه استخدم أقل من نصف الذاكرة (المعلمات).
- ميزة إضافية: وجدوا أنه إذا دربوا الروبوت على التكرار 8 مرات، يمكنهم طلب التكرار 16 مرة أثناء الاختبار الفعلي، وسوف يصبح أفضل (أو يبقى كما هو) دون الحاجة لإعادة تدريبه. إنه يشبه طالباً يمكنه مواصلة الدراسة لفترة أطول للحصول على درجة أفضل دون الحاجة لتغيير كتابه المدرسي.

2. الأسنان (مجموعة بيانات ToothFairy2)

التحدी: جربوا الروبوت نفسه على مسوحات أسنان ثلاثية الأبعاد لتحديد 32 سناً مختلفاً وترقيمها بشكل صحيح (مثلاً: "السن 15" مقابل "السن 25"). هذا أمر صعب لأنك تحتاج لرؤية الفك بأكله لتعرف أي سن هو المقصود.
النتيجة: نجح الروبوت في تحديد الأسنان وتعيين الأرقام الصحيحة بدقة بلغت 89.1%.
لماذا نجح الأمر: سمح له "الانتباه العالمي" (Global Attention) برؤية الفك بأكمله في وقت واحد. استطاع أن يميز أن السن في أعلى اليمين يختلف عن السن في أعلى اليسار، وهو أمر تعاني منه الروبوتات الأقدم والأبسط لأنها تنظر فقط إلى قطع صغيرة ومحلية.

الخلاصة

تظهر هذه الورقة البحثية أنك لست بحاجة إلى جيش ضخم من نماذج الذكاء الاصطنا مختلفة للقيام بعملية تقسيم طبي رائعة. بدلاً من ذلك، يمكنك استخدام نموذج واحد ذكي يتكرر، ويفكر بشكل تكيفي، ويمتلك متخصصين داخليين.

يتعلم بشكل أسرع عندما تكون البيانات شحيحة (خاصة في 2D).
يوفر المساحة عبر مشاركة "دماغه" عبر طبقات مختلفة.
يكتشف استراتيجيته الخاصة (مثل أي خبير يتعامل مع أي جزء من الجسم) دون أن يُملى عليه ذلك.
يمكنه "التفكير بعمق أكبر" في أجزاء الصورة الصعبة و"التفكير بشكل أقل" في الأجزاء السهلة.

لقد نشر المؤلفون جميع أكوادهم ونتائجهم، مما يثبت أن هذا النهج "المتكرر" هو طريقة قوية وفعالة لتعليم الذكاء الاصطناعي كيفية رؤية جسم الإنسان.

ملخص تقني: RD-ViT: محول الرؤية المتكرر العمق للتقسيم الدلالي مع تقليل الاعتماد على البيانات

بيان المشكلة

حققت نماذج محولات الرؤية (ViTs) أداءً رائدًا في مهام التنبؤ الكثيف مثل التقسيم الدلالي (Semantic Segmentation). ومع ذلك، تعاني نماذج ViTs القياسية من اعتماد عالٍ على البيانات بسبب تصميمها المعماري: حيث تمتلك كل طبقة في المكدس العميق معاملات فريدة يجب تعلمها بشكل مستقل. يؤدي هذا إلى تزايد عدد المعاملات خطيًا مع العمق ( $O(L \cdot d^2)$ )، مما يجعل نماذج ViTs عرضة لفرط التخصيص (Overfitting) عندما تكون بيانات التدريب شحيحة. هذا القصور يعد أمرًا بالغ الأهمية خاصة في التصوير الطبي، حيث تكون مجموعات البيانات المصنفة صغيرة غالبًا (على سبيل المثال، تحتوي مجموعة ACDC لبيانات رنين القلب المغناطيسي على 100 حجم مريض فقط) ويكون التصنيف مكلفًا ويستغرق وقتًا طويلاً. تعالج الورقة البحثية الحاجة إلى بنيات يمكنها تحقيق دقة تقسيم عالية مع بيانات محدودة مع الحفاظ على الكفاءة الحسابية.

المنهجية

يقترح المؤلفون RD-ViT (محول الرؤية المتكرر العمق)، وهي بنية تكيّف مفهوم المحول متكرر العمق (RDT) من مشروع OpenMythos لمهام التنبؤ الكثيف. بدلاً من مكدس عميق من كتل المحول الفريدة، يستخدم RD-ViT كتلة محول واحدة مشتركة يتم تكرارها $T$ من المرات. تتكون البنية من أربعة مكونات رئيسية:

المقدمة والخاتمة (Prelude & Coda): كتل ViT قياسية لاستخراج الميزات الأولي والتحسين النهائي، على التوالي.
الحلقة المتكررة (Recurrent Loop): الابتكار الجوهري حيث يتم تطبيق كتلة ViT واحدة بشكل تكراري. تتضمن هذه الحلقة عدة آليات متخصة:
- الحقن المستقر للأنظمة الخطية المتباينة (LTI-Stable Injection): لضمان التقارب أثناء التكرار طويل الأمد، يتم تمثيل مصفوفة انتقال الحالة $A$ كـ $A = \exp(-\exp(\log d_t + \log A))$ . يضمن هذا البناء أن جميع القيم الذاتية تقع تمامًا ضمن النطاق $(0, 1)$ ، مما يضمن أن التكرار هو "تطبيق انكماشي" (Contraction Mapping). يسمح هذا باستخراج العمق (Depth Extrapolation) المستقر (الاستدلال بعدد دورات أكثر من المستخدم في التدريب).
- وقت الحساب التكيفي (Adaptive Computation Time - ACT): آلية إيقاف متعلمة تخصص احتمالية إيقاف لكل رمز رقعة (Patch Token) في كل تكرار. الرموز في المناطق "السهلة" (مثل الخلفيات المتجانسة) تتوقف مبكرًا، بينما تخضع الرموز في المناطق "الصعبة" (مثل الحدود) لمزيد من التكرارات. هذا يخلق خريطة حسابية مكانية، مما يخصص الموارد ديناميكيًا.
- LoRA المعتمد على العمق (Depth-wise LoRA): للسماح للكتلة المشتركة بالتصرف بشكل مختلف عند أعماق مختلفة دون تكرار الأوزان كاملة الرتبة، يتم تطبيق محولات التكيف منخفضة الرتبة (LoRA) مع قياس مرتبط بفهرس الحلقة.
- خليط الخبراء (Mixture-of-Experts - MoE): تحل طبقات MoE المتفرقة الاختيارية محل شبكة التغذية الأمامية (FFN) القياسية. يقوم موجه (Router) بتوجيه الرموز إلى شبكات فرعية محددة من الخبراء، مما يتيح الحوسبة الشرطية والتخصص الخاص بالفئات داخل الكتلة المشركة.
رأس التقسيم (Segmentation Head): يقوم برفع عينات ميزات مستوى الرقعة إلى تنبؤات بمستوى البكسل/الفكسل باستخدام التلافيف المنقولة (Transposed Convolutions).

البنية مستقلة عن الأبعاد، وتدعم المدخلات ثنائية الأبعاد (عبر تضمين الرقعة Conv2d) وثلاثية الأبعاد (عبر Conv3d).

المساهمات الرئيسية

تكييف البنية: بنية تقسيم ثنائية/ثلاثية الأبعاد كاملة تدمج الحقن المستقر LTI، وACT، وLoRA المعتمد على العمق، وMoE لمهام التنبؤ الكثيف.
التحقق من كفاءة البيانات: التحقق التجريبي على مجموعة بيانات ACDC لرنين القلب، حيث يمكن لـ RD-ViT أن يتفوق على أو يضاهي نماذج ViT القياسية بمعاملات أقل بكثير وبيانات أقل، لا سيما في الإعدادات ثنائية الأبعاد.
التخصص الناشئ: دليل على أن خبراء MoE يتخصصون تلقائيًا في الهياكل التشريحية المختلفة (مثل البطين الأيمن، عضلة القلب، البطين الأيسر) دون إشراف توجيه صريح، مما يوفر انحيازًا استقرائيًا هيكليًا للتقسيم متعدد الفئات.
استخراج العمق (Depth Extrapolation): إثبات أن النموذج يمكنه الاستدلال بأمان باستخدام دورات حلقة ( $T$ ) أكثر مما تم استخدامه أثناء التدريب دون تدهور في الأداء، بفضل ضمان استقرار LTI.
التعميم: التطبيق الناجح لنفس البنية على مهمة مختلفة جذريًا: تقسيم وحصر الأسنان (Tooth Instance Segmentation) من أحجام CBCT ثلاثية الأبعاد.

النتائج التجريبية

تقسيم القلب (مجموعة بيانات ACDC)

ثلاثي الأبعاد (Volumetric):
- حقق RD-ViT Tiny + MoE (3.0 مليون معامل) درجة Dice بلغت 0.812، وهو ما يمثل 99.4% من نموذج Standard ViT المرجعي (0.817، 5.7 مليون معامل) مع استخدام 53% فقط من المعاملات.
- الدراسة الاستقصائية (Ablation): وفرت MoE أكبر مكسب (+0.8 نقطة مئوية فوق RD-ViT Tiny). وفرت ACT وLoRA تحسينات أصغر ولكن ثابتة (+0.3 و+0.2 نقطة مئوية، على التوالي).
- استخراج العمق: ظل الأداء مستقرًا عند زيادة دورات الاستدلال من $T=8$ (التدريب) إلى $T=16$ ، مما يؤكد استقرار حقن LTI.
على مستوى الشريحة ثنائية الأبعاد (2D Slice-Level):
- تفوق RD-ViT على Standard ViT عبر جميع أجزاء البيانات. عند 10% من بيانات التدريب، حقق RD-ViT درجة Dice قدرها 0.774 مقابل 0.762 لـ Standard ViT. وعند 100% من البيانات، حقق 0.882 مقابل 0.872.
- يعزو المؤلفون ذلك إلى السياق المكاني الغني في الشرائح ثنائية الأبعاد الذي يسمح بالتحسين التكراري بأن يكون أكثر فعالية من الإعداد ثلاثي الأبعاد ذي الدقة المنخفضة.

تقسيم الأسنان (مجموعة بيانات ToothFairy2)

طُبق على تقسيم حالات الأسنان ثلاثي الأبعاد وحصر نظام FDI (33 فئة).
حقق نموذج RD-ViT Tiny + MoE أحادي المرحلة (5.4 مليون معامل) ما يلي:
- 0.797 Seed Dice (السن مقابل الخلفية).
- 89.1% دقة تصنيف FDI.
تشير النتائج إلى أن الانتباه الذاتي العالمي لـ Transformer يلتقط بفعالية سياق الفك طويل المدى المطلوب لحصر الأسنان، وهي مهمة غالبًا ما تعاني فيها المجالات المستقبلية المحلية لـ CNN.

الكفاءة الحسابية

ديناميكيات ACT: انخفض متوسط وقت التأمل (العمليات الفعلية) من ~2.6 إلى ~1.4 أثناء التدريب، مما يشير إلى أن النموذج تعلم معالجة المناطق السهلة بشكل أسرع.
تخصيص الحوسبة: أظهرت خرائط إيقاف ACT تخصيصًا أعلى للحوسبة عند حدود القلب وتخصيصًا أقل في المناطق المتجانسة.

الأهمية والادعاءات

تدعي الورقة أن RD-ViT يقدم استراتيجية معمارية قابلة للتطبيق لـ التقسيم الفعال للمعاملات في المجالات الطبية ذات البيانات المحدودة. من خلال الجمع بين مشاركة الأوزان (التكرار) والحوسبة الشرطية (MoE)، يحقق النموذج أداءً قريبًا من المستوى المتقدم (SOTA) مع استخدام نصف المعاملات تقريبًا مقارنة بنموذج ViT القياسي.

يؤكد المؤلفون أن حقن LTI المستقر أمر بالغ الأهمية لتمكين استخراج العمق، مما يوفر "مقبض استدلال مجاني" للمفاضلة بين السرعة والدقة دون إعادة التدريب. كما أن التخصص التلقائي لخبراء MoE يشير إلى أن بنيات العمق المتكرر يمكنها بطبيعتها تفكيك مشاكل التقسيم المعقدة إلى مهام فرعية خاصة بكل فئة.

يسلط العمل الضوء على التباين في الأداء بين 2D و3D: بينما يتفوق RD-ViT في 2D بفضل السياق المكاني الغني، فإن الأداء ثلاثي الأبعاد (3D) لا يزال حاليًا مقيدًا بسعة النموذج أكثر من البنية المتكررة نفسها. ومع ذلك، فإن النجاح في الانتقال إلى تصوير الأسنان يوضح القدرة المستقلة عن المجال لهذه البنية.

تخلص الورقة إلى أنه على الرغم من أن RD-ViT لا يتفوق بعد على المسارات عالية التحسين وكثيفة البيانات في جميع السيناريوهات ثلاثية الأبعاد، إلا أنه يقلل بشكل كبير من الاعتماد على البيانات ويقدم نموذجًا جديدًا للتقسيم الطبي الفعال، القابل للتفسير، والقابل للتكيف. تم إصدار جميع الأكواد، دفاتر الملاحظات، والنتائج علنًا.