Reg4Pru: Regularisation Through Random Token Routing for Token Pruning

ملخص تقني: Reg4Pru – التنظيم عبر التوجيه العشوائي للرموز لتقليم الرموز

بيان المشكلة
أصبحت نماذج الرؤية المحولة (ViTs) أساسية لنماذج الرؤية الحديثة نظرًا لقدراتها على التوسع والتعميم. ومع ذلك، فإن اعتمادها على آليات الانتباه الذاتي يؤدي إلى تعقيد حسابي يتناسب طرديًا مع مربع عدد الرموز ($O(N^2)$). وتبرز هذه العقبة بشكل خاص في تقسيم الصور الطبية، حيث يتطلب الأمر مدخلات عالية الدقة للحفاظ على التفاصيل التشخيصية الحرجة.

بينما توفر طرق تقليم الرموز (إزالة الرموز الزائدة) واستراتيجيات إعادة التنشيط (إعادة إدخال الرموز المقلمة أثناء الاستدلال لتقديم تنبؤات كثيفة لكل بكسل) مسارًا للكفاءة، لاحظ المؤلفون تدهورًا كبيرًا في الأداء في الطبقات العميقة. وتحديدًا، عندما يتم إعادة تنشيط الرموز المقلمة أثناء الاستدلال، فإنها تظهر تمثيلات مختلفة تمامًا عن حالتها أثناء التدريب. يؤدي هذا التحول في توزيع (التدريب-الاختبار) إلى عدم الاستقرار وضعف أداء التنبؤ الكثيف، مما يؤدي بشكل متناقد إلى انخفاض الأداء مع زيادة عمق النموذج.

المنهجية
يقترح البحث Reg4Pru، وهو تقنية تنظيم أثناء التدريب مصممة للتخفيف من عدم الاستقرار المرتبط بتقليم الرموز وإعادة تنشيطها. وتتمثل الآلية الجوهرية في التوجيه العشوائي للرموز خلال مرحلة التدريب لمحاكاة آثار التقليم دون التخلص الدائم من الرموز.

1. التوجيه العشوائي للرموز: خلال التمرير الأمامي للتدريب، يختار النموذج نطاق توجيه عشوائي $[l, n]$ بين كتل المحولات المتوسطة. يتم اختيار مجموعة فرعية عشوائية من الرموز ($\tau_r$) لتخطي حساب الكتل من $l$ إلى $n$، بينما تتم معالجة الرموز المتبقية ($\tau_k$) بشكل طبيعي.
2. تدفق التدرج والتمثيل: تتجاوز الرموز الموجهة كتلًا محددة، مما يؤدي فعليًا إلى قطع تدرجاتها بالنسبة لتلك الطبقات. ومع ذلك، من خلال عشوائية كل من المجموعة الفرعية الموجهة ونطاق التوجيه $[l, n]$ في كل خطوة، تساهم رموز مختلفة في تدرجات مختلفة للكتل عبر التكرارات. وهذا يجبر النموذج على تعلم تمثيلات مستقلة عن العمق، مما يضمن إمكانية إعادة تنشيط الرموز عند أي عمق أثناء الاستدلال دون المعاناة من عدم تطابق التمثيل.
3. استراتيجية الاستدلال: تتنبأ شبكة سياسة منفصلة (Policy Network) بالرموز التي يجب تقليمها بناءً على جدول نسبة الاحتفاظ الهرمي. يتم إزالة الرموز المقلمة مؤقتًا لتوفير الحسابات، ثم يتم إعادة تنشيطها عند الكتلة النهائية لإنشاء أقنعة التقسيم الكثيفة.
4. دوال الخسارة: يجمع هدف التدريب بين خسارة قياسية قائمة على النسبة (لفرض ميزانيات الرموز) وخسارة سياسة مستنيرة ($L_{pol}$) اختيارية تستخدم أقنعة التقسيم الحقيقية لتوجيه قرارات التقليم. تعمل آلية التوجيه كمنظم بجانب هذه الخسائر.

المساهمات الرئيسية

• تحليل عدم الاستقرار عبر العمق: حدد المؤلفون وشخصوا حالة محددة من عدم الاستقرار في تقليم الرموز للتقسيم الكثيف، حيث يتدهور الأداء في الطبقات الأعمق بسبب إعادة تنشيط الرموز التي لم تتعرض للعمق الكامل للشبكة أثناء التدريب.
• إطار عمل Reg4Pru: قدموا استراتيجية توجيه الرموز أثناء التدريب بنطاقات عشوائية. وعلى عكس طرق التوجيه السابقة التي تستخدم حدودًا ثابتة أو سياسات توجيه متعلمة، يقوم Reg4Pru بعشوائية نطاق التوجيه لتقريب توزيع الميزات عبر جميع أعماق التقليم، مما يؤدي إلى تنظيم النموذج.
• التحقق التجريبي: تم التحقق من صحة الطريقة باستخدام مجموعة بيانات FIVES لتقسيم الأوعية الدموية في الشبكية، مما أظهر أن التوجيه العشوائي يعمل على استقرار الأداء بشكل كبير مقارنة بالتوجيه الثابت أو عدم وجود توجيه.

النتائج
أُجريت التجارب على مجموعة بيانات FIVES (صور بدقة 2048$\times$2048، تم تغيير حجمها إلى أرباع لاختبار الإنتاجية) باستخدام بنية EoMT مهيأة بـ DINOv2-small.

• مكاسب الأداء: مقارنة بالنموذج المقلم المدرب بدون توجيه، حسن Reg4Pru متوسط الدقة (AP) بنسبة مطلقة بلغت 46% (من 25.60% إلى 71.67% لتكوين $L_{ratio}$).
• الكفاءة: حقق تكوين Reg4Pru تسريعًا نسبيًا بنسبة 29% في وقت الساعة الحائطية مقارنة بالنموذج الأساسي غير المقلم مع الحفاظ على جودة تقسيم عالية.
• الاستقرار: أظهر تحليل العمق (الشكل 5) أنه بينما عانت النماذج المقلمة غير الموجهة من انخفاض حاد في AP عبر الكتل الأعمق، حافظ Reg4Pru على أداء مستقر. خفف التوجيه ذو الحدود الثابتة من بعض عدم الاستقرار، لكنه فشل في منع انخفاض الأداء بعد انتهاء النطاق الثابت، مما يؤكد ضرورة العشوائية.
• المقارنة: تفوق Reg4Pru على طرق دمج الرموز (ToMe) من حيث متوسط الدقة (AP) عند مقارنة تكوينات الإنتاجية المتشابهة، خاصة عندما تم تطبيق ToMe على كل من طبقات MHSA وMLP.

الأهمية والادعاءات
يزعم البحث أن Reg4Pru هو منظم قيم لاستراتيجيات تقليل الرموز في مهام التقسيم الكثيف. ويرى المؤلفون أن عدم الاستقرار الملاحظ في التقليم هو نتيجة لتحول التوزيع (التدريب-الاختبار) فيما يتعلق بتمثيلات الرموز عند أعماق مختلفة. ومن خلال عشوائية نطاق التوجيه أثناء التدريب، يجبر Reg4Pru النموذج على تعلم تمثيلات قوية تجاه عملية التخطي عند أعماق مختلفة، مما يسد الفجوة بين التدريب والاستدلال بفعالية.

يظل المؤلفون متواضعين بشأن تعميم نتائجهم، مشيرين إلى أن التجارب أجريت على مجموعة بيانات طبية واحدة عالية الدقة. ويقترحون أنه بينما تعد الطريقة فعالة للتقسيم، إلا أن هناك حاة لمزيد من التقييم لتقدير مدى قابليتها للتطبيق على مهام التنبؤ الكثيف الأخرى (مثل تقدير العمق) وإمكانية عملها كآلية تنظيم عامة عند دمجها مع تقنيات مثل Dropout أو Stochastic Depth. كما يقرون بأنه بينما استكشفوا السياسات المستنيرة، فإن السياسات القائمة على النسبة تحقق حاليًا أداءً فائقًا في إعدادهم الخاص.