Why Training-Free Token Reduction Collapses: The Inherent Instability of Pairwise Scoring Signals

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "لماذا ينهار تقليل الرموز (Tokens) بدون تدريب: عدم الاستقرار المتأصل في إشارات التقييم الثنائية (Pairwise Scoring)."

1. بيان المشكلة

تهدف طرق تقليل الرموز (Token Reduction) التي لا تتطلب إعادة تدريب لنماذج المحولات الرؤية (Vision Transformers - ViTs) إلى إزالة الرموز الزائدة أثناء الاستنتاج، مما يقلل من التكلفة الحسابية (FLOPs). تحقق الطرق الرائدة مثل ToMe وToFu وPiToMe وMCTF نتائج واعدة عند مستويات ضغط متوسطة. ومع ذلك، تحدد الورقة نمط فشل حرجًا: تحت الضغط الشديد (نسب تقليل عالية)، تعاني جميع هذه الطرق من "انهيار يشبه المنحدر" (Cliff-like collapse) في الدقة عند نقاط حرجة متطابقة تقريبًا، بغض النظر عن صيغ التقييم أو البنى الهيكلية الخاصة بها.

الأسئلة الجوهرية التي تعالجها الورقة هي:

• لماذا تفشل الطرق ذات الهياكل المختلفة عند نفس عتبة الضغط؟
• هل الانهيار ناتج عن عيوب خوارزمية محددة أم عن محدودية هيكلية أساسية؟
• هل يمكن تشخيص هذا الفشل والتخفيف من حدته دون الحاجة لإعادة التدريب؟

2. المنهجية: الإطار التشخيصي

يقترح المؤلفون إطارًا تشخيصيًا كميًا لتفكيك الانهيار إلى مكونين مترابطين:

أ. المكون 1: مُضخم الخطأ المستقل عن الإشارة (Signal-Agnostic Error Amplifier)

تنمذج الورقة تقليل الرموز على مستوى الطبقات كـ حلقة تغذية راجعة إيجابية.

• الآلية: عندما يتم دمج أو طرد الرموز في الطبقة $l$، فإن تشوه السياق الناتج يؤثر على تقدير الأهمية في الطبقة $l+1$. عمليات التقليل غير المثالية تخلق "متجهات هجينة" أو تتخلص من معلومات مفيدة، مما يؤدي إلى تدهور مجتمع السمات (Feature Population).
• الصياغة الرسمية: يعرّف المؤلفون تشوه التمثيل التراكمي $\Delta(l)$ الذي ينمو بشكل فوق خطي. ويشتقون علاقة تكرارية حيث يزدويد معدل التشوه لكل عملية $\epsilon(l)$ مع تراكم التشوه التراكمي.
• التنبؤ الرئيسي: يؤدي هذا إلى منحنى باريتو محدب (Convex Pareto curve) ونسبة تقليل حرجة $r_{crit}$ تتناسب عكسيًا مع عمق النموذج ($r_{crit} \propto 1/L$). النماذج الأعمق تنهار عند معدلات تقليل أقل لكل طبقة.

ب. المكون 2: عدم استقرار الإشارات الثنائية (Pairwise Signals)

حدد المؤلفون أن جميع الطرق الحالية تعتمد على التشابه الثنائي بين الرموز (مثل تشابه جيب التمام بين أزواج الرموز) للتقييم.

• تحليل عدم الاستقرار: تعتمد التصنيفات الثنائية على $O(N_p^2)$ من العناصر المضطربة بشكل مشترك. في الطبقات العميقة، حيث تتجانس تمثيلات الرموز (تصبح متشابهة)، تؤدي الاضطرابات الصغيرة إلى انقلابات هائلة في التصنيف.
• المقياس: يقدمون اتساق التصنيف ($\rho_s$)، الذي يقيس الارتباط بين التصنيفات في المدخلات النظيفة مقابل المدخلات المشوهة.
  • الملاحظة: في الطبقات العميقة، ينخفض $\rho_s$ الثنائي بشكل حاد (على سبيل المثال، من 0.88 إلى 0.27)، مما يعني أن قرارات الدمج تصبح عشوائية تقريبًا.
• المقارنة: الإشارات الأحادية (Unary signals) (تقييم الرموز بناءً على إحصائيات المجتمع مثل المتوسط/التباين) تعتمد على $O(N_p)$ فقط من الاضطرابات. وبناءً على نظرية النهاية المركزية، فهي أكثر استقرارًا بطبيعتها (يبقى $\rho_s$ أعلى، مثل 0.37–0.48).

ج. تشخيص الضرر الهيكلي ($\rho_{off}$)

تقدم الورقة مقياسًا ثانيًا، وهو $\rho_{off}$ (متوسط الارتباط المطلق لقطر الميزة)، للتمييز بين أنماط الفشل:

• الضرر الهيكلي (High $\rho_{off}$): ناتج عن عمليات الدمج الخاطئة التي تخلق متجهات هجينة تفسد استقلال الميزات (كما هو ملاحظ في ToMe/MCTF).
• الفقدان الدلالي (Low $\rho_{off}$, Low Accuracy): ناتج عن دمج صحيح للرموز المتشابهة ولكن مع "فرز" (Triage) خاطئ (حماية الرموز الخطأ)، كما هو الحال في PiToMe.

3. الحل المقترح: CATIS

بناءً على ثلاثة مبادئ تصميمية مشتقة، صاغ المؤلفون CATIS (التصفية التكميلية للتنشيط مع تقييم الأهمية):

1. P1 (الإشارات الأحادية): استبدال الإشارات الثنائية بـ إشارات أحادية لرفع عتبة التفعيل. يستخدم CATIS دالة مرتبطة بالمجتمع (مسافة ماهالانوبيس القطرية، أو $norm_F$) وهي قوية تجاه الاضطرابات.
2. P2 (الدمج التكميلي): دمج إشارتين أحاديتين تصلان لذروتهما في أعماق مختلفة:
   • إشارة التنشيط ($norm_F$): قوية في الطبقات الضحلة.
   • إشارة السياق (Momentum CLS): تستخدم المشتقات الزمنية لانتباه CLS لالتقاط الاتجاهات، وتصل لذروتها في الطبقات الوسطى.
   • يتم دمج هذه الإشارات عبر تطبيع الدرجة المعيارية (z-score normalization) للحفاظ على الاستقرار عبر جميع الأعماق.
3. P3 (آلية التصفية/الفرز): إدخال عامل تصفية يقسم الرموز إلى ثلاث مجموعات:
   • المحمية (Protected): الرموز عالية الثقة (مستثناة من التقليل).
   • المطرودة (Evict): الرموز منخفضة الثقة (تُزال تمامًا).
   • الدمج (Merge): الرموز المتوسطة (تُدمج).
   • المنطق: هذا يقلل من مضخم الخطأ عن طريق تقليل معدل التقليل الفعال ($r$) وتوجيه الرموز عالية المخاطر إلى قناة "الطرد" الأقل ضررًا بدلاً من "الدمج".

4. النتالئ الرئيسية

أُجريت التجارب على 7 نماذج ViT (ViT-S/B/L, DeiT-3, DINOv3) عبر ImageNet-1K ومعايير المتانة (ImageNet-A/R/Sketch).

• التحقق من التنبؤات:
  • منحنيات باريتو المحدبة: تظهر جميع النماذج المرجعية التدهور المحدب المتوقع.
  • $r_{crit} \propto 1/L$: تظهر عمليات الملاءمة الخطية $R^2 > 0.9$ للارتباط العكسي مع العمق لعتبات الانهيار.
  • استقرار الإشارة: تتفوق الإشارات الأحادية باستمرار على الإشارات الثنائية في الطبقات العميقة (تحسن في $\rho_s$ بنسبة 37–78%).
• مكاسب الأداء:
  • في نموذج ViT-Large مع تقليل 63% من الـ FLOPs:
    • النماذج المرجعية (ToMe, ToFu, PiToMe, MCTF): تنهار إلى دقة تترا-واح 43–65%.
    • CATIS: يحتفظ بدقة 81.0% (96.9% من النموذج الأصلي).
  • في نموذج DeiT-3-Large (تقليل 63%): يحقق CATIS دقة 75.27% مقابل 39–68% للنماذج المرجعية.
  • التعميم: يحافظ CATIS على أداء عالٍ في التوزيعات المزاحة (ImageNet-A/R/Sketch) ومهام تصنيف الفيديو (VideoMAE)، حيث تفشل النماذج المرجعية.
• الكفاءة: يحقق CATIS إنتاجية (Throughput) مقاربة لأسرع النماذج المرجعية (مثل ToFu) مع عبء حسابي ضئيل.

5. الأهمية والمساهمات

• الرؤية النظرية: تعيد الورقة صياغة فشل تقليل الرموز ليس كخطأ خوارزمي محدد، بل كـ محدودية هيكلية متأصلة في التقييم الثنائي في الشبكات العميقة مقترنة بتغذية راجعة إيجابية على مستوى الطبقات.
• الأدوات التشخيصية: توفر مقاييس قابلة لإعادة الاستخدام ($\rho_s$ و $\rho_{off}$) للفحص الصحي قبل النشر للتنبؤ بالانهيار وتشخيص أنواع الفشل (هيكلي مقابل دلالي).
• مبادئ التصميم: تثبت الورقة أن الإشارات الأحادية والتصفية التكيفية هي شروط ضرورية لتقليل الرموز المستقر وعالي الضغط، مما يوفر مخططًا لمستقبل تصميم المحولات عالية الكفاءة.
• الأثر العملي: يثبت CATIS أن الطرق التي لا تتطلب إعادة تدريب يمكنها تحقيق ضغط عدواني (يصل إلى 63% من الـ FLOPs) دون الانخفاضات الكارثية في الدقة التي كان يُعتقد سابقًا أنها حتمية، مما يجعل الاستنتاج الفعال للنماذج الكبيرة أكثر جدوى.

باختصار، تثبت الورقة أن "المنحدر" في تقليل الرموز ناتج عن عدم استقرار الإشارات الثنائية في الطبقات العميقة، وتقترح إطارًا موحدًا (CATIS) يتغلب على ذلك عبر الانتقال إلى إشارات أحادية مستقرة وتطبيق آلية تصفية وقائية.