💻 computer science

Colinearity Decay: Training Quantization-Friendly ViTs with Outlier Decay

تقدم هذه الورقة البحثية "تلاشي الخطية المتوازية" (Colinearity-Decay - CD)، وهو منظم هيكلي غير جراحي يخفف من القيم المتطرفة الضارة للتنشيط في نماذج "Vision Transformers" عبر معاقبة المحاذاة الضارة بين المصفوفات، مما يحسن بشكل كبير دقة التكميم منخفض البت مع الحفاظ على أداء الدقة الكاملة دون أي عبء إضافي أثناء وقت الاستدلال.

المؤلفون الأصليون: Jin Tong, Guang Liang, Peilin Sun, Jianxin Wu

نُشر 2026-05-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jin Tong, Guang Liang, Peilin Sun, Jianxin Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: جعل الذكاء الاصطناعي أصغر دون فقدان عقله

تخيل أن لديك خبيراً عبقرياً، عالماً جداً (وهو ما يسمى بـ Vision Transformer أو ViT) يمكنه التعرف على القطط والسيارات والزهور بدقة مذهلة. هذا الخبير دقيق للغاية، لكنه ضخم ومكلف جداً في توظيفه؛ فهو يتطلب مكتباً ضخماً (ذاكرة عالية) والكثير من الكهرباء للتشغيل.

لجعل هذا الخبير متاحاً للاستخدام اليومي (مثل استخدامه على هاتف أو كاميرا صغيرة)، نريد تصغير حجمه. تسمى هذه العملية الكمّية (Quantization). وهي تشبه أخذ صورة عالية الدقة وضغطها لتصبح بحجم ملف أصغر.

المشكلة:
عندما تحاول تصغير حجم هذا الخبير، ستواجه مشكلة "الجار المزعج". ففي عقل الخبير، معظم الخلايا العصبية (العمال الصغار) هادئة وتعمل بمستوى صوت طبيعي، ولكن هناك بعض الخلايا العصبية المحددة التي تصرخ بصوت عالٍ جداً (تسمى هذه الخلاه القيم المتطرفة - outliers).

عندما تحاول ضغط النظام بأكمله، يجب على خوارزمية الضغط أن تترك مساحة لهذه الخلايا الصارخة. ولكي تستوعبها، تضطر إلى تمديد المقياس بحيث يتم ضغط الخلايا الهادئة والطبيعية في مساحة ضيقة وضبابية. والنتيجة؟ يصبح الخبير المضغوط مرتبكاً ويرتكب الأخطاء، رغم أن النسخة الأصلية كانت مثالية.

الطريقة القديمة مقابل الطريقة الجديدة

الطريقة القديمة (إسكات الصارخين):
حاولت الطرق السابقة حل هذه المشكلة عن طريق إجبار تلك الخلايا العصبية الصارخة على الصمت. فقد أضافوا قاعدة أثناء التدريب تقول: "إذا صرختِ بصوت عالٍ جداً، فسوف نعاقبكِ".

العيب: الأمر يشبه إخبار جوقة موسيقية بأن تغني بهمس فقط. إذا أجبرت المغنين الصاخبين على أن يكونوا هادئين جداً، فإن الأغنية بأكملها ستفقد قوتها وعاطفتها. سيصبح الخبير نموذجاً مضغماً "جيداً"، ولكنه نموذج أصلي "سيء". أنت تفقد ذكاء الخبير الحقيقي لمجرد جعله يتناسب في صندوق صغير.

الطريقة الجديدة (اضمحلال التوازي - Colinearity Decay):
يرى مؤلفو هذه الورقة البحثية أنه لا ينبغي لنا مجرد إسكات الخلايا العصبية الصارخة، بل يجب علينا معالجة سبب صراخها في المقام الأول.

لقد اكتشفوا أن الصراخ يحدث بسبب خلل هيكلي محدد: هناك فريقان من العمال يقفان بالخطأ في خط واحد، مما يؤدي إلى تضخيم إشارات بعضهما البعض.

التشبيه: تخيل سباق تتابع. العداء (أ) يسلم العصا للعداء (ب). إذا كان العداء (أ) يركض بالفعل بأقصى سرعة، وصادف أن العداء (ب) يقف في الموقع المثالي تماماً لاستلام تلك العصا والركض بها بشكل أسرع، فإن الإشارة ستتضخم لتصبح صرخة.
رؤية الورقة البحثية: المشكلة ليست في أن العدائين سريعين جداً؛ بل في أنهم متوازون (على خط واحد) بطريقة تخلق حلقة رد فعل (feedback loop) خطيرة.

الحل: "اضمحلال التوازي" (Colinearity Decay)

قدم المؤلفون قاعدة تدريب جديدة تسمى اضمحلال التوازي (Colinearity Decay).

الإصلاح: بدلاً من مجرد الصراخ "كن هادئاً!"، نقوم برفق بدفع العداء الثاني (المصفوفة اللاحقة) للوقوف بعيداً قليلاً عن ذلك التوازي المثالي مع العداء الأول.
كيف يعمل: يقومون بتطبيق "اضمحلال" طفيف وغير مرئي (دفعة لطيفة) للاتصال بين هذه الأزواج المحددة من المصفوفات أثناء التدريب. هذا يكسر التوازي المثالي الذي يسبب انفجار الإشارة.
النتيجة: الخلايا العصبية الصارخة لا تزال موجودة، لكنها ليست بصخب كما كانت. لقد تم خفض مستواها إلى "مستوى معقول".
- الخبير الأصلي (الدقة الكاملة) يظل عبقرياً ودقيقاً.
- الخبير المضغوم (الكمّي) يمكنه الآن الانكماش دون أن يفقد عقله لأن "الصارخين" لم يعودوا يجبرون النظام بأكمله على التمدد.

لماذا يعد هذا أمراً مهماً؟

لا توجد تكلفة إضافية: صمم المؤلفون هذا بحيث لا يبطئ عملية التدريب ولا يتطلب حاسوباً أكبر. إنه يشبه إضافة تعديل بسيط على وصفة طعام دون الحاجة إلى مطبخ جديد.
أفضل من السابق: في اختباراتهم، جعلت هذه الطريقة النماذج المضغمة أذكى بكثير من الطرق السابقة، خاصة في المهام المعقدة مثل رصد الأشياء في الفيديو (التعرف على الأشياء).
غير اقتحامي: لم يضطروا لإعادة بناء عقل الخبير أو تغيير قواعد اللعبة. لقد قاموا فقط بتعديل كيفية تواصل الأجزاء الموجودة مع بعضها البعض.

ملخص في جملة واحدة

تعلمنا الورقة البحثية أنه لجعل نماذج الذكاء الاصطناعي أصغر وأسرع، لا ينبغي لنا مجرد إجبارها على الهدوء؛ بل يجب علينا بلطف فك تشابك الاتصالات المحددة التي تسبب صراخها، مما يسمح لها بالبقاء ذكية حتى عند تصغير حجمها.

ملخص تقني: اضمحلال التلاؤم الخطي من أجل نماذج المحولات الرؤيوية الصديقة للكمية (Colinearity Decay for Quantization-Friendly Vision Transformers)

1. بيان المشكلة

يعد الكم (Quantization) منخفض البت استراتيجية حاسمة لنشر نماذج المحولات الرؤيوية (ViTs) في البيئات محدودة الموارد. ومع ذلك، فإن النشر المكمم بالكامل يعوقه وجود القيم المتطرفة في التنشيط (activation outliers)—وهي عدد قليل من القنوات أو الرموز (tokens) التي تظهر قيمًا أكبر بكثير من بقية القيم. هذه القيم المتطرفة تفرض مقاييس كمية خشنة، مما يؤدي إلى تدهور الدقة الفعالة لمعظم التنشيطات.

تنقسم النهج الحالية عمومًا إلى فئتين:

أسالين ما بعد التدريب: المعايرة (Calibration)، أو إعادة تمثيل المقياس (scale reparameterization)، أو تقنيات إعادة البناء التي تُطبق بعد تدريب النموذج بكامل الدقة.
كبح التنشيط أثناء التدريب: الأساليب التي تكبح التنشيطات الكبيرة بقوة أثناء التدريب (مثل TWEO [23]) لتثبيت التحسين منخفض الدقة.

يجادل المؤلفون بأن النهج الثاني يعاني من خلل جوهري: إن كبح القيم المتطرفة بقوة يمكن أن يضر بالتمثيل الذي تعلمه نموذج كامل الدقة (FP)، مما يؤدي إلى مقايضة دون المستوى الأمثل بين دقة كامل الدقة والدقة المكممة. علاوة على ذلك، فإن تنظيم التنشيط المباشر غالبًا ما يتسبب في أعباء تدريب كبيرة. ويفترض البحث أن هدف التدريب لا ينبغي أن يكون مجرد تقليل حجم القيم المتطرفة، بل يجب أن يتحكم في التضخيم الهيكلي (structural amplification) الذي يجعل هذه القيم المتطرفة ضارة بعملية الكم.

2. المنهجية: اضمحلال التلاؤم الخطي (Colinearity-Decay - CD)

الطريقة المقترحة، اضمحلال التلاؤم الخطي (CD)، هي منظم هيكلي مصمم لتخفيف تضخم التنشيطات دون تغيير بنية النموذج أو خسارة المهمة.

2.1 المصدر الهيكلي للقيم المتطرفة

حدد المؤلفون أن التنشيطات الكبيرة لا تنشأ غالبًا من مصفوفات فردية، بل من التراصف بين أزواج المصفوفات المرتبة $(W_1, W_2)$ في تدفق البيانات.

لتكن $W_1 = USV^\top$ هي تفكيك القيمة المفردة (SVD) لمصفوفة سابقة.
إذا ترافقت صفوف المصفوفة اللاحقة $W_2$ مع متجه مفرد أيسر مهيمن لـ $W_1$ (مرتبط بقيمة مفردة كبيرة)، فإن الناتج يتضخم.
يعمل اضمحلال الوزن القياسي (Weight decay) على تنظيم المصفوفات بشكل مستقل ويفشل في معاقبة هذا التراصف عبر المصفوفات.

2.2 المنظم (The Regularizer)

يعاقب CD طاقة الزوج $\|W_2 W_1\|_F^2$ . تكون هذه القيمة كبيرة عندما تضع صفوف $W_2$ كتلة (mass) على اتجاهات القيم المفردة العالية لـ $W_1$ .

الأزواج المستهدفة: يُطبق CD على أزواج محددة داخل بلوكات المحول (Transformer blocks):
- الأزواج القابلة للتركيب (Composable Pairs): مقاييس التقييس (Normalization scales) متبوعة بعمليات الإسقاط (مثل مقاييس LayerNorm و $W_Q, W_K, W_V$ أو $W_{F1}$ ).
- الأزواج الوظيفية (Functional Pairs): المصفوفات التي تفصل بينها دوال غير خطية ولكنها تشكل مسارًا وظيفيًا (مثل $W_V \to W_O$ في الانتباه، و $W_{F1} \to W_{F2}$ في FFN).
التحديث المنفصل (Decoupled Update): بدلاً من إضافة خسارة مساعدة إلى رسم بياني للتدريب (مما يزيد من تعقيد الذاكرة والوقت)، يتم تنفيذ CD كـ تحديث وزن منفصل. بعد حساب تدرجات المهمة، يتم تحديث المصفوفة اللاحقة $W_2$ كالتالي:
$W_2 \leftarrow W_2 - \eta \lambda_{cd} W_2 W_1 W_1^\top$
يعمل هذا التحديث على تقليص صفوف $W_2$ على طول اتجاهات القيم المفردة العالية لـ $W_1$ . يثبت المؤلفون أن اتجاه هذا التدرج يشكل زاوية غير منفرجة مع اضمحلال الوزن القياسي، مما يضمن أنهما متعاونان.

2.3 تفاصيل التنفيذ

يُطبق CD فقط على المصفوفة اللاحية في كل زوج لتجنب الاضمحلال المتكرر.
يتم إدارة ميزانية التنظيم عن طريق تقليل معامل اضمحلال الوزن القياسي ( $\lambda_{wd}$ ) لاستيعاب $\lambda_{cd}$ ، مما يحافظ على قوة التنظيم الإجمالية مقارنة بالنموذج المرجعي.
الطريقة غير اقتحامية، حيث تحافظ على الرسم البياني للاستدلال وبنية النموذج.

3. المساهمات الرئيسية

الرؤية التجريبية: يوضح المؤلفون أن إبقاء القيم المتطرفة في "نطاق مناسب" أمر مفيد. إن الكبح الشديد (تقليل أقصى التنشيطات إلى قيم منخفضة جدًا) يضر بدقة كامل الدقة (FP)، وبالتالي يؤثر سلبًا على الأداء المكمم.
التنظيم الهيكلي: حددوا التراصف المفرط بين المصفوفات كمصدر هيكلي للقيم المتطرفة، وقدموا CD، وهو منظم غير اقتحامي بعبء حسابي ضئيل.
mente التعامد (Orthogonality): يعد CD متعامدًا مع خطوط أنابيب الكم الحالية وطرق تخفيف القيم المتطرفة المعمارية (مثل attention sinks)، مما يسمح بالاستخدام المشترك.
التحقق الشامل: تم التحقق من صحة CD عبر تدريب مسبق على ImageNet-1K، وكشف COCO، وتسعة مهام ضبط دقيق (fine-tuning) تابعة.

4. النتائج التجريبية

4.1 التدريب المسبق على ImageNet-1K

دقة الكم (Quantized Accuracy): يحسن CD باستمرار دقة W4A4 المكممة (RepQ-ViT و APHQ) مقارنة بالنماذج المرجعية و TWEO. على سبيل المثال، في ViT-B، يحقق CD نسبة 77.78% (RepQ-ViT) مقابل 76.47% (النموذج المرجعي) و 73.86% (TWEO).
دقة كامل الدقة (Full-Precision Accuracy): يحافظ CD على دقة FP Top-1 أو يحسنها قليلاً (81.63% مقابل 81.44% للنموذج المرجعي).
التحكم في القيم المتطرفة: يقلل CD من أقصى التنشيطات بشكل كبير (على سبيل المثال، من 250.60 إلى 162.44 في البلوكات) ولكنه ليس بقوة TWEO (18.56)، مما يدعم الفرضية القائلة بأن التحكم المتوسط هو الأمثل.

4.2 كشف COCO

يحسن CD أداء الكاشف المكمم (mAP) بشكل كبير مع الحفاظ على أداء FP أو تحسينه قليلاً.
في المقابل، غالبًا ما تتسبب نماذج TWEO ونماذج الضجيج (Noise baselines) في انخفاض دقة FP.
يظهر CD مكاسب متسقة عبر خطوط أنابيب الكم المختلفة (Percentile, RepQ-ViT, APHQ, GPLQ) وأحجام النماذج المختلفة (Swin-T, Swin-S).

4.3 الضبط الدقيق للمهام التابعة

عبر تسع مجموعات بيانات (بما في ذلك Flowers, Pets, Cars, إلخ)، يحقق CD أفضل متوسط دقة FP، وأفضل متوسط دقة مكممة، وأصغر متوسط انخفاض في الدقة مقارنة بالنموذج المرجعي و TWEO.
يؤكد هذا أن التحكم في التنشيطات ضمن نطاق معقول أكثر فعالية من تقليلها قدر الإمكان.

4.4 الكفاءة

العبء (Overhead): باعتباره تحديثًا منفصلًا، يضيف CD حدًا أدنى من عبء الوقت والذاكرة. في المقابل، تتناسب خسارة تنظيم التنشيط في TWEO خطيًا مع حجم الدفعة (batch size) والبعد الخفي، مما يترتب عليه تكاليف أعلى بكثير.

4.5 دراسات الاستئصال (Ablation Studies)

القوة: تحقق قوة CD المتوسطة ( $\lambda_{cd} = 0.005$ ) أفضل النتائج؛ حيث إن كونها قوية جدًا أو ضعيفة جدًا يؤدي إلى نتائج دون المستوى الأمثل.
الشكل: يتفوق شكل التحديث المنفصل على تنفيذ مصطلح الخسارة المباشر، والذي وُجد أنه غير مستقر.
الهدف: تطبيق CD على المصفوفة الثانية في كل من الأزواج القابلة للتركيب والوظيفية يعطي أفضل النتائج. تطبيقها على كلتا المصفوفتين في الزوج الوظيفي يؤدي إلى تدهور الأداء.

5. الأهمية والادعاءات

يدعي البحث أن التنظيم الهيكلي لأزواج مصفوفات المحولات هو وسيلة عملية وفعالة لإعداد النماذج الرؤيوية للنشر منخفض البت.

صفر عبء في الاستدلال: بما أن CD يعدل فقط ديناميكيات التدريب، فإن بنية الاستدلال وزمن التأخير (latency) يظلان دون تغيير.
مقايضة أفضل: من خلال تجنب الكبح الشديد للقيم المتطرفة الذي يضر بتمثيلات كامل الدقة، يحقق CD توازنًا متفوقًا بين دقة FP والدقة المكممة.
القدرة على التعميم: بينما يركز البحث على ViTs، إلا أن الطريقة معرفة على أزواج المصفوفات المرتبة وتظهر وعودًا أولية على نماذج اللغة GPT-2 (الملحق A.6)، مما يشير إلى إمكانية التطبيق خارج مجال الرؤية.

يخلص المؤلفون إلى أنه بدلًا من معاملة القيم المتطرفة كمشكلة يجب القضاء عليها، يجب النظر إليها ككمية تشخيصية حيث الهدف هو التحكم في الآليات الهيكلية (التراصف عبر المصفوفات) التي تضخمها إلى مستويات ضارة.