ملخص تقني: HodgeCover

بيان المشكلة

تقوم طبقات خليط الخبراء (MoE) المتفرقة بتوجيه الرموز (tokens) عبر مجموعة فرعية صغيرة من الخبراء، مما يخلق فائضاً كبيراً في المعلمات يمكن ضغطه دون الحاجة لإعادة التدريب. تعتمد طرق الضغط الحالية التي لا تتطلب تعلمًا (مثل REAP وREAM وSTUN) على إشارات زوجية لترتيب ودمج الخبراء. ومع ذلك، تعاني هذه الطرق من نقطة عمياء هيكلية جوهرية: قد تكون ثلاثة خبراء متوافقين زوجياً (حواجز دمج منخفضة بين A-B و B-C و C-A)، ومع ذلك يشكلون مجتمعين دورة غير قابلة للاختزال (irreducible cycle)، حيث يؤدي دمج الثلاثة معاً إلى حاجز مرتفع وغير متوقع.

تحاول المنهجيات الحالية التي تستخدم معلومات ثلاثية (مثل قطع الطيف للرسم البيفي عالي الرتبة أو عقوبات خسارة الثلاثيات) تجميع هذه الإشارات في بديل "مجموع الأزواج" أو في "فيتو" ثنائي. وهي تفشل في عزل البقايا الطوبولوجية المحددة التي تنشأ عندما لا تؤدي التوافقات الزوجية إلى دمج عالمي متماسك. يحدد هذا البحث هذه البقايا بوصفها النواة التوافقية (harmonic kernel) لـ "لابلاسيان سيمبليشيال" (simplicial Laplacian) لـ 2-complex مشيد من طبقة الـ MoE.

المنهجية: HodgeCover

يقترح المؤلفون HodgeCover، وهو هدف اختيار خبير لا يتطلب تعلمًا يستهدف صراحةً هذا العائق من رتبة أعلى.

1. مجمع القابلية للدمج (The Mergeability Complex)

للطبقة التي تحتوي على $n$ من الخبراء، يبني المؤلفون 2-complex سيمبليشيال مجرد $K = (V, E, T)$:

• الرؤوس ($V$): الـ $n$ من الخبراء.
• الحواف ($E$): جميع التوليفات الزوجية، والتي تحمل إشارة $b_{ij}$ معرفة بأنها تباعد KL (حاجز الدمج) بين الطبقة الأصلية والطبقة التي يتم فيها دمج الخبيرين $i$ و $j$.
• الأوجه ($T$): مجموعة من المثلثات (الثلاثيات) المختارة بعناية، والتي تحمل إشارة $b_{ijk}$ معرفة بشكل مماثل لدمج ثلاثة خبراء.

2. التفكيك الهوجي (Hodge Decomposition)

يتم تفكيك إشارة حاجز الزوجية $b \in C_1(K)$ باستخدام التفكيك الهوجي المنفصل عبر 1-Hodge Laplacian $L_1 = \partial_1^\top \partial_1 + \partial_2 \partial_2^\top$:
$$b = b_{\text{grad}} + b_{\text{curl}} + b_{\text{harm}}$$

• التدرج ($b_{\text{grad}}$): يمثل إمكانات مستوى الخبير (هل الخبير $i$ قابل للدمج بشكل عام؟). هذا هو المكون الوحيد الذي تلتقطه الطرق الزوجية الحالية.
• **الدوران ($b_{\text{curl}}$):
• التوافق ($b_{\text{harm}}$): البقايا غير القابلة للاختزال. تقع في نواة $L_1$ وتمثل حواجز دمج لا يمكن تفسيرها بأي مزيج من إمكانات الرؤوس أو حدود المثلثات. يلتقط هذا المكون عائق "الدورة غير القابلة للاختزال".

3. هدف الاختيار (Selection Objective)

يختار HodgeCover مجموعة ناجية $S$ بحجم $k$ عن طريق تعظيم دالة فرعية (submodular objective) $\Phi(S)$ تغطي الميزات الطوبولوجية الأكثر أهمية:
$$\Phi(S) = \sum_{i \in S} \text{sal}(i) + \lambda_e \frac{|C_E(S)|}{|E^*|} + \lambda_t \frac{|C_T(S)|}{|T^*|}$$

• البروز (Saliency): درجة قياسية لكل خبير (مقتبسة من REAP).
• تغطية الحافة التوافقية (Harmonic-Edge Coverage): تغطي أعلى نسبة $p\%$ من الحواف ذات الكتلة التوافقية الأعلى ($|b_{\text{harm}, e}|$).
• تغطية الثلاثي-المثلث (Triplet-Triangle Coverage): تغطي أعلى نسبة $q_T\%$ من المثلثات ذات حواجز الدمج المشتركة الأعلى.
• إعادة توجيه الموجه (Router Redirect): يتم إعادة توجيه غير الناجين إلى أقرب ناجٍ، مع تطبيق عقوبة إذا كان المسار يتضمن حافة تحمل كتلة توافقية كبيرة، مما يمنع إعادة إدخال العائق.

4. المتغير الهجين (HodgeCover+Wanda)

لتحقيق ضغط عدواني، يجمع المؤلفون بين HodgeCover (المرحلة 1: تقليل عدد الخبراء) و Wanda (المرحلة 2: تقليم الأوزان غير المهيكل) على الخبب الناجين. يجمع هذا بين محورين متعامدين للضغط ضمن مسار واحد لا يتطلب تعلمًا.

المساهمات الرئيسية

1. تحديد العائق من رتبة أعلى: يحدد البحث رسميًا مجمع القابلية للدمج السيمبليشيال ويثبت أن المكون التوافقي لتفكيك هوج هو الكائن الجبري الخطي الفريد الذي يلتقط دورات الدمج غير القابلة للاختزال التي تغفل عنها الطرق الزوجية.
2. التحقق التجريبي من عدم التفاهة: تظهر التشخيصات عبر ثلاث عائلات إنتاجية لـ MoE (وهي OLMoE، وQwen 3.5-35B، وQwen 3.5-122B) أن كسر الطاقة التوافقية ليس ضئيلاً (29-62% من طاقة حاجز الطبقة الواحدة)، مما يؤكد أن هذا العائق هو خاصية هيكلية هامة في نماذج MoE المتعلمة.
3. خوارزمية HodgeCover: هدف اختيار عملي لا يتطلب تعلمًا، يقوم بجشع بتغطية الحواف الحرجة توافقيًا والمثلثات الحرجة ثلاثيًا، محققًا ضمان تقريب قدره $(1 - 1/e)$ عبر التحسين الفرعي (submodular optimization).
4. أداء رائد (State-of-the-Art): يحقق منهج HodgeCover+Wanda الهجين أفضل مستويات Perplexity (الارتباك) ودقة المهام النهائية مقارنة بأقوى الخطوط المرجعية في أنظمة الضغط العدوانية (تقليل الخبراء بنسبة 66%).

النتائج التجريبية

تم تقييم الطريقة على ثلاثة هياكل خلفية لـ MoE مفتوحة الأوزان عند معدلات تقليل الخبراء بنسبة 33% و66%:

• OLMoE-1B-7B (64 خبير/طبقة)
• Qwen 3.5-35B-A3B (256 خبير/طبقة)
• Qwen 3.5-122B-A10B (256 خبير/طبقة)

النتائج الرئيسية:

• الضغط العدواني (66%): يتفوق HodgeCover+Wanda باستمرار على أقوى خط مرجعي (STUN+Wanda). في نموذج Qwen 3.5-35B عند تقليل بنسبة 66%، يحسن متوسط المهام النهائية (DS-Avg) بمقدار +12.6 نقطة مئوية (74.6% مقابل 62.0%)، مدفوعًا بشكل كبير بالمكاسب في GSM8K (85.5% مقابل 22.1%).
• الارتباك (Perplexity): يحقق أفضل C4 perplexity في كل خلية (نموذج/معدل) وأفضل WikiText perplexity عند تقليل بنسبة 66%.
• دراسات الاستبعاد (Ablation Studies):
  • إزالة التفكيك الهوجي (استبداله بعقوبة ثلاثية ناعمة) يكلف -5.74 نقطة مئوية في DS-Avg على Qwen 3.5-35B عند ضغط 66%.
  • إزالة حد المثلث بالكامل يكلف -11.5 نقطة مئوية.
  • استخدام "فيتو" ثلاثي ثنائي (قيد صارم) تسبب في انهيار قدره -30.5 نقطة مئوية، مما يسلط الضال على ضرورة الصيغة القائمة على التغطية الناعمة.
• تحليل الآلية: على عكس الطرق الأخرى التي تضحي بكتلة التوافق مقابل كتلة الدوران/الثلاثيات (أو العكس)، يحافظ HodgeCover على احتفاظ متوازن لجميع مكونات هوج الأربعة (التوافقي، التدرج، الدوران، وحاجز الثلاثي)، مما يطابق بدقة التفكيك الأصلي للنموذج قبل الضغط.

الأهمية والادعاءات

يدعي البحث أن كشف النواة التوافقية لهيكل MoE المتعلم يغير بشكل جذري مشهد الضغط. من خلال الانتقال لما وراء الإشارات الزوجية لمعالجة العوائق الطوبولوجية من رتبة أعلى، يفتح HodgeCover آفاقًا جديدة لـ الضغط العدواني الذي لا يتطلب تعلمًا، والذي يحافظ على قدرة النموذج حيث تفشل الطرق السابقة.

يؤكد المؤلفون أن هذا النهج:

• لا يتطلب إعادة تدريب: يعمل بالكامل على مجموعة بيانات معايرة صغيرة دون ضبط دقيق (fine-tuning)، أو تقطير معرفة، أو LoRA.
• مدفوع هيكليًا: يعامل مشهد القابلية للدمج ككائن طوبولوجي وليس كمجرد مشكلة ترتيب بسيطة.
• يوازن الاحتفاظ: يوازن بشكل فريد بين الاحتفاظ بالكتلة عبر جميع مكونات هوج، متجنبًا الانحيازات الهيكلية التي تسببها الطرق التي تحسن فقط مجموعات الأزواج أو الثلاثيات.

يضع هذا العمل النواة التوافقية ليس فقط كأداة تشخيصية، بل كمعيار هندسي عملي لاختيار المعلمات في النماذج واسعة النطاق.