💬 NLP

RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models

تقدم الورقة البحثية إطار العمل RARE، وهو إطار عمل غير مرتبط بالموجّه (router-agnostic) يعمل على فصل توجيه التمثيل (representation steering) عن توجيه الخبراء في نماذج خليط الخبراء (Mixture-of-Experts)، وذلك عبر إسقاط الاضطرابات السلوكية على الفضاء الصفري (null space) للموجّه، مما يحسن بشكل كبير من فعالية التوجيه فيما يتعلق بالضررية، والصدقية، والتعديل الحقائقي، مع الحفاظ على فائدة النموذج.

المؤلفون الأصليون: Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

نُشر 2026-08-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تُعد النماذج اللغوية الكبيرة هي المحركات التي تقف وراء الذكاء الاصطناعي الحديث، وهي قادرة على كتابة القصص، وحل المشكلات، والإجابة على الأسئلة. ولجعل هذه الأنظمة الضخمة فعالة، يتم بناء العديد منها الآن باستخدام تصميم يسمى "خليط الخبراء". تخيل مكتباً كبيراً حيث يتلقى مدير كل طلب وارد ويقرر أي متخصص محدد يجب أن يتولى المهمة. في هذه النماذج، يكون "المدير" عبداً عن آلية توجيه تنظر إلى كل كلمة في الجملة وترسلها إلى مجموعة صغيرة ومتخصصة من المعالجات الداخلية، أو "الخبراء"، بدلاً من استخدام عقل الكمبيوتر بأكلمه لكل مهمة بمفردها. وهذا يسمح للنموذج بأن يكون ضخماً وذكياً للغاية مع بقائه سريعاً واقتصادياً في التشغيل.

لطالما سعى الباحثون لإيجاد طرق لتوجيه أو "قيادة" هذه النماذج نحو سلوكيات محددة، مثل جعلها أكثر صدقاً أو أقل عرضة لإنشاء محتوى ضار. وتتضمن إحدى التقنيات الشائعة دفع الحالات الرياضية الداخلية للنموذج أثناء عملية التفكير، وهي طريقة تعمل بشكل جيد مع النماذج الأقدم والأبسط حيث يكون كل جزء من الدماغ نشطاً دائماً. ومع ذلك، عندما حاول العلماء تطبيق تقنية "الدفع" نفسها على نماذج "خليط الخبراء" الأحدث، غالباً ما فشلت. كانت المشكلة هي أن الدفعة التي تهدف إلى تغيير السلوك أدت أيضاً عن طريق الخطأ إلى إرباك المدير، مما تسبب في إرسال الطلب إلى المتخصصين الخطأ. هذا عدم التطابق أدى إلى تعطيل التدفق الطبيعي للنموذج، مما أدى إلى نتائج سيئة.

لقد حل فريق من الباحثين هذه المعضلة الآن من خلال تطوير إطار عمل جديد يسمى RARE. ويكشف عملهم عن رؤية حاسمة: المدير في هذه النماذج يهتم أساساً بموضوع الطلب، وليس بالسلوك المحدد الذي يُتوقع من النموذج إظهاره. وسواء سأل المستخدم سؤالاً عن البرمجة أو طلب من النموذج رفض طلب ضار، فإن المدير يميل إلى إرسال الطلب إلى نفس مجموعة المتخصصين إذا ظل الموضوع كما هو. ووجد الباحثون أن الطرق القديمة فشلت لأنها حاولت تغيير السلوك عن طريق تغيير المسار الذي تسلكه البيانات، مما أربك المدير. بدلاً من ذلك، يقوم نهجهم الجديد بتغيير السلوك دون تغيير المسار.

يعمل إطار عمل RARE من خلال تصفية "الدفعة" بعناية قبل تطبيقها. فهو يزيل أي جزء من التعليمات من شأنه أن يجعل المدير يغير رأيه بشأن المتخصصين الذين سيستخدمهم. ومن خلال القيام بذلك، يستمر النموذج في إرسال الطلب إلى الخبراء الصحيحين، ولكن هؤلاء الخبراء يعالجون المعلومات بطريقة تنتج السلوك المطلوب. وقد اختبر الباحثون هذه الطريقة على ستة نماذج ضخمة مختلفة وعبر ثلاث مهام متميزة: جعل النماذج أقل ضرراً، وجعلها أكثر صدقاً، وتحديث حقائق محددة تعرفها.

كانت النتائج مذهلة. فعند محاولة منع النماذج من اتباع التعليمات الضارة، نجحت الطريقة الجديدة في 53.3% من الحالات، وهو تحسن كبير مقارنة بالمحاولات السابقة، مع الحفاظ أيضاً على دقة بنسبة 67.8% في اختبارات المعرفة العامة. وفي اختبارات الصدق، حسنت الطريقة قدرة النماذج على إعطاء إجابات صحيحة من 41.0% إلى 58.6%. ولعل الأمر الأكثر دراماتيكية هو أنه عند الطلب من النموذج تحديث حقيقة معينة، قفز معدل النجاح من 16.8% إلى 96.3%. تشير هذه الأرقام إلى أنه من خلال احترام نظام التوجيه الداخلي للنموذج، يمكن للباحثين توجيه سلوكه بفعالية دون كسر ذكائه العام.

كما قارنت الدراسة خمس طرق مختلفة لحساب الدفعة اللازمة لمعرفة أي منها يعمل بشكل أفضل. ووجدوا أن الطريقة القائمة على تحليل شكل وانتشار البيانات، بدلاً من مجرد اتجاهها المتوسط، قدمت النت_ الأكثر اتساقاً وقوة عبر جميع النماذج المختلفة. وتوحي هذه النتيجة بأن هندسة البيانات الداخلية مهمة بقدر أهمية اتجاه التغيير.

في نهاية المطاف، يوضح هذا البحث أن التحكم في سلوك نماذج الذكاء الاصطناي المعقدة والحديثة يتطلب توازناً دقيقاً. لا يمكنك ببساطة فرض التغيير؛ بل يجب عليك العمل ضمن بنية النموذج الموجودة. ومن خلال الحفاظ على المسار الطبيعي الذي يختاره النموذج لموضوع معين، من الممكن توجيه مخرجاته نحو السلامة أو الصدق أو الدقة. يوفر هذا النهج طريقة موثوقة لتكييف هذه الأدوات القوية مع احتياجات محددة دون المساس بقدراتها العامة، مما يوفر مساراً أوضح نحو جعل الذكاء الاصطناعي أكثر توافقاً مع القيم الإنسانية.

ملخص تقني: RARE – فك الارتباط بين توجيه التمثيل وتوجيه الخبراء في نماذج MoE

بيان المشكلة

تتبنى النماذج اللغوية الكبيرة (LLMs) بشكل متزايد بنيات "خليط الخبراء" (Mixture-of-Experts - MoE) لتوسيع القدرة مع الحفاظ على كفاءة الاستدلال. ومع ذلك، فإن تطبيق هندسة التمثيل (Representation Engineering) — وهي تقنية تتحكم في سلوك النموذج من خلال تعديل الحالات المخفية الوسيطة — على نماذج MoE يؤدي إلى عدم تطابق هيكلي حرج.

في النماذج الكثيفة (Dense Models)، تُضاف نواقل التوجيه (Steering Vectors) إلى الحالات المخفية لتغيير السلوك. أما في نماذج MoE، فيحدد الموجه (Router) أي الخبراء سيعالجون الرمز (Token) بناءً على هذه الحالات المخفية. إن التطبيق المباشر لاضطرابات التوجيه يغير لوغاريتمات الموجه (Router Logits)، مما يتسبب في توجيه الرموز إلى مجموعات مختلفة من الخبراء عما كانت ستكون عليه في مرحلة الاستدلال النظيفة. هذا "الانحراف في التوجيه" (Routing Drift) يعطل مسار الحوسبة الشرطية الأصلي للنموذ de، مما يؤدي إلى تدهور كبير في فعالية التوجيه. وبينما تحاول الأساليب الحديثة الخاصة بـ MoE التحكم في السلوك من خلال التلاعب المباشر بلوغاريتمات الموجه أو تنشيط الخبراء، إلا أن هذه الأساليب تتجاوز مسار الحوسبة المشروط بمدخلات النموذج، مما قد يضعف صلة الاستجابة والقدرات العامة.

التحدي الجوهري يكمن في كيفية تنسيق التحكم على مستوى التمثيل مع آلية التوجيه الشرطية دون تعطيل تخصيص الخبراء الأصلي.

المنهجية: RARE

قدم المؤلفون إطار عمل RARE (التمثيل الهندسي المستقل عن الموجه - Router-Agnostic Representation Engineering)، وهو مصمم لتوجيه نماذج MoE مع الحفاظ على أنماط التوجيه الأصلية لها. تتكون المنهجية من ثلاثة مكونات رئيسية:

1. الدافع التجريبي

من خلال عمليات فحص محكومة، أثبت المؤلفون أن توجيه MoE حساس بشكل أساسي لـ المحتوى الدلالي (Semantic Content) للاستعلام، وليس لـ سلوك الاستجابة (مثل الرفض مقابل الامتثال) أو النية الأمنية.

النتيجة: تحت موضوع استعلام ثابت، يؤدي تغيير سلوك الاستجابة (على سبيل المثال، من الامتثال إلى الرفض) إلى تغييرات طفيفة في اختيار الخبراء من قبل الموجه.
الاستنتاج: يجب أن يقوم التوجيه الفعال بتعديل التمثيلات المخفية التي تعالجها الخبراء المختارة طبيعيًا دون تغيير قرار الموجه.

2. الإسقاط المستقل عن الموجه

يقوم RARE بفك الارتباط بين التوجيه السلوكي وتوجيه الخبراء عن طريق إسقاط الاضطرابات على الفضاء الصفري (Null Space) لمصفوفة الموجه.

إسقاط الفضاء الصفري: بالنسبة لمصفوفة وزن الموجه $R_\ell$ عند الطبقة $\ell$ ، يحسب الموجه اللوغاريتمات $z_\ell = R_\ell h_\ell$ . لضمان بقاء لوغاريتمات الموجه دون تغيير ( $R_\ell \delta h_\ell = 0$ )، يجب أن يقع الاضطراب $\delta h_\ell$ في الفضاء الصفري لـ $R_\ell$ .
الآلية: بالنظر إلى متجه اضطراب خام $u_\ell$ (مشتق من الحالات المخفية التباينية)، يقوم RARE بإسقاطه باستخدام مسقط $\Pi^\perp_\ell = I - Q_\ell Q_\ell^\top$ ، حيث $Q_\ell$ هو أساس متعامد لـ الفضاء الصفي لـ $R_\ell$ . الاضطراب الناتج يكون غير مرئي للموجه، مما يحافظ على اختيار الخبراء الأصلي.

3. تصحيح التوجيه اللاحق

بسبب انتشار الاضطرابات عبر كتل المحولات غير الخطية، فإن الثبات المحلي في طبقة الحقن لا يضمن الثبات في الموجهات اللاحقة.

التصحيح أثناء التشغيل: يطبق RRE التصحيح في طبقات "محمية" مختارة لاحقة. يقارن المدخل المعدل الحالي $h'_\ell$ بمدخل مرجعي نظيف $h^0_\ell$ ويزيل أي انحراف مرئي للموجه، مما يضمن بقاء لوغاريتمات الموجه في هذه الطبقات متسقة مع المسار النظيف.

مقدرات الاضطراب

إطار العمل مستقل عن كيفية بناء الاضطراب الخام. قيم المؤلفون خمسة مقدرات:

MeanDiff: ترجمة الدرجة الأولى بين مراكز الفئات.
Probe: المنظم الحدودي الخطي.
LowRank: الإسقاط على فضاء فرعي رئيسي.
LDA: تحليل التمييز الخطي الذي يأخذ في الاعحتبار التباين داخل الفئة.
AffineGaussian: المحاذاة من الدرجة الثانية باستخدام مبادئ التبييض وإعادة التلوين.

المساهمات الرئيسية

البصيرة التجريبية: تقدم الورقة دليلاً على أن توجيه MoE يتتبع دلالات الاستعلام بشكل وثيق أكثر من سلوكيات الاستجابة، مما يستوجب الحفاظ على التوجيه الأصلي كشرط مسبق للتوجيه الفعال.
إطار عمل RARE: طريقة توجيه مبتكرة ومستقلة عن الموجه، تقوم بإسقاط اضطرابات السلوك على فضاءات غير مرئية للموجه وتصحح انحراف التوجيد المتراكم، مما يسمح بتعديل التمثيل دون تعطيل تخصيص الخبراء.
التقييم الشامل: دراسة منهجية لخمسة مقدرات اضطراب عبر ستة نماذج MoE متنوعة مفتوحة الأوزان (DeepSeek, Mixtral, Phi-3.5, Phi-mini, Qwen3, GPT-oss) وثلاث مهام للتحكم السلوكي.

النتائج التجريبية

غطى التقييم ثلاثة سيناريوهات: توجيه الضررية (اختراق الحماية/Jailbreaking)، توجيه الصدق، والتعديل الحقائقي.

توجيه الضررية: حقق RARE (باستخدام مقدر AffineGaussian) متوسط معدل نجاح هجوم (ASR) بنسبة 53.3% مع الاحتفاظ بـ 67.8% من دقة MMLU. يمثل هذا مقايضة أقوى بكثير بين الفعالية والمنفعة مقارنة بالنماذج المرجعية مثل RepE (18.7% ASR) والأساليب الخاصة بـ MoE مثل SteerMoE (46.3% ASR ولكن مع احتفاظ أقل بالمنفعة).
توجيه الصدق: حسن RARE متوسط دقة TruthfulQA MC1 من 41.0% إلى 58.6%.
التعديل الحقائقي: زاد RARE من فعالية CounterFact من 16.8% إلى 96.3%.
أداء المقدر: حقق AffineGaussian باستمرار أقوى أداء توجيه عبر جميع النماذج والمهام. قدم LDA مقايضة أفضل عند النظر في المحلية (الحفاظ على المعرفة المجاورة).
الدراسة الاستبعادية (Ablation): أدى إزالة خط أنابيب الإسقاط المستقل عن الموجه إلى تقليل متوسط ASR من 53.3% إلى 14.6%، مما يؤكد أن الحفاظ على التوجيه أمر بالغ الأهمية للأداء.

الأهمية والادعاءات

تدعي الورقة أن اتساق التوجيه هو اعتبار بنيوي أساسي لتكييف هندسة التمثيل مع نماذج MoE. من خلال فصل التحكم السلوكي عن توجيه الخبراء، يثبت RARE أنه من الممكن تعديل التمثيلات الداخلية لتغيير سلوك النموذج مع الحفاظ على مسار الحوسبة الأصلي والقدرات العامة للنموذج.

يضع المؤلفون RARE ليس كوسيلة لتجاوز سلامة أو منطق النموذج، بل كآلية خفيفة الوزن وفعالة لتوجيه السلوك بما يحترم بنية MoE الأساسية. تشير النتائج إلى أن هندسة التمثيل المستقبلية لنماذج MoE يجب أن تأخذ في الاعتبار حساسية الموجه للمحتوى الدلالي لتجنب حالات الفشل الناجمة عن انحراف التوجيه.