🤖 machine learning

Scalable Knowledge Editing for Mixture-of-Experts LLMs via Tensor-Structured Updates

تقترح هذه الورقة إطار عمل لتعديل المعرفة بنموذج مغلق الصيغة وقابل للتوسع لنماذج اللغات الكبيرة القائمة على خليط الخبراء (Mixture-of-Experts)، والذي يستفيد من هياكل الموترات ومتطابقة مصفوفة وودبري لتحقيق تحديثات لكل خبير بتسريع يصل إلى 6 أضعاف مع الحفاظ على جودة تعديل مماثلة للنماذج المرجعية ذات الطبقات الكثيفة.

المؤلفون الأصليون: Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "تعديل المعرفة القابل للتوسع لنماذج LLM ذات خليط الخبراء عبر التحديثات ذات البنية الموترة" (MoTE)، مقسمة إلى مفاهيم وتشبيهات بسيطة.

المشكلة الكبرى: تحديث مكتبة ضخمة

تخيل أن النموذج اللغوي الكبير (LLM) هو أمين مكتبة فائق الذكاء يعرف كل شيء تقريبًا. ومع ذلك، بمجرد تدريب أمين المكتبة هذا، تصبح معرفته "مجمدة". إذا تغير العالم (على سبيل المثال، تم انتخاب رئيس جديد، أو تم تصحيح حقيقة علمية)، سيستمر أمين المكتبة في تقديم إجابات قديمة وخاطئة.

عادةً، لإصلاح ذلك، يتعين عليك إرسال أمين المكتبة للعودة إلى المدرسة في جلسة إعادة تدريب طويلة ومكلفة. هذا الأمر بطيء، ويكلف قدرًا هائلًا من طاقة الكمبيوتر، ويخاطر بجعل أمين المكتبة ينسى أشياء أخرى كان يعرفها بالفعل.

تعديل المعرفة (Knowledge Editing) هو طريق مختصر. بدلًا من إعادة تدريب أمين المكتبة بالكامل، يمكنك ببساطة الدخول واستبدال ملف محدد في ذاكرته. نجحت الطرق السابقة مع النماذج "الكثيفة" (حيث يكون كل جزء من الدماغ نشطًا)، لكنها واجهت صعوبات مع النماذج الحديثة.

التحدي الجديد: فريق "الخبراء"

لا تستخدم نماذج الذكاء الاصطناعي الحديثة (مثل تلك المستخدمة في OpenAI أو DeepSeek) دماغًا واحدًا ضخمًا، بل تستخدم بنية خليط الخبراء (Mixture-of-Experts - MoE).

التشبيه: تخيل بدلًا من أمين مكتبة واحد ضخم، لديك فريق من 100 خبير متخصص (مؤرخ، مبرمج، طباخ، طبيب، إلخ).
كيف يعمل: عندما تطرح سؤالًا، يقوم "الموجه" (المدير) بالنظر إلى السؤال ويوقظ فقط الخبراء الـ 4 أو الـ 8 ذوي الصلة بالموضوع، بينما يظل الآخرون نائمين.
المشكلة: إذا أردت تحديث حقيقة ما (مثلاً: "عاصمة فرنسا هي باريس")، فإن أدوات التعديل القديمة لم تكن تعرف كيف تتحدث مع هذا الفريق المحدد. لقد حاولت التعامل مع الفريق بأكمله ككتلة واحدة كبيرة، وهو أمر غير فعال وغير منظم. الطريقة الموجودة لإصلاح ذلك (تسمى MoE-Edit) كانت تشبه محاولة تحديث الخبراء واحدًا تلو الآخر في خط طويل، مما يستغرق وقتًا طويلاً للغاية.

الحل: MoTE (مدير الفريق الذكي)

يقترح المؤلفون طريقة جديدة تسمى MoTE (محرر توكر لخليط الخبراء). لقد حلوا المشكلة باستخدام حيلتين رئيسيتين:

1. الرياضيات "المختصرة" (هوية وودبري - Woodbury Identity)

الطريقة القديمة لتحديث الخبراء كانت تتطلب حل لغز رياضي ضخم ومعقد يتضمن عكس مصفوفة ضخمة (شبكة من الأرقام). كان الأمر يشبه محاولة حل لغز "سودوكو" يحتوي على مليون مربع.

استخدم المؤلفون حيلة رياضية تسمى هوية وودبري (Woodbury Identity).

التشبيه: بدلًا من حل لغز المليون مربع، أدركوا أنهم يحتاجون فقط لحل لغز صغير مكون من 50 مربعًا يمثل التغييرات التي تريد إجراءها.
النتيجة: يحول هذا المهمة من عملية تستغرق ساعات إلى عملية تستغرق دقائق. يمكنهم تحديث المعرفة دون الحاجة أبدًا إلى "إيقاظ" أو حساب الوزن الكامل لكل خبير في آن واحد.

2. احترام هيكل الفريق (تفكيك الموتر - Tensor Decomposition)

الحيلة الثانية كانت إدراك أن الخبراء ليسوا عشوائيين؛ بل هم مرتبطون ببعضهم البعض. لقد تم تدريبهم معًا، لذا فإن معرفتهم متصلة بشكل معين (مثل كتلة من الجبن بدلاً من ورقة مسطحة).

التشبيه: تخيل أن الخبراء هم جوقة موسيقية. إذا أردت تغيير طبقة الصوت في الأغنية، فأنت لا تصرخ في شخص واحد فقط، بل تضبط التناغم في المجموعة بأكملها.
الطريقة: استخدم المؤلفون تفكيك توكر (Tucker Decomposition). هذه طريقة لضغط "كتلة الجبن" (أوزان الخبراء) إلى شكل أساسي أصغر يلتقط جوهر المجموعة.
الفائدة: من خلال تعديل هذا "الجوهر" الأصغر، يتم تحديث جميع الخبراء تلقائيًا بطريقة تحترم علاقاتهم. هذا يمنع النموذج من الارتباك أو "نسيان" أشياء أخرى.

النتائج: سريعة ودقيقة

اختبرت الورقة البحثية MoTE على عدة نماذج ذكاء اصطناعي حديثة (مثل Qwen و GPT-OSS) وقارنتها بأفضل طريقة سابقة (MoE-Edit) وإعادة التدريب القياسية.

السرعة: MoTE أسرع بما يصل إلى 6 مرات من أفضل طريقة سابقة. يمكنها تعديل 1,000 حقيقة في جزء بسيط من الوقت.
الجودة: إنها جيدة بقدر الطرق الأبطأ في تصحيح الحقائق (الفعالية - Efficacy) وفي عدم كسر الأجزاء الأخرى من النموذج (الخصوصية - Specificity).
الكفاءة: تحقق ذلك من خلال إجراء الحساب الرياضي الثقيل مرة واحدة فقط في نهاية العملية ثم نشر تلك النتيجة إلى الطبقات الأخرى، بدلًا من إعادة الحساب لكل طبقة على حدة.

الملخص

تقدم الورقة البحثية MoTE، وهي أداة تسمح لنا بتحديث نماذج الذكاء الاصطناعي الحديثة القائمة على "الخببراء" بسرعة ودقة. وهي تفعل ذلك من خلال:

استخدام اختصار رياضي لتجنب القيام بالحسابات الثقيلة غير الضرورية.
احترام هيكل فريق الخبراء لضمان أن التحديثات منطقية.

هذا يعني أنه يمكننا إبقاء نماذج الذكاء الاصطناعي محدثة مع العالم الحقيقي دون الحاجة إلى إعادة تدريبها من الصفر، مما يوفر كميات هائلة من الوقت والطاقة.

ملخص تقني: تحرير المعرفة القابل للتوسع لنماذج LLM ذات خليط الخبراء (MoE) عبر التحديثات المهيكلة تينسورياً

بيان المشكلة
يوفر تحرير المعرفة (KE) بديلاً خفيف الوزن لعملية الضبط الدقيق الكامل لتحديث المعرفة الواقعية في النماذج اللغوية الكبيرة (LLMs). وبينما توفر الأساليب الراسخة مثل ROME وMEMIT تحديثات فعالة وصيغ مغلقة للشبكات الأمامية المتكررة (FFNs) الكثيفة، إلا أنها غير متوافقة مع بنيات "خليط الخبراء" (MoE) الحديثة. في نماذج MoE، تتوزع الارتباطات الواقعية عبر مجموعة من الخبراء يتم توجيهها بواسطة "موجّه" (Router)، بدلاً من تخزينها في مصفوفة كثيفة واحدة. وتعتمد أساليب تعديل MoE الحالية، مثل MoE-Edit، على خوارزمية "النزول الإحداثي الكتلي" (BCD) التكرارية أو المعالجة المتسلسلة للخبراء. هذا النهج يخلق عنق زجاجة حوسبي، حيث يتطلب جمع التنشيطات بشكل متكرر وتكرارات للمحلل (solver) بشكل متسلسل، مما يؤدي إلى ضعف التوسع مع عدد الخبراء والتعديلات، ويجعلها غير عملية للنماذج الضخمة في بيئات الإنتاج.

المنهجية: MoTE (محرر Tucker لـ MoE)
يقترح المؤلفون MoTE، وهو إطار عمل يكيف نموذج التحرير المجمع ذو الصيغة المغلقة الخاص بـ MEMIT لطبقات MoE من خلال استغلال هيكلها التينسوري (Tensor Structure). تتكون الطريقة من ثلاثة مكونات أساسية:

اختزال وودبيري (Woodbury Reduction) من أجل القابلية للتوسع:
يتضمن هدف التحسين العالمي لتحرير MoE عكس نظام ضخم بحجم $(E \cdot d_{hidden}) \times (E \cdot d_{hidden})$ ، حيث $E$ هو عدد الخبراء. يستخدم MoTE متطابقة مصفوفة وودبيري لإعادة صياغة هذه المشكلة. ومن خلال إدراك أن مصفوفة "جرام" (Gram matrix) التي تقود عملية العكس هي مجموع $T$ من الحدود ذات الرتبة الواحدة (حيث $T$ هو حجم دفعة التعديلات)، تقلل الطريقة من تعقيد العكس من الدرجة التكعيبية في عدد الخبراء إلى الدرجة التكعيبية في حجم الدفعة ( $T \times T$ ). وهذا يسمح بحل ذي صيغة مغلقة دون الحاجة لتجسيد أو عكس مصفوفة الخبراء المكدسة بالكامل.
إعادة الصياغة المهيكلة تينسورياً (تحلل Tucker):
حدد المؤلفون أن معاملة تحديثات الخبراء ككتل مستقلة (نهج المصفوفة المسطحة) يتجاهل الارتباطات الهيكلية بين الخبراء التي تم تعلمها أثناء التدريب المسبق. بدلاً من ذلك، يمثل MoTE التحديث $\Delta W$ كتينسور من الدرجة الثالثة ( $E \times d_{model} \times d_{hidden}$ ) ويقيده بمتعدد (manifold) "تكر منخفض الرتبة" (low-rank Tucker manifold).

التفكيك (Factorization): يتم تفكيك التحديث إلى تينسور أساسي صغير $G$ وثلاث مصفوفات عاملة ( $U_e, U_{out}, U_{in}$ ) مشتقة عبر تحليل SVD عالي الرتبة (HOSVD) للأوزان الأصلية.
التحسين (Optimization): يتم تقليص مشكلة التحسين من الفضاء عالي الأبعاد لجميع الخبراء إلى التينسور الأساسي $G$ الأصغر بكثير. وهذا يقلل من أبعاد متغير التحسين بعدة مراتب مع الحفاظ على البنية الهندسية لطبقة MoE.

نشر متعدد الطبقات بأسلوب MEMIT:
على غرار MEMIT، يقوم MoTE بنشر التعديلات عبر طبقات حرجة متعددة لضمان التعميم. ومع ذلك، وعلى عكس أساليب MoE السابقة التي تتطلب إعادة الحل لكل طبقة، يقوم MoTE بحساب الحل ذي الصيغة المغلقة مرة واحدة فقط عند آخر طبقة حرجة. ثم يتم نشر تحديث التينسور الأساسي الناتج إلى الطبقات السابقة بمعامل اضمحلال، مما يتجنب الحسابات والعمليات الخلفية (backward passes) الزائدة عن الحاجة.

المساهمات الرئيسية

صياغة واعية بالتنسور: يصيغ البحث هدف تحرير المعرفة (KE) لطبقات MoE من خلال احترام الهيكل التنسوري لأوزان الخبراء المكدسة، متجنباً نهج الربط الساذج أو تقريبات الخبير الواحد.
حل فعال ذو صيغة مغلقة: من خلال الجمع بين اختزال وودبيري وتحلل Tucker، يحقق MoTE تحديثًا كاملًا بصيغة مغلقة وبدون عمليات تمرير خلفي (backward-pass-free). ويتطلب الأمر فقط عكس مصفوفات ثابتة منخفضة الرتبة (يتم تحديد حجمها بواسطة حجم الدفعة أو رتبة اللب)، وهي مستقلة عن العدد الإجمالي للخبراء.
القابلية للتوسع: يتيح هذا النهج تحريرًا مجمعًا (batched editing) مشابهًا لـ MEMIT، مما يجعله قابلاً للتطبيق في تحرير نماذج LLM المتفرقة الحديثة دون الاختناقات المتسلسلة التي تعاني منها الطرق السابقة الخاصة بـ MoE.

النتائج التجريبية
قيم المؤلفون MoTE على ثلاثة نماذج Mo-LLM حديثة (Qwen3-30B-A3B، وGPT-OSS-20B، وQwen3.6-35B-A3B) باستخدام معايير COUNTERFACT وZsRE.

جودة التحرير: يحقق MoTE جودة تحرير (الفعالية، التعميم، والخصوصية) تضاهي المعايير المرجعية القوية مثل MoE-Edit. وفي بعض السيناريوهات (مثل GPT-OSS-20B على ZsRE)، يتفوق على MoE-Edit في "المحلية" (Locality/Specificity).
السرعة: تسرع الطريقة عملية التحرير بما يصل إلى 6 أضعاف مقارنة بـ MoE-Edit. ويعزى هذا التسريع إلى جمع التنشيطات مرة واحدة فقط في الطبقة الأخيرة وحل النظام ذي الصيغة المغلقة مرة واحدة فقط، بدلاً من المرور عبر الخبراء والطبقات بشكل متسلسل.
الدراسة الاستقصائية (Ablation): تؤكد التجارب أن الجمع الساذج بين اختزال وودبيري والنشر متعدد الطبقات (بدون تحلل Tucker) يفشل في مضاهاة أداء MoE-Edit، مما يثبت ضرورة وجود الأولوية الهيكلية التنسورية.

الأهمية والادعاءات
يزعم البحث أن تحرير المعرفة القائم على تعديل المعلمات وصاحب الصيغة المغلقة ليس مرتبطًا جوهريًا بالبنيات الكثيفة. فمن خلال تطبيق المعالجة الجبرية الصحيحة لهيكل الطبقة، يمكن توسيع هذه التقنيات لتشمل البنيات المتفرقة المعقدة. يضع المؤلفون MoTE كخطوة نحو تحرير المعرفة القابل للتوسع في نماذج LLM الحديثة، موضحين أن التحرير القائم على المبادئ والتحسين يمكن أن يواكب التطور المعماري. كما يؤكدون أن طريقتهم توفر مسارًا عمليًا لتحديث نماذج MoE الإنتاجية بكفاءة، رغم إشارتهم إلى قيود تتعلق بالتكاليف الحوسبية العالية مع أحجام الدفعات الضخمة جدًا (أكبر بكثير من 1000) والعبء الأولي لحساب HOSVD.