💬 NLP

Disentangling Knowledge Representations for Large Language Model Editing

تقدم هذه الورقة DiKE، وهو إطار عمل جديد لتحرير المعرفة يعمل على فك تشابك تمثيلات الموضوع إلى مكونات مرتبطة بالهدف وأخرى غير مرتبطة به، وذلك للحفاظ بفعالية على المعرفة غير ذات الصلة دقيقة التفاصيل أثناء تحديث حقائق محددة في النماذج اللغوية الكبيرة.

المؤلفون الأصليون: Mengqi Zhang, Zisheng Zhou, Xiaotian Ye, Qiang Liu, Zhaochun Ren, Zhumin Chen, Pengjie Ren

نُشر 2026-03-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mengqi Zhang, Zisheng Zhou, Xiaotian Ye, Qiang Liu, Zhaochun Ren, Zhumin Chen, Pengjie Ren

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "Disentangling Knowledge Representations for Large Language Model Editing" (DiKE) باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: "المكتب الفوضوي" للمعلومات

تخيل نموذج لغة ضخم (LLM) كأنه أمين مكتبة عملاق وذكي للغاية، قرأ كل كتاب في العالم. هذا الأمين يخزن الحقائق في دماغه.

أحياناً، نحتاج لتحديث ذاكرة هذا الأمين. على سبيل المثال، قد نقول له: "مهلاً، لقد تغير رئيس الولايات المتحدة من بايدن إلى ترامب".

الطريقة القديمة (أسلوب "التحطيم والسرقة"):
طرق تحديث هذه الذاكرة الحالية تشبه إلى حد ما طاقم ترميم فوضوي. يدخلون إلى دماغ الأمين ويحطمون جداراً معيناً لكتابة الحقيقة الجديدة.

النتيجة: نجحوا في كتابة "ترامب هو الرئيس".
الحادث العرضي: لأن الجدار الذي حطموه كان يدعم أشياء أخرى، تسببوا دون قصد في إسقاط رف بجانبه. الآن، أصبح الأمين ينسى أن عاصمة الولايات المتحدة هي واشنطن العاصمة، أو أن نائبة الرئيس هي هاريس.
لماذا؟ في دماغ الأمين، تُخزن جميع الحقائق المتعلقة بـ "الولايات المتحدة" في كومة واحدة كبيرة ومتشابكة. لا يمكنك سحب خيط "الرئيس" دون أن تسحب معه خيط "العاصمة".

الحل: DiKE (المنظم الذكي)

يقترح المؤلفون طريقة جديدة تسمى DiKE. تخيل DiKE كجراح أعصاب ماهر أو أمين مكتبة محترف، لا يكتفي بتحطيم الجدران، بل يعيد تنظيم نظام الأرشفة بالكامل أولاً.

يعمل DiKE عبر خطوتين رئيسيتين:

1. "فك التشابك" (فك خيوط الصوف)

تخيل أن ذاكرة الأمين عن "الولايات المتحدة" هي كرة ضخمة من خيوط الصوف حيث خيط "الرئيس"، وخيط "العاصمة"، وخيط "العملة" كلها معقودة معاً.

ما يفعله DiKE: قبل إجراء أي تغييرات، يستخدم DiKE أداة خاصة (وحدة KRD) لفك تشابك كرة الصوف بعناية.
يقوم بفصل الخيوط إلى حزمتين متميزتين:
1. الحزمة (أ) (الهدف): الخيط المتعلق تحديداً بمن هو الرئيس.
2. الحزمة (ب) (غير ذات الصلة): الخيط المتعلق بالعاصمة، والعملة، ونائب الرئيس.
الآن، هاتان الحزمتان تقفان جنباً إلى جنب ولكن لم تعودا متشابكتين.

2. "التعديل الجراحي" (التعديل القائم على فك التشابك)

الآن بعد أن تم فك تشابك الخيوط، يقوم DiKE بعملية التحديث.

يأخذ الحزمة (أ) (الرئيس) ويستبدل علامة "بايدن" بعلامة "ترامب".
والأهم من ذلك، أنه يترك الحزمة (ب) (العاصمة/العملة) دون مساس تماماً. هو لا يلمسها حتى.
النتيجة: يعرف الأمين الآن أن ترامب هو الرئيس، لكنه لا يزال يتذكر تماماً أن واشنطن العاصمة هي العاصمة. لا يوجد أي كسر عرضي للمعلومات.

لماذا هذا أفضل مما سبق؟

حاولت الطرق السابقة إصلاح "المكتب الفوضوي" عبر وضع لوحات "ممنوع اللمس" حول كومة الخيوط بأكملها. ولكن لأن الخيوط كانت متشابكة جداً، لم تكن تلك اللوحات دقيقة بما يكفي. فإذا سحبت خيط "الرئيس"، سيُسحب معه خيط "العاصمة" أيضاً.

أما DiKE فهو مختلف لأنه يفصل الخيوط مادياً أولاً. إنه يضمن أنه عندما تعدل حقيقة واحدة، فأنت تضمن رياضياً عدم إزعاج الحقائق الأخرى التي تشترك معها في نفس الموضوع.

الاختبار الجديد: "FINE-KED"

لإثبات نجاح هذا العمل، صمم المؤلفون اختباراً جديداً يسمى FINE-KED.

الاختبارات القديمة: كانت تسأل، "هل تذكرت الرئيس الجديد؟" و "هل تذكرت أن مايكروسوفت تأسست على يد بيل غيتس؟" (هذه أسئلة سهلة لأن المواضيع مختلفة تماماً).
اختبار FINE-KED: يسأل، "هل تذكرت الرئيس الجديد؟" وَ "هل تذكرت عاصمة الولايات المتحدة؟" (هذه أسئلة صعبة لأنها تدور حول نفس الموضوع).
النتيجة: سجل DiKE درجات أعلى بكثير في هذه الاختبارات "الصعبة" من أي طريقة سابقة، مما يثبت قدرته على تحديث الحقائق دون كسر الحقائق المرتبطة بها.

تشبيه ملخص: ترميم المنزل

الطريقة القديمة: تريد إعادة طلاء المطبخ. تستأجر طاقماً يبدأ ببساء طلاء جدار المطبخ، وفي أثناء ذلك، يثقبون بالخطأ جدار غرفة المعيشة ويكسرون التلفاز لأن الجدران متصلة ببعضها.
طريقة DiKE: قبل الطلاء، يقومون بتركيب جدار زجاجي عازل للصوت والحريق وغير قابل للاختراق بين المطبخ وغرفة المعيشة. ثم يقومون بطلاء المطبخ. تبقى غرفة المعيشة والتلفاز آمنين تماماً ودون أي تغيير.

لماذا يجب أن نهتم؟

بما أن نماذج الذكاء الاصطناعي أصبحت جزءاً من حياتنا اليومية (تجيب على الأسئلة، تكتب الأكواد، تقدم النصائح)، فهي بحاجة للبقاء محدثة. إذا قمنا بتحديثها لمعرفة الأحداث الجديدة، فلا نريدها أن تنسى فجأة حقائق أساسية مثل "الشمس حارة" أو "باريس في فرنسا". يمنحنا DiKE وسيلة لإبقاء الذكاء الاصطناعي ذكياً ومواكباً للعصر دون جعله ينسى أو يصاب بالارتباك.

إليك ملخص تقني مفصل لورقة البحث "Disentangling Knowledge Representations for Large Language Model Editing" (DiKE)، المنشورة في مؤتمر ICLR 2026.

1. بيان المشكلة

تحتوي النماذج اللغوية الكبيرة (LLMs) على كميات هائلة من المعرفة التي غالبًا ما تصبح قديمة أو غير دقيقة. يهدف تعديل المعرفة (Knowledge Editing) إلى تحديث حقائق محددة داخل النموذج دون إعادة تدريب النموذج بأك ول. وبينما تعد الطرق الحالية (مثل ROME وMEMIT وAlphaEdit) فعالة في حقن معرفة جديدة والحفاظ على المعرفة غير ذات الصلة الخشنة (coarse-grained) (الحقائق ذات المواضيع المختلفة تمامًا)، إلا أنها تعاني مع المعرفة غير ذات الصلة الدقيقة (fine-grained).

التحدي الجوهري: تتكون المعرفة غير ذات الصلة الدقيقة من حقائق تشترك في نفس الموضوع مع الحقيقة المراد تعديلها ولكنها تختلف في العلاقة والموضوع (على سبيل المثال، تعديل "رئيس الولايات المتحدة هو بايدن" إلى "ترامب" لا ينبغي أن يغير "عاصمة الولايات المتحدة هي واشنطن").
السبب الجذري: في البنى الحالية للنماذج اللغوية الكبيرة، تمثل تمثيلات الموضوع (مثل "الولايات المتحدة") بطبيعتها سمات متعددة (علاقات ومواضيع). عندما تقوم طرق التعديل بتعديل تمثيل الموضوع لحقن معرفة جديدة، تصبح المعرفة المستهدفة والمعرفة غير ذات الصلة الدقيقة متشابكة (entangled) في فضاء المعلمات. وبناءً على ذلك، فإن تحديث الهدف غالبًا ما يؤدي دون قصد إلى إفساد الحقائق غير المرتبطة التي تشترك في نفس الموضوع.

2. المنهجية: DiKE

يقترح المؤلفون DiKE (فك تشابك تمثيلات المعرفة لتعديل النماذج اللغوية الكبيرة)، وهو إطار عمل جديد يعتمد على مبدأ "التحديد ثم التعديل" (locate-then-edit). يعمل هذا النهج في مرحلتين متمايزتين:

أ. فك تشابك تمثيل المعرفة (KRD)

قبل عملية التعديل، يتم تدريب وحدة خفيفة الوزن لتفكيك تمثيل الموضوع إلى مكونين متميزين:

المتعلق بالمعرفة المستهدفة ( $z^r_e$ ): يشفر المعلومات الخاصة بالحقيقة المراد تعديلها (الموضوع + العلاقة + الموضوع/الهدف).
غير المتعلق بالمعرفة المستهدفة ( $z^u_e$ ): يشفر جميع السمات الأخرى للموضوع (المعرفة غير ذات الصلة الدقيقة).

الآلية:

البنية: تتكون من مفكك تشابك (Disentangler) (شبكتي إسقاط) ومُعيد تركيب (Recomposer) (تركيب خطي).
أهداف التدريب:
- خسارة التباين (Contrastive Loss): تعظم المعلومات المتبادلة بين المكونات المفككة وتمثيل الموضوع الأصلي مع دفع المكونات المرتبطة وغير المرتبطة بعيدًا عن بعضها في الفضاء الشعاعي.
- خسارة القيد (Constraint Loss): تضمن أن المكون غير المرتبط ( $z^u_e$ ) لا يزال قادرًا على التنبؤ بشكل صحيح بالحقائق غير ذات الصلة الدقيقة عند تغذيته مرة أخرى في النموذج.
- خسارة إعادة البناء (Reconstruction Loss): تضمن أن التمثيل المعاد تركيبه يتطابق مع تمثيل الموضوع الأصلي.

ب. تعديل المعرفة القائم على فك التشابك (DKE)

بمجرد فك تشابك التمثيلات، تتم عملية التعديل مع قيود صارمة:

حقن الهدف: يتم حقن المعرفة الجديدة فقط في المكون المرتبط بالهدف ( $z^r_e$ ).
قيد الحفاظ: يتم تقييد المكون غير المرتبط بالهدف ( $z^u_e$ ) صراحةً ليبقى ثابتًا (invariant) (دون تغيير) أثناء التحديث.
الحل ذو الصيغة المغلقة (Closed-Form Solution): بالاستفادة من نظرية المصفوفات، اشتق المؤلفون صيغة تحديث معلمات من الرتبة الأولى (rank-one parameter update). يلبي هذا التحديث ثلاثة قيود متزامنة:
- حقن زوج (المفتاح-القيمة) الجديد (تعديل الهدف).
- الحفاظ على المعرفة الخشنة الموجودة (قيد MEMIT القياسي).
- الحفاظ على التمثيل غير المرتبط المفكك (القيد الدقيق).

يتم اشتقاق تحديث الأوزان النهائي $\hat{W}$ كالتالي:
$\hat{W} = W + (W_3^\top W_3 + E)^{-1} \Delta_{MEMIT}$
حيث $W_3$ هي مصفوفة الإسقاط من مفكك التشابك، و $\Delta_{MEMIT}$ هو التحديث القياسي المشتق من MEMIT. يضمن هذا أن يكون التعديل في حده الأدنى من حيث التأثير على المعرفة غير المرتبطة.

3. المساهمات الرئيسية

تحديد المشكلة: تصنف الورقة البحثية المعرفة غير ذات الصلة رسميًا إلى أنواع خشنة (coarse-grained) ودقيقة (fine-grained)، وتحدد النوع الأخير كنقطة فشل حرجة في طرق التعديل الحالية بسبب تشابك التمثيلات.
إطار عمل مبتكر (DiKE): يقدم نهجًا ذا مرحلتين (KRD + DKE) يقوم بفك تشابك تمثيلات الموضوع صراحةً قبل التعديل، مما يسمح بتحديثات دقيقة دون ضرر جانبي للحقائق المرتبطة.
الاشتقاق النظري: اشتقاق حل ذي صيغة مغلقة وتحديث معلمات من الرتبة الأولى يضمن رياضيًا الحفاظ على المكونات غير المرتبطة المفككة مع حقن المعرفة الجديدة.
معيار جديد (FINE-KED): بناء مجموعة بيانات جديدة مصممة خصيصًا لتقييم الحفاظ على المعرفة غير ذات الصلة الدقيقة. وهي تصنف حالات الاختبار إلى مستويات سهلة (Easy)، ومتوسطة (Middle)، وصعبة (Hard) بناءً على التشابه الدلالي بين العلاقة المعدلة والعلاقة المحفوظة.

4. النتائج التجريبية

قيم المؤلفون DiKE على نماذج GPT2-XL (1.5B)، وGPT-J (6B)، وLLaMA-3 (8B) مقابل نماذج أساسية مثل FT-L، وMEND، وROME، وMEMIT، وAlphaEdit.

أداء FINE-KED:
- يتفوق DiKE بشكل كبير على جميع النماذج الأساسية في المحلية العلاقاتية (Relational Locality) (الحفاظ على المعرفة الدقيقة)، محققًا تحسنًا يصل إلى 8.3% عن أفضل نموذج أساسي في المتوسط.
- يحافظ على فعالية (Efficacy) عالية (معدل نجاح التعديل)، مما يثبت أن الحفاظ لا يأتي على حساب قدرة التعديل.
- في السيناريوهات "الصعبة" (التشابه الدلالي العالي بين العلاقات المعدلة والمحفوظة)، يظهر DiKE أكبر ميزة، بينما تعاني طرق مثل ROME وMEMIT من تدهور شديد.
المعايير العامة (COUNTERFACT & MQUAKE):
- يحقق DiKE أداءً تنافسيًا في مقاييس التعديل القياسية (الفعالية، إعادة الصياغة، درجات الجوار) ومهام الاستدلال متعدد الخطوات (MQUAKE)، مما يثبت أنه لا يضحي بقدرة التعديل العامة.
التعديل بالدفعات (Batch Editing):
- في التعديل المتسق للموضوع (تعديل حقائق متعددة حول نفس الموضوع في وقت واحد)، يحافظ DiKE على استقرار عالٍ، بينما تتدهور الطرق الأخرى (خاصة ROME) بشكل حاد بسبب التحديثات المتضاربة على التمثيلات المتشابكة.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة وحدة فك التشابك أو قيود الحفاظ إلى انخفاض كبير في المحلية العلاقاتية، مما يؤكد ضرورة كلا المكونين.

5. الأهمية

الدقة في التعديل: يعالج DiKE قصورًا جوهريًا في تعديل النماذج اللغوية الكبيرة الحالي: عدم القدرة على تحديث سمات محددة لكيان ما دون إفساد السمات الأخرى لنفس الكيان. وهذا أمر بالغ الأهمية للحفاظ على سلامة الرسوم البيانية للمعرفة المعقدة داخل النماذج.
الكفاءة: من خلال اشتقاق حل ذي صيغة مغلقة، يتجنب DiKE الحاجة إلى التحسين التكراري أو إعادة التدريب المكلفة، مما يجعله قابلًا للتوسع لتحديثات المعرفة واسعة النطاق.
الموثوقية: تعزز الطريقة موثوقية النماذج اللغوية الكبيرة في البيئات الديناميكية (مثل تحديثات الأخبار، أو التصحيحات الواقعية) من خلال ضمان أن التحديثات لا تؤدي إلى هلوسات دقيقة أو أخطاء واقعية في المجالات ذات الصلة.
الاتجاه المستقبلي: يضع هذا العمل نموذجًا جديدًا لتعديل المعرفة يعتمد على فك تشابك التمثيل (representation disentanglement)، مما يشير إلى أن فصل السمات الدلالية داخل الفضاء الكامن يعد استراتيجية أكثر قوة من مجرد تقييد تحديثات المعلمات.

باختًا، يمثل DiKE تقدمًا مهمًا في تعديل المعرفة من خلال عزل المعرفة المستهدفة رياضيًا عن المعرفة غير ذات الصلة الدقيقة، مما يحل مشكلة "تأثير الارتداد" (ripple effect) التي عانت منها تقنيات التعديل السابقة.