🤖 AI

Towards Scalable Lifelong Knowledge Editing with Selective Knowledge Suppression

تقترح الورقة البحثية LightEdit، وهو إطار عمل قابل للتوسع لتحرير المعرفة مدى الحياة يجمع بين استرجاع المعرفة الانتقائي واستراتيجية فك التشفير لتثبيط احتمالات المعرفة الأصلية، مما يحقق تحديثات فعالة ومنخفضة التكلفة عبر مجموعات بيانات متنوعة مع التغلب على قيود الاستقرار وتكلفة التدريب التي تعاني منها الأساليب الحالية.

المؤلفون الأصليون: Dahyun Jung, Jaewook Lee, Heuiseok Lim

نُشر 2026-04-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dahyun Jung, Jaewook Lee, Heuiseok Lim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صديقاً عبقرياً، موسوعياً، يعرف كل شيء تقريباً. إنه بارع في الإجابة على الأسئلة، لكنه تعلم كل شيء من كتاب نُشر في عام 2021. إذا سألته: "من هو الرئيس الحالي للولايات المتحدة؟" فقد يخبرك بثقة بالإجابة الخاصة بعام 2021، لأن هذه هي المعلومة المحفورة في عقله.

في عالم الذكاء الاصطناعي، يُسمى هذا نموذج لغوي كبير (LLM). تكمن المشكلة في أن العالم الحقيقي يتغير بسرعة؛ فالناس يُنتخبون، والحقائق تُصحح، والاكتشافات الجديدة تحدث. ولإصلاح معرفة صديقك القديمة، لديك عادةً خياران سيئان:

"إعادة الضبط الشاملة" (إعادة التدريب - Retraining): تأخذ صديقك، وتحبسه في مكتبة، وتجعله يعيد قراءة كل كتاب موجود، ولكن هذه المرة مع تحديد الحقائق الجديدة. هذه العملية مكلفة للغاية، بطيئة، وتستهلك كمية هائلة من الطاقة.
"الجراحة" (تعديل المعلمات - Parameter Editing): تحاول إجراء جراحة دماغية دقيقة لإزالة الذاكرة القديمة ولصق الذاكرة الجديدة مكانها. المشكلة هي أنك في كل مرة تفعل فيها ذلك، تخاطر بإتلاف ذكريات أخرى عن طريق الخطأ. إذا عدلت اسم الرئيس، قد تنسى بالخطأ كيفية تهجئة كلمة "كاليفورنيا". وهذا ما يسمى النسيان الكارثي (Catastrophic Forgetting).

إليك LightEdit: نهج "أمين المكتبة الذكي"

تقدم الورقة البحثية طريقة جديدة تسمى LightEdit. بدلاً من الجراحة أو إعادة الضبط الشاملة، تعامل LightEdit الذكاء الاصطني كطالب يؤدي اختباراً بسياسة "الكتاب المفتوح الذكي".

إليك كيف تعمل، مقسمة إلى خطوات بسيطة:

1. "المحدد المدرك للتعديل" (أمين المكتبة الذكي)

تخيل أنك تسأل صديقك سؤالاً. بدلاً من مجرد التخمين، ترسل LightEdit أولاً أميناً للمكتبة الذكية (ذكاء اصطناعي صغير وسريع) للتحقق من "ورقة غش" تحتوي على حقائق محدثة.

المشكلة في الطرق الأخرى: بعض الطرق تجلب كل شيء من ورقة الغش وتحشره أمام الذكاء الاصطناعي، حتى لو لم يكن ذا صلة، مما يسبب له الارتباك.
حل LightEdit: ينظر أمين المكتبة الذكي إلى سؤالك وإلى ورقة الغش. ويسأل نفسه: "هل تساعد هذه الحقيقة فعلياً في الإجابة على هذا السؤال تحديداً؟"
- إذا كان السؤال عن رئيس الولايات المتحدة، فسيقوم أمين المكتبة بجلب الحقيقة الجديدة المتعلقة بالرئيس.
- إذا كان السؤال عن عاصمة فرنسا، فسيتجاهل أمين المكتبة حقيقة الرئيس تماماً.
- النتيجة: لا يرى الذكاء الاصطناعي إلا المعلومات التي يحتاجها فعلياً، مما يحافظ على سلامة ذكرياته الأخرى.

2. "فك التشفير داخل السياق" (الوكزة اللطيفة)

الآن، أصبح لدى الذكاء الاصطناعي السؤال والحقيقة الجديدة الصحيحة أمامه مباشرة. لكن، لا يزال عقل الذكاء الاصطناعي مبرمجاً على قول الإجابة القديمة لأنها أصبحت عادة لديه.

الطريقة القديمة: تحاول إجبار الذكاء الاصطناعي على تغيير توصيلات دماغه (وهو أمر محفوف بالمخاطر).
طريقة LightEdit: تستخدم "وكزة لطيفة".
تخيل أن الذكاء الاصطناعي على وشك قول الإجابة القديمة. تهمس له LightEdit: "مهلاً، انتظر لحظة. انظر إلى الحقيقة الجديدة الموجودة هنا في السياق. لا تقل الشيء القديم؛ بل قل الشيء الجديد".
من الناحية التقنية، تقوم هذه الطريقة بخفض احتمالية اختيار الذكاء الاصطناعي للكلمة "القديمة" وتعزيز احتمالية الكلمة "الجديدة". الأمر يشبه قولك لطالب: "أعلم أنك تكتب عادةً 'باريس' كعاصمة لفرنسا، ولكن انظر إلى الخريطة الموجودة على مكتبك اليوم—إنها تقول 'لندن'. من فضلك اكتب 'لندن'".

لماذا يعد هذا أمراً بالغ الأهمية؟

تقارن الورقة البحثية بين LightEdit والطرق الأخرى باستخدام ثلاثة أهداف رئيسية:

الموثوقية (Reliability): هل يحصل على الحقيقة الجديدة بشكل صحيح؟ (نعم!)
العمومية (Generality): إذا طرحت نفس السؤال بطريقة مختلفة ("من يقود الولايات المتحدة؟" مقابل "من هو رئيس الولايات المتحدة؟")، هل سيظل يحصل على الإجابة الصحيحة؟ (نعم!)
المحلية (Locality): هل أتلف أي شيء آخر عن طريق الخطأ؟ (نعم! لقد حافظ على جميع الحقائق الأخرى آمنة.)

تشبيه بـ "التكلفة":

الطرق القديمة (مثل RECIPE أو LTE): لتحديث الذكاء الاصطناعي، عليك استئجار فريق من المهندسين لإعادة تدريب النموذج لكل مجموعة بيانات جديدة. الأمر يشبه استئجار طاقم بناء لإعادة بناء المنزل في كل مرة تريد فيها تغيير لون الطلاء. إنه أمر مكلف وبطيء.
LightEdit: تشبه امتلاك ملصق ملاحظات رقمي (Sticky Note). أنت فقط تلصق الحقيقة الجديدة على جبهة الذكاء الاصطناعي (السياق) وتقول له: "اقرأ هذا بدلاً من ذلك". لا يكلف شيئاً تقريباً، ويستغرق ثوانٍ، ويمكنك القيام بذلك آلاف المرات دون كسر المنزل.

الخلاصة

LightEdit هي طريقة خفيفة وفعالة لإبقاء نماذج الذكاء الاصطناعي محدثة. فهي لا تحتاج إلى إعادة تدريب الدماغ بأكمله أو إجراء جراحة خطيرة. بدلاً من ذلك، تستخدم أميناً ذكياً للمكتبة للعثور على الحقائق الصحيحة ووكزة لطيفة لجعل الذكاء الاصطناعي يستمع إليها، كل ذلك مع الحفاظ على بقية معرفته سليمة تماماً.

إنه الفرق بين إعادة بناء محرك السيارة في كل مرة تريد فيها تغيير محطة الراديو، وبين مجرد الضغط على زر لتغيير القناة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "نحو تحرير معرفي مستدام وقابل للتوسع عبر التثبيط الانتقائي للمعرفة" (Towards Scalable Lifelike Knowledge Editing with Selective Knowledge Suppression) من قبل Jung وآخرون.

1. بيان المشكلة

تعاني النماذج اللغوية الكبيرة (LLMs) من قيود المعرفة الساكنة، مما يؤدي إلى الهلوسة والمعلومات القديمة. وبينما يهدف تحرير المعرفة (Knowledge Editing - KE) إلى تحديث حقائق محددة دون إعادة تدريب كاملة، تواجه الأساليب الحالية تحديات كبيرة في سيناريوهات التحرير المستدام (التتابعي):

النسيان الكارثي وانهيار النموذج: غالبًا ما تؤدي الأساليب التي تعدل المعلمات (مثل ROME وMEMIT) إلى تدهور أداء النموذج أو الكتابة فوق معارف غير ذات صلة عند تطبيق التعديلات بشكل متتابع.
تكاليف تدريب عالية وقابلية توسع ضعيفة: تعمل الأساليب المعززة بالاسترجاع (مثل LTE وRECIPE) على تحسين الاستقرار ولكنها تتطلب ضبطًا دقيقًا مكثفًا على مجموعات بيانات محددة. يؤدي هذا إلى تكاليف حوسبة عالية وقابلية تعميم ضعيفة عند التطبيق على مجموعات بيانات أو مجالات غير مرئية.
المقايضات: تكافح النهج الحالية لتحقيق الموثوقية (صحة الحقائق المحررة)، والعمومية (القوة تجاه إعادة الصياغة)، والمحلية (الحفاظ على المعرفة غير المحررة) في آن واحد.

2. المنهجية: LightEdit

يقترح المؤلفون LightEdit، وهو إطار عمل خفيف الوزن مصمم للتحرير المعرفي المستدام والقابل للتوسع. يعمل الإطار دون تعديل معلمات النموذج الأساسية، معتمدًا بدلاً من ذلك على الاختيار المدرك للتحرير وفك التشفير السياقي.

أ. البنية الأساسية

ذاكرة المعرفة الخارجية: تُخزن الحقائق المحررة كـ "ثلاثيات" لغة طبيعية $(s, r, o^*)$ في ذاكرة خارجية $G^*$ .
المُنتقي المدرك للتحرير (EAS):
- الوظيفة: وحدة ترميز متقاطع (Cross-encoder) تعتمد على نموذج XLM-RoBERTa تعمل كمرشح. تقوم بتقييم الصلة بين استعلام المستخدم $q$ والمرشحين المسترجعين من $G^*$ .
- الآلية: تصيغ عملية الاختيار كمسألة استدلال لغة طبيعية (NLI)، حيث تتنبأ بما إذا كان عنصر المعرفة يستلزم الاستعلام.
- الهدف: استرجاع المعرفة ذات الصلة فقط للاستعلام الحالي، مما يمنع الحقائق المسترجعة غير ذات الصلة أو الضوضائية من التدخل في توليد النموذج (للحفاظ على المحلية).
فك التشفير السياقي (In-Context Decoding - ICD):
- الوظيفة: استراتيجية استدلال قائمة على الاحتمالات تعمل على تثبيط احتمالات المعرفة الأصلية للنموذج دون إعادة تدريب.
- الآلية: عندما يولد النموذج استجابة، يقوم ICD بتعديل الاحتمال اللوغاريتمي لـ الرمز الأول (First Token). يقارن بين احتمال توليد الرمز بناءً على السياق الجديد ( $\ell_{new}$ ) مقابل المعرفة السابقة ( $\ell_{prior}$ ).
- الصيغة: يتم تعريف الاحتمال اللوغاريتمي المعدل كالتالي:
  $\log p'(x_1) = \ell_{new} - \alpha \ell_{prior}$
  حيث أن $\alpha$ هو معامل فائق يتحكم في قوة تثبيط المعرفة القديمة.
- الهدف: إجبار النموذج على إعطاء الأولوية للمعلومات المحدثة المقدمة في السياق على أوزان التدريب المسبق، مما يعزز الموثوقية والعمومية.

ب. سير العمل

استقبال الاستعلام $q$ .
استرجاع أفضل $k$ من المرشحين من الذاكرة الخارجية $G^*$ .
تمرير المرشحين عبر المُنتقي المدرك للتحرير للترشيح حسب الصلة.
إنشاء مطالبة (Prompt) تحتوي على الاستعلام والمعرفة المختارة.
إجراء الاستدلال باستخدام فك التشفيد السياقي لتثبيط احتمال الإجابة الأصلية (القديمة).

3. المساهمات الرئيسية

تحديد اختناقات القابلية للتوسع: تسلط الورقة الضوء على أن طرق التحرير المستدام الحالية تعوقها تكاليف التدريب العالية والفرط في التخصيص لمجموعات البيانات، مما يحد من قابليتها للتطبيق في العالم الحقيقي.
إطار عمل LightEdit: نهج مبتكر يجمع بين التصفية القائمة على الاسترجاع وفك التشفير الاحتمالي. يحقق فعالية التحرير دون تحديث المعلمات، مما يقلل بشكل كبير من الأعباء الحوسبية.
التثبيط الانتقائي للمعرفة: يسمح إدخال "فك التشفير السياقي" بالتثبيط الديناميكي لاحتمالات المعرفة القديمة أثناء الاستدلال، مما يحل صراعات المعرفة بفعالية في تمريرة أمامية واحدة (Single forward pass).
تقييم شامل: أظهرت التجارب المكثفة عبر عدة مجموعات بيانات (ZSRE, Counterfact, RIPE) ونماذج (LLaMA-3, GPT-J) أداءً متفوقًا مقارنة بالنماذج المرجعية الحديثة.

4. النتائج التجريبية

قيم المؤلفون LightEdit على ثلاثة معايير باستخدام LLaMA-3 (8B) وGPT-J (6B).

مقاييس الأداء:
- ZSRE: حقق LightEdit متوسط درجة 0.9664، متفوقًا على RECIPE (0.9380) وLTE (0.7934).
- Counterfact: حقق 0.9296 (مقابل 0.7664 لـ RECIPE).
- RIPE: حقق 0.9818 (مقابل 0.5473 لـ RECIPE).
- المحلية (Locality): حافظ على درجات محلية شبه مثالية (>0.99) عبر جميع مجموعات البيانات، مما يشير إلى أدنى مستوى من الاضطراب في المعرفة غير المحررة.
القابلية للتوسع والاستقرار:
- على عكس النماذج المرجعية التي تتدهور بسرعة مع زيادة عدد التعديلات المتتابعة، حافظ LightEdit على أداء ثابت عبر أكثر من 1,000 تعديل.
- الكفاءة: يتطلب LightEdit وقت تحرير صفري (لا يوجد تدريب للمعلمات) وحمل استدلال ضئيل مقارنة بطرق الضبط الدقيق (على سبيل المثال، يستغرق MEMIT حوالي 12 ثانية للتحرير؛ بينما يستغرق LightEdit حوالي 0 ثانية).
دراسات الاستئصال (Ablation Studies):
- إزالة المُنتقي المدرك للتحرير أثرت بشكل كبير على المحلية (الحقائق غير ذات الصلة أفسدت المخرجات).
- إزالة فك التشفير السياقي أثرت على الموثوقية والعمومية (عاد النموذج إلى الحقائق القديمة).
- تم تحديد معامل التثبيط الأمثل $\alpha$ بـ 0.2.
القدرات العامة: لم يؤدِ LightEdit إلى تدهور أداء النموذج في المعايير العامة (MMLU, CSQA, ANLI)، على عكس الطرق التي تعدل المعلمات والتي غالبًا ما تسبب انخفاضات كبيرة في القدرة العامة.

5. الأهمية

النشر العملي: يقدم LightEdit حلاً فعالًا من حيث التكلفة للحفاظ على النماذج اللغوية الكبيرة في البيئات الديناميكية. من خلال إلغاء الحاجة إلى إعادة التدريب، فإنه يتيح تحديثات معرفية في الوقت الفعلي بأقل موارد حوسبية.
التغلب على المقايضات: نجح في كسر المقايضة التقليدية بين دقة التحرير واستقرار النموذج، محققًا درجات عالية في الموثوقية والعمومية والمحلية في آن واحد.
التوجه المستقبلي: يشير العمل إلى أن التحكم الاحتمالي أثناء الاستد يعد بديلًا قابلًا للتوسع وفعالًا لتعديل المعلمات من أجل التعلم المستدام، مما يفتح آفاقًا جديدة لإدارة المعرفة بكفاءة في النماذج واسعة النطاق.

القيود الملحوظة:

يتطلب المُنتقي المدرك للتحرير تدريبًا تحت إشراف (رغم أنه ضئيل مقارنة بالضبط الدقيق الكامل).
قد يختلف الأداء مع اختلاف المعاملات الفائقة ( $\alpha$ ) عبر المجالات المختلفة.
التقييم الحالي محدود بمعايير محددة وقد لا يستوعب بالكامل سيناريوهات الاستدلال المعقدة في النطاق المفتوح.