ملخص تقني: التحرير الذاتي للسياسة الهجينة لتحرير المعرفة غير المهيكلة القابلة للتركيب

1. بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) على مجموعات بيانات ثابتة، مما يجعل معرفتها تصبح قديمة في البيئات سريعة التغير. وبينما يهدف تحرير المعرفة (KE) إلى تحديث حقائق محددة دون إعادة تدريب، تعاني الطرق الحالية من صعوبة عند الانتقال من الثلاثيات المهيكلة إلى تحرير المعرفة غير المهيكلة (UKE). في حالة UKE، يتم تقديم المعرفة الجديدة كفقرة حرة تحتوي على حقائق متعددة متشابكة (على سبيل المثال، إعلان استحواذ).

يحدد البحث نمط فشل حرج في طرق UKE الحالية: وهو الافتقار إلى القابلية للتركيب (Composability). فحتى عندما تنجح النماذج في حفظ فقرة محررة، فإنها تفشل في:

1. التفكيك (Decompose): استخراج والإجابة على أسئلة ذرية حول حقائق فردية داخل الفقرة دون مجرد اجترار النص بأك-له.
2. التركيب (Compose): الجمع بين حقائق متعددة محقونة لأداء استدلال متعدد الخطوات (multi-hop reasoning).

يعزو المؤلفون هذا الفشل إلى الاعتماد السلبي للمحررات الحالية على فقرة التحرير الثابتة كمصدر وحيد للتعلم. وهذا يؤدي إلى فرط ملاءمة (overfitting) شديد واعتماد على السياق، مما يمنع النموذج من تعميم المعرفة الجديدة على هياكل الاستعلام غير المرئية. علاوة على ذلك، فإن التقطير الذاتي القائم على السياسة (OPSD) القياسي — حيث يتعلم النموذج من مساراته المولدة الخاصة بتوجيه من حالة سياقية مميزة — يفشل في UKE لأن مسارات (rollouts) النموذج نفسه غالباً ما تنحرف عن الحقائق الجديدة (فشل التغطية) قبل أن يتمكن النموذج المميز من تقديم إشراف تصحيحي.

2. المنهجية: التحرير الذاتي للسياسة الهجينة (HPSE)

لمعالجة فشل التغطية وتحسين القابلية للتركيب، يقترح المؤلفون HPSE، وهو نهج قائم على البيانات، قابل للاستخدام (plug-and-play)، يعدل إشارة التدريب لمحررات KE القائمة على التدرج (gradient-based) دون افتراض آليات محددة لتحديث المعلمات.

الآلية الجوهرية

يعيد HPSE صياغة التحرير كعملية تقطير ذاتي استباقية من حالة سياقية مميزة ($\pi^\star$) لنفس النموذج (النموذج الأساسي $\pi_0$ الذي يقرأ الفقرة الجديدة $c$). وخلافاً لـ OPSD الصرف، الذي يعتمد فقط على مسارات النموذج الطالب ($\pi_\theta$)، يقوم HPSE ببناء مسار هجين ($\pi_\rho$) ينتقل ديناميكياً بين الطالب والمعلم المميز.

عملية المسار الهجين (Hybrid Rollout):
عند كل خطوة توليد $t$، وبالنظر إلى البادئة $y_{<t}$، يتم أخذ العينات للرمز التالي $y_t$ من $\pi_\rho$:

• رمز الطالب: يتم أخذ العينات من $\pi_\theta$ (النموذج المحرر) إذا اتفقت السياسات أو كان الطالب واثقاً.
• خطوة التدخل المميزة: يتم أخذ العينات من $\pi^\star$ إذا تم تفعيل شرط "التدخل" (step-in).

شروط التدخل (Step-In Conditions):
يتدخل النموذج المميز عندما:

1. شرط الفجوة (Gap Condition): تتجاوز فجوة الاحتمال اللوغاريتمي بين النموذج المميز والطالب بالنسبة للرمز الجشع للنموذج المميز ($y^\star_t$) عتبة معينة $\tau$: $\log \pi^\star(y^\star_t) - \log \pi_\theta(y^\star_t) > \tau$.
2. شرط الثقة (Confidence Condition): يكون النموذج المميز واثقاً في تنبؤه: $\pi^\star(y^\star_t) > \kappa$.

تضمن هذه الآلية أنه عندما ينحرف مسار الطالب عن الحقائق الجديدة (خارج الموضوع)، يتدخل النموذج المميز لوضع الحقائق المفقودة في مسار الطالب بدقة في المكان الذي يحدث فيه فشل التغطية.

دالة الهدف (Objective Function)

تجمع دالة خسارة HPSE بين حد التقطير الهجين ومرساة (anchor) سالبة للوغاريتم الاحتمال (NLL) القياسية:
$$J_{HPSE}(\theta) = \mathbb{E}_{y \sim \pi_\rho} \left[ \sum_{t} D_{KL}(\pi^\star(\cdot|x, y_{<t}) \parallel \pi_\theta(\cdot|x, y_{<t})) \right] - \lambda \log \pi_\theta(c|x)$$

• يعمل الحد الهجين على الإشراف على الحقائق الجديدة على طول مسار الطالب الخاص (عبر آلية التدخل).
• تعمل مرساة NLL ($\lambda J_{NLL}$) على الحفاظ على احتمالية مستوى الفقرة القياسية لتثبيت المعرفة تحت بادئات الفقرة نفسها.

الميزة النظرية

يقدم المؤلفون تحليلاً نظرياً يظهر أنه بالنسبة لنطاق حقيقة بطول $\ell$، فإن المسار الهجين يزور كل بادئة حقيقة باحتمالية 1، بينما تزور مسارات OPSD الصرفة البوادئ العميقة باحتمالية تتناقص أسياً ($e^{-\tau j}$). وبناءً على ذلك، فإن إشارة الإشراف في HPSE تتناسب خطياً مع طول النطاق ($\Omega(\ell)$)، بينما تظل إشارة OPSD ثابتة ($O(1)$). وتكبر هذه الميزة مع زيادة تعقيد وطول المعرفة المحقونة.

3. المساهمات الرئيسية

1. صياغة المشكلة: يقدم البحث نظاماً غير مستهدف لـ UKE، حيث تكون مطالبات التحرير عامة (مثل "قدم X") بدلاً من تحديد أي الحقائق يتم تحديثها. كما يعرّف القابلية للتركيب (التفكيك والتركيب) كمتطلب موحد لـ UKE العملي ويوضح أن الطرق الحالية تفشل في تلبية هذا المتطلب.
2. اقتراح المنهجية (HPSE): يعد HPSE أول طريقة تعالج فشل التغطية في التقطير القائم على السياسة (on-policy distillation) في UKE باستخدام استراتيجية مسار هجين. وهو منهج قابل للاستخدام المباشر، لا يتطلب بيانات خارجية، أو نماذج مساعدة، أو بارامترية محددة للتحرير، مما يجعله متوافقاً مع مختلف محررات التدرج (مثل LoRA و FT-M).
3. التبرير النظري: يقدم البحث تحليلاً رسمياً يثبت أن HPSE يوفر ميزة إشراف موجهة نحو الحقيقة مقارنة بالتقطير الصرف القائم على السياسة، حيث تزدل قوة الإشارة خطياً مع طول المعرفة المحقونة.
4. التحقق التجريبي: تُظهر التجارب المكثفة عبر أربعة نماذج لغوية (Qwen2.5, Qwen3, Llama-3.1, Gemma-2) ومحررين لـ KE (FT-M, LoRA) تحسناً مستمراً في كل من مقاييس التفكيك والتركيب في حالات التحرير الفردي والمستمر.

4. النتائج التجريبية

قيم المؤلفون HPSE على اثنين من الاختبارات المرجعية المعدلة للتركيب: UnKEBench (للتفكيك) و MQuake-uns (للتركيب).

• التحرير الفردي: حسن HPSE بشكل كبير أداء كل من FT-M و LoRA. على سبيل المثال، في Qwen2.5، رفع HPSE درجة التركيب (Cmp.) لـ LoRA بنسبة +21.2% ودرجة التفكيك (Dmp.) بنسبة +25.6%. وقد تفوق باستمرار على النماذج المرجعية مثل MEMIT و AlphaEdit و AnyEdit و UnKE، خاصة في مهام الاستدلال متعدد الخطوات حيث غالباً ما تهلوس النماذج المرجعية أو تعود إلى المعرفة السابقة.
• التحرير المستمر: في إعدادات التحرير المتتالي ($T=10$ إلى $100$)، حافظ HPSE على المتانة. في MQuake-uns، حسن LoRA مع HPSE متوسط درجاته بنسبة تتراوح بين +55% إلى +149% مقارنة بالنسخة الأساسية عبر أطوال تسلسل مختلفة، مما ضاعف الأداء في كثير من الأحيان.
• دراسات الاستبعاد (Ablation Studies): أدى إزالة المسار الهجين ("w/o HP") إلى خفض الأداء إلى مستويات أدنى من المحرر الأساسي، مما يؤكد ضرورة آلية التدخل. كما أدى إزالة مرساة NLL ("w/o NLL") إلى تدهور الاستدعاء المشترك، مما يوضح دور المرساة في التثبيت.
• دراسات الحالة: توضح الأمثلة المرئية أنه بينما غالباً ما تكرر النماذج المرجعية الفقرة حرفياً أو تهلوس، ينجح HPSE في الإجابة على الأسئلة الذرية مباشرة وربط عدة حقائق للاستدلال متعدد الخطوات.

5. الأهمية والادعاءات

يدعي البحث أن القابلية للتركيب هي متطلب حرج تم إغفاله سابقاً للتحرير العملي للمعرفة غير المهيكلة. ويجادلون بأن الحقن السلبي للمعرفة يؤدي إلى الحفظ دون فائدة.

تكمن أهمية HPSE في قدرته على تحويل التحرير من مهمة مطابقة بيانات سلبية إلى عملية تصحيح ذاتي نشطة. من خلال بناء إشارات تدريب استباقية عبر مسارات هجينة، يُمكّن HPSE النماذج اللغوية الكبيرة من استيعاب المعرفة الجديدة بطريقة تكون قابلة للتفكيك (قابلة للاستخراج بمرونة) وقابلة للتركيب (قادرة على الاستدلال). ويؤكد المؤلفون أن HPE يوفر "مساراً ذاتي الاحتواء ومنخفض التكلفة" لتحرير المعرفة العملي، حيث لا يتطلب مجموعات بيانات خارجية أو نماذج معلمة قوية، مما يجعله حلاً قابلاً للتعميم لتحديث النماذج اللغوية الكبيرة في سيناريوهات العالم الحقيقي الديناميكية.

يختتم البحث بالإشارة إلى أنه بينما يركز HPSE حالياً على التحرير القائم على النصوص، فإن العمل المستقبلي يهدف إلى تعميم النهج ليشمل التحرير طويل الأمد ومتعدد الوسائط.