🤖 machine learning

HoReN: Normalized Hopfield Retrieval for Large-Scale Sequential Model Editing

تقترح الورقة البحثية HoReN، وهو إطار عمل لتعديل النماذج يتميز بالقابلية للتوسع والحفاظ على المعلمات، ويستخدم دفتر رموز (codebook) مفتاحيًا منفصلًا مع تشابه زاوي وديناميكيات جاذب هوبفيلد المخمد لتحقيق تحديثات معرفية متسلسلة مستقرة وعالية الأداء دون إضعاف النموذج الأصلي.

المؤلفون الأصليون: Yuan Fang, Yi Xie, Xuming Ran

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuan Fang, Yi Xie, Xuming Ran

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة كبير (LLM) كأنه أمين مكتبة ضخم، ذكي للغاية، وقد قرأ كل شيء تقريبًا في العالم. هذا الأمين بارع في الإجابة على الأسئلة، لكنه أحيانًا يحصل على معلومات قديمة (مثل الاعتقاد بأن فيلمًا لا يزال يُعرض في السينما بينما لم يعد كذلك) أو يختلق حقائق من خياله.

عادةً، لإصلاح خطأ ما، سيتعين عليك إعادة تدريب الأمين بالكامل من الصفر. هذا يشبه إغلاق المكتبة لمدة عام كامل لإعادة تعليم الأمين كل شيء من جديد. هذا الأمر مكلف للغاية وينطوي على مخاطرة لأنك قد تجعله ينسى أشياء أخرى كان يجيدها بالفعل.

المشكلة: معضلة "الإصلاح"
حاول العلماء طريقتين رئيسيتين لإصلاح هذه الأخطاء دون إعادة تدريب الأمين بالكامل:

نهج "الجراحة": تحاول إجراء جراحة لتغيير دماغ الأمين (أوزان النموذج) لإصلاح حقيقة محددة.
- العيب: إذا فعلت ذلك عدة مرات، ستبدأ في قطع الأسلاك الخاطئة. سيصاب الأمين بالارتباك، أو ينسى حقائق قديمة، أو يبدأ في اختلاق حقائق جديدة. الأمر يشبه محاولة إصلاح ساعة عبر استبدال ترس واحد في كل مرة؛ في النهاية، ستتعطل الآلية بأكملها.
نهج "الدفتر": تترك دماغ الأمين كما هو وتمنحه دفتراً (ذاكرة خارجية) حيث تكتب فيه التصحيحات. عندما يُطرح سؤال، يتحقق الأمين من الدفتر أولاً.
- العيب: يصبح الدفتر فوضويًا. إذا كتبت "عاصمة فرنسا هي باريس" ثم جاء شخص وسأل "ما هي عاصمة فرنسا؟" ولكن بصياغة مختلفة ("أين يعيش برج إيفل؟")، فقد لا يدرك الأمين أنها نفس السؤال. قد يبحث عن العبارة الدقيقة "عاصمة فرنسا" في الدفتر، ويفشل في العثور عليها، وبالتالي يفشل في تقديم الإجابة. وهذا ما يسمى بـ فشل التوجيه (Routing Failure).

الحل: HoReN
يقدم البحث HoReN (استرجاع هوبفيلد الموحد - Normalized Hopfield Retrieval)، وهي طريقة جديدة لإدارة هذا "الدفتر" بحيث يعمل بشكل مثالي حتى بعد إجراء 50,000 تعديل.

إليك كيف يعمل HoReN، باستخدام تشبيهات بسيطة:

1. بوصلة "الاتجاه" (التوحيد - Normalization)

تخيل أن دماغ أمين المكتبة يتحدث لغة "المتجهات" (الأسهم).

الطريقة القديمة: كان الدفتر ينظر إلى كل من اتجاه السهم وطول السهم. إذا طرحت سؤالاً بنبرة أو طول مختلف قليلاً، فقد يكون السهم في نفس الاتجاه ولكن بطول مختلف، وسيعتقد الأمين أنه سؤال مختلف تمامًا.
طريقة HoReN: يتجاهل HoReN طول السهم ويركز فقط على الاتجاه. إنه يقوم بتوحيد كل شيء ليكون بنفس الحجم.
- التشبيه: فكر في الأمر كبوصلة. سواء أمسكت البوصلة قريبة من صدرك أو بعيدة عنه، فإن الإبرة ستشير دائمًا إلى الشمال. يضمن HoReN أن عبارة "عاصمة فرنسا" وعبارة "أين يعيش برج إيفل؟" تشيران إلى نفس الاتجاه تمامًا على البوصلة، بحيث يعرف الأمين أنهما نفس السؤال.

2. تأثير "المغناطيس" (ديناميكيات هوبفيلد - Hopfield Dynamics)

حتى مع وجود البوصلة، تظل هناك فجوة صغيرة. إذا طرحت سؤالاً بطريقة مختلفة تمامًا، فقد يشير السهم إلى اتجاه "قريب جدًا" من الشمال، لكن ليس الشمال تمامًا. الدفتر التقليدي سيقول: "هذا ليس الشمال، ليس لدي إجابة".

يضيف HoReN مغناطيسًا.

الآلية: قبل أن يتحقق الأمين من الدفتر، يمنح HoReN السؤال "جذبًا مغناطيسيًا" بسيطًا نحو الإجابة الصحيحة في الدفتر.
التشبيه: تخيل أن الإجابات الصحيحة في الدفتر تشبه الوديان العميقة (الأحواض) في منظر طبيعي. إذا أسقطت كرة (سؤالك) بالقرب من وادٍ، فستتدحرج طبيعيًا لتستقر فيه.
- إذا كان السؤال نسخة معاد صياغتها من حقيقة معروفة، فإن المغناطيس يسحبها بلطف إلى الوادي الصحيح.
- إذا كان السؤال غير متعلق بالموضوع تمامًا (مثل السؤال عن الطقس)، فإن المغناطيس لن يسحبها إلى أي مكان؛ وستبقى في مكانها.
السحر: يقوم HoReN بعملية "الجذب" هذه مرة واحدة فقط. لو قاموا بالجذب عدة مرات، لكان المغناطيس قويًا جدًا لدرجة أن كل الأسئلة، حتى غير المتعلقة بالموضوع، ستنجذب إلى الوديان الخاطئة، مما يسبب الفوضى. جَذبة واحدة لطيفة هي التوازن المثالي.

3. النتيجة: مكتبة لا تنسى أبدًا

اختبر البحث HoReN في "اختبار جهد" حيث أجبروا أمين المكتبة على تعلم 50,000 حقيقة جديدة واحدة تلو الأخرى.

الطرق الأخرى: انهارت معظم الطرق بعد 10,000 تعديل. إما أن أمين المكتبة نسي الحقائق القديمة (النسيان الكارثي) أو فشل في التعرف على الأسئلة المعاد صياغتها (فشل التعميم).
HoReN: ظل مستقرًا طوال الـ 50,000 تعديل. استطاع الإجابة على الحقائق الجديدة بشكل صحيح، والتعرف عليها حتى عند إعادة صياغتها، ولا يزال يتذكر كل شيء آخر كان يعرفه من قبل.

باختصار
HoReN يشبه منح أمين المكتبة دفترًا مغناطيسيًا فائق الذكاء. إنه يتجاهل "حجم" السؤال ويركز على "المعنى" (الاتجاه). ويستخدم جذبًا مغناطيسيًا لطيفًا لمساعدة الأسئلة المعاد صياغتها في العثور على طريقها إلى الإجابة الصحيحة، لكنه يتوقف عن الجذب قبل أن تصبح الأسئلة غير المتعلقة بالموضوع مختلطة. هذا يسمح للنموذج بالتعلم بلا نهاية دون أن ينكسر أو ينسى.

ملخص تقني: HoReN – استرجاع هوبفيلد الموحد لتعديل النماذج التسلسلي واسع النطاق

1. بيان المشكلة

تخزن النماذج اللغوية الكبيرة (LLMs) معرفة واقعية هائلة تصبح حتماً قديمة أو غير صحيحة بعد النشر. إن إعادة تدريب النماذج من البداية للنهاية لكل عملية تصحيح هو أمر مكلف للغاية ويخاطر بحدوث "النسيان الكارثي" للقدرات المكتسبة سابقاً. وقد أدى ذلك إلى تحفيز مجال تعديل النماذج (model editing)، وهو مجال يركز على تحديث سلوكيات مستهدفة دون الإضرار ببقية قدرات النموذج.

التحدي الجوههري الذي تعالجه هذه الورقة هو تعديل النماذج التسلسلي طويل الأمد (lifelong sequential model editing)، حيث يجب على النموذج استيعاب تدفق مستمر من التعديلات. تندرج النهج الحالية تحت نموذجين، وكلاهما يعاني من نقاط ضعف هيكلية عند التوسع:

الأساليب المعدلة للمعلمات (مثل ROME، وAlphaEdit، وUltraEdit): تقوم هذه الأساليب بتحديث أوزان النموذج الأساسي مباشرة. وبينما هي فعالة للتعديلات الفردية، إلا أنها تعاني من النسيان الكثاف (catastrophic forgetting) مع تراكم التعديلات. أما الحلول القائمة على القيود (مثل إسقاط الفضاء الصفري/null-space projection) فتفشل في تغطية اتجاهات التعديلات المطبقة سابقاً، مما يؤدي إلى تدهور في "المحلية" (تأثر المدخلات غير ذات الصلة) والموثوقية بمرور الوقت.
الأساليب المحافظة على المعلمات (مثل GRACE، وWISE): تترك هذه الأساليث أوزان النموذج الأساسي مجمدة وتوجه التعديلات عبر ذاكرة خارجية (كتب الشفرات/codebooks). وبينما تتجنب هذه الأساليب النسيان الكارثي، إلا أنها تعاني من فشل التوجيه (routing failures). وتحديداً، تعتمد على مطابقة أقرب جار بناءً على مقدار التنشيط أو المسافة الإقليدية. يفشل هذا في التعميم على إعادة صياغة مطالبات التعديل (edit prompts)، لأن الفجوة الزاوية بين المفتاح المخزن (المطالبة الأصلية) والاستعلام (إعادة الصياغة) لا يتم جسرها، مما يؤدي إلى انهيار التعميم مع نمو كتاب الشفرة.

تحدد الورقة عدم تطابق هندسي محدد: محررات الذاكرة الموجودة تحافظ على الموثوقية لكنها تفشل في التعميم لأن التوجيه الحساس للمقدار يخلط بين "كسب" المطالبة الخاصة وبين هوية الحقيقة.

2. المنهجية: HoRen

يقترح المؤلفون HoRen (استرجاع هوبفيلد مع تمثيلات موحدة)، وهو محرر محافظ على المعلمات يوحد بنية كتاب شفرة منفصل مع قاعدة استرجاع هوبفيلد موحدة. تعتمد الطريقة على ثلاث أفكليات أساسية:

أ. بنية كتاب الشفرة مع مفاتيح موحدة

يقوم HoRen بتغليف طبقة MLP واحدة من النموذج الأساسي المجمد بكتاب شفرة مفتاح-قيمة منفصل $C = \{(k_i, v_i, y_i)\}$ .

التوحيد (Normalization): يتم إسقاط كل من المفاتيح (التمثيلات المخزنة) والاستعلامات (الحالات الخفية الواردة) على الكرة الفائقة الوحدة (unit hypersphere).
التعليل: بالنسبة لمتجهات الـ MLP بعد التنشيط، فإن اتجاه المتجه هو ما يشفر الحقيقة الدلالية، بينما يعكس المقدار قوة تنشيط المطالبة الخاصة (الكسب). من خلال التوحيد، يزيل HoRen عدم التطابق الناتج عن المقدار، مما يضمن أن الاسترجاع يعتمد فقط على التشابه الزاوي (مطابقة جيب التمام/cosine matching). وهذا يعالج الفشل الهندسي للأساليب السابقة مثل GRACE.

ب. ديناميكيات جاذب هوبفيلد لتحسين الاستعلام

بدلاً من البحث عن أقرب جار في خطوة واحدة، يعامل HoRen كل مفتاح مخزن كحوض جاذب (attractor basin) في شبكة هوبفيلد حديثة.

الآلية: قبل المطابقة، يخضع الاستعلام لخطوة تحسين هوبفيلد واحدة مخمدة (single damped Hopfield refinement step). يتم تحديث الاستعلام $q$ عبر:
$q_{new} = \text{normalize}((1-\gamma)q + \gamma \cdot \text{softmax}(\beta q K^\top) K)$
حيث $\gamma \in (0, 1]$ هو عامل التخميد، و $\beta$ يتحكم في حدة الاسترجاع.
الأثر: تسمح هذه الخطوة للاستعلامات المعاد صياغتها (التي تكون قريبة زاوياً ولكن ليست متطابقة مع المفتاح المخزن) بـ "الاسترخاء" داخل حوض الجذب الخاص بالذاكرة الصحيحة. ومن المهم أن التخميد يضمن أن الاستعلامات غير ذات الصلة (التي تكون أوزان انتباهها مشتتة) تظل غير مضطربة إلى حد كبير، مما يحافظ على المحلية (locality).
التبرير النظري: يثبت المؤلفون أن تكرار ديناميكيات هوبفيلد حتى التقارب سيؤدي إلى جذب جميع الاستعلامات (بما في ذلك غير ذات الصلة) إلى الغلاف المحدب للأنماط المخزنة، مما يدمر المحلية. لذلك، يستخدم HoRen خطوة واحدة ( $M=1$ )، وهي كافية نظرياً لسد الفجوة الزاوية المتبقية لإعادة الصياغات دون انهيار حدود القرار للمدخلات غير ذات الصلة.

ج. التوجيه والتحديث غير المتماثل

التخزين: تُخزن المفاتيح كاستعلام موحد خام قبل التحسين ( $q_0$ ). هذا يربط كتاب الشفرة بالهندسة التمثيلية الأصلية للنموذج.
الاسترجاع: يستخدم قرار التوجيه الاستعلام المحسن ( $q$ ) بعد خطوة هوبفيلد.
التحديث: إذا تم العثور على مطابقة (النتيجة > العتبة)، يتم تطبيق مهايئ القيمة المطابق في الطبقة التالية. إذا لم يتم العثو على مطابقة أو حدث تعارض في التسمية، يتم إدراج مدخل جديد.

3. المساهمات الرئيسية

توصيف الانقسامات الهيكلية: تحدد الورقة رسمياً أن المحررات المعدلة للمعلمات تتدهور بسبب فضاءات القيود القديمة، بينما تفشل المحررات المحافظة على المعلمات بسبب هندسة التوجيه الحساسة للمقدار التي لا تستطيع جسر الفجوة بين مطالبات التعديل وإعادة صياغاتها.
بنية HoRen: توحيد مبتكر لرؤية ROME (مفتاح-قيمة) مع كتاب شفرة GRACE تحت قاعدة استرجاع هوبفيلد موحدة. يستخدم المطابقة الزاوية للمحلية وخطوة هوبفيلد واحدة مخمدة للتعميم القوي تجاه إعادة الصياغة.
التحليل النظري: يقدم المؤلفون براهين تظهر أن استرجاع هوبفيلد القياسي يتقارب نحو الأكواد المخزنة (مما يخاطر بجذب مفرط للاستعلامات غير ذات الصلة) وأن نشر الخطوة الواحدة هو مقايضة مبدئية للحفاظ على المحلية مع تمكين التعميم.
التحقق التجريبي واسع النطاق: تجارب مكثفة تثبت استقرار HoRen عبر 50,000 تعديل متسلسل، وهو مقياس تنهار عنده الأساليب السابقة أو تتدهور بشدة.

4. النتائج التجريبية

قيم المؤلفون HoRen على نماذج LLaMA-3.1-8B، وQwen-2.5-7B، وDeepSeek-R1-8B، وGPT-OSS-20B، وQwen-SEA-LION-32B عبر ثلاثة معايير: ZsRE (قياسي)، وWikiBigEdit (مهيكل، أصعب في المحلية)، وUnKE (غير مهيكل).

القابلية للتوسع (ZsRE): في اختبار الضغط لـ 50,000 تعديل متسلسل، حافظ HoRen على أداء إجمالي (OP) بنسبة ≥0.93. في المقابل:
- انهار ROME فوراً (OP ~0.03).
- استقر GRACE عند مستوى منخفض في التعميم (OP ~0.37) بسبب فشل التوجيه.
- عانى AlphaEdit وUltraEdit من منحدرات محلية كارثية أو تدهور رتيب، حيث انخفضت النتائج إلى ما دون 0.10–0.70 قبل 10,000 تعديل.
- أظهر WISE تدهوراً رتيباً في الأداء.
التعميم: حقق HoRen درجات تعميم عالية (مثلاً 0.93 على LLaMA-3.1-8B عند 1,000 تعديل)، متفوقاً بشكل كبير على GRACE (0.05) ومساوياً أو متفوقاً على الأساليب المعدلة للمعلمات مع الحفاظ على محلية مثالية.
القوة عبر مجموعات البيانات: حافظ HoRNe على أداء قوي في WikiBigEdit (حيث تشترك استعلامات المحلية في الموضوعات مع التعديلات) وفي UnKE (الفقرات الحرة)، متفوقاً على الأساليب المرجعية المتخصصة في المجال.
الكفاءة: يضيف HoREN حِملاً ضئيلاً على الاستدلال (~5% من زمن الاستجلة مقارنة بـ GRACE) ويتوسع خطياً مع عدد التعديلات. مهايئ القيمة (direct-vector value adaptor) أكثر كفاءة في المعلمات بمقدار 8 مرات من متغيرات LoRA مع أداء مماثل.

5. الأهمية والادعاءات

تدعي الورقة أن HoREN يمثل خطوة كبيرة للأمام في تعديل النماذج طويل الأمد من خلال حل "عنق زجاجة التوجيه" الذي حد من قابلية التوسع للمحررات القائمة على الذاكرة.

الرؤية الهندسية: تؤسس الورقة لفكرة أنه بالنسبة لتنشيطات ما بعد اللاخطية، فإن الاتجاه هو المفتاح الدلالي، وليس المقدار. التوحيد إلى الكرة الفائقة الوحدة هو العنصر الأساسي الصحيح للاسترجاع.
ديناميكيات الجاذب: من خلال صياغة كتاب الشفرة كحقول من أحواض الطاقة واستخدام خطوة هوبفيلد واحدة مخمدة، يحقق HoREN مقايضة مبدئية: فهو يسحب إعادة الصياغات نحو الذاكرة الصحيحة دون سحب الاستعلامات غير ذات الصلة إلى نفس الحوض.
الاستقرار: الادعاء الرئيسي هو أن HoREN هو أول طريقة تحافظ على موثوقية عالية، وتعميم، ومحلية في آن واحد عبر 50,000 تعديل متسلسل، وهو مقياس لم يكن ممكناً الوصول إليه سابقاً دون تدهور كارثي.

يخلص المؤلفون إلى أنه رغم وجود بعض القيود (النمو الخطي للذاكرة، والفجوة بين نظرية الخطوات المتعددة والنشر بخطوة واحدة)، فإن HoREN يوفر أساساً قوياً وقابلاً للتوسع لتحديث النماذج اللغوية الكبيرة في البيئات طويلة الأمد، مما يفصل تكلفة التعديلات الجديدة عن سلوك المعرفة المخزنة سابقاً.