A Storage-Retrieval Gap in Parametric Knowledge Graph Memory

تعد نماذج اللغات الكبيرة أدوات قوية يمكنها الإجابة على الأسئلة وكتابة النصوص، لكن لديها قصور جوهري: فهي لا تعرف إلا ما تعلمته خلال تدريبها الأولي. إذا احتاج النموذج لمعرفة حقيقة محددة ومحدثة — مثل طاقم عمل فيلم جديد أو مواصفات آلة صناعية — فعادة ما يتعين تزويده بهذه المعلومات في اللحظة التي يُسأل فيها. الطريقة القياسية للقيام بذلك تسمى "التوليد المعزز بالاسترجاع" (Retrieval-Augmented Generation). في هذه العملية، يبحث النظام عن الحقائق ذات الصلة من قاعدة بيانات، ويلصقها في المحادثة، ويطلب من النموذج قراءتها وتقديم إجابة. ورغم أن هذا يعمل، إلا أن له عيبين: أولاً، لصق كميات كبيرة من النصوص في المحادثة يستهلك مساحة محدودة تسمى "نافذة السياق"، مما يؤدي إلى إبطاء العمليات وزيادة التكلفة. ثانياً، يتطلب الأمر إرسال البيانات الخام إلى الكمبيوتر الذي يشغل النموذج، وهو ما قد يشكل خطراً أمنياً إذا كانت تلك البيانات حساسة أو مملوكة لجهة معينة.

لقد استكشف الباحثون فكرة مختلفة: بدلاً من لصق الحقائق في المحادثة في كل مرة، هل يمكننا دمج الحقائق مباشرة في ذاكرة النموذج؟ تخيل النموذج كمكتبة؛ الطريقة القياسية هي تسليم أمين المكتبة كتاباً في كل مرة يُطرح فيها سؤال. أما النهج الجديد فيتساءل عما إذا كان بإمكاننا تثبيت رف كتب محدد داخل المكتبة لكل موضوع على حدة، بحيث يمكن لأمين المكتبة سحب الرف الصحيح والقراءة منه دون أن يرى الكتاب نفسه. تبحث هذه الورقة فيما إذا كان هذا ممكناً بالنسبة لـ "رسوم المعرفة البيانية" (Knowledge Graphs)، وهي خرائط هيكلية للحقائق حول أشياء مثل الأفلام والأشخاص وعلاقاتهم. أراد الباحثون معرفة ما إذا كان بإمكانهم أخذ جزء صغير من هذه الخريطة، وتحويله إلى مجموعة ضئيلة من التعديلات على الإعدادات الداخلية للنموذج، وتخزينها هناك. وإذا نجح الأمر، فسيتمكن النموذج من الإجابة على أسئلة حول فيلم معين دون أن يُعرض عليه بيانات الفيلم أبداً، بمجرد "ارتدائه" للتعديل الداخلي الصحيح.

اختبر الفريق هذه الفكرة باستخدام مجموعة بيانات لمعلومات الأفلام. أخذوا تفاصيل أفلام فردية — مثل المخرج، وسنة الإصدار، والممثلين — وحولوا هذه الحقائق إلى نص. ثم استخدموا تقنية تسمى "التكيف منخفض الرتبة" (Low-Rank Adaptation) لتدريب مجموعة صغيرة ومتخصصة من الأوزان لكل فيلم. فكر في هذه الأوزان كبصمة فريدة مجهرية تعدل سلوك النموذج بما يكفي ليعرف تفاصيل ذلك الفيلم تحديداً. لقد أنشأوا بنكاً لهذه البصمات، واحدة لكل فيلم من أصل 150 فيلماً مختلفاً. وكان الاختبار الحاسم هو معرفة ما إذا كان بإمكان النموذج الإجابة على أسئلة حول فيلم ما عندما يكون "مرتدياً" بصمة ذلك الفيلم، ولكن دون أن يُعرض عليه نص الفيلم أو أي معلومات أخرى.

أظهرت النتائج أن هذه الطريقة تعمل لتخزين المعرفة. فعندما يُعطى النموذج البصمة الصحيحة لفيلم ما، يمكنه الإجابة على الأسئلة حول ذلك الفيلم بدقة عالية، رغم أنه لم يرَ بيانات الفيلم أثناء الاختبار. في الواقع، بالنسبة للأسئلة حول حقائق مفردة مثل المخرج أو سنة الإصدار، قفز أداء النموذج من الصفر تقريباً إلى معدل نجاح قوي. أثبت هذا أن النموذج قد تعلم الحقائق بالفعل وخزنها داخل بنيته الخاصة، بدلاً من مجرد تعلم كيفية قراءتها عندما تكون حاضرة. كانت المعرفة خاصة بالفيلم؛ فإذا أُعطي النموذج البصمة الخاصة بفيلم آخر، لم يستطع الإجابة على السؤال، وإذا أُعطي بصمة عشوائية غير مدربة، كان أداؤه أسوأ مما كان عليه سابقاً. أكد هذا أن المعلومات كانت مغلقة حقاً داخل التعديل الخاص بهذا الكيان.

ومع ذلك، كشفت الدراسة عن عقبة كبيرة. فبينما يمكن تخزين المعرفة، لا يمكن العثور عليها بسهولة. حاول الباحثون معرفة أي بصمة يجب استخدامها بمجرد النظر إلى السؤال؛ جربوا مطابقة السؤال مع الفيلم الأكثر تشابهاً بناءً على معنى النص، كما جربوا مطابقة السؤال مع البصمة الأكثر تشابهاً بناءً على شكلها الرياضي. فشلت كلتا الطريقتين تماماً. كان أداء النظام لا يتعدى التخمين العشوائي. والسبب هو أن المعرفة تُخزن محلياً ولا تنتقل؛ فحتى لو كان فيلمان متشابهين للغاية — ربما من إخراج نفس المخرج أو ينتميان إلى نفس النوع السينمائي — فإن بصمتيهما مختلفتان تماماً. البصمة الخاصة بفيلم ما لا تحتوي على الإجابة لسؤال حول الفيلم الآخر، حتى لو كانا جارين مقربين في عالم السينما. المسافة الرياضية بين البصمات تعكس مدى تشابه الأفلام، لكنها لا تخبرك أي بصمة تحمل الإجابة على سؤال محدد.

يخلق هذا فجوة بين التخزين والاسترجاع. لقد أثبت الباحثون أنه يمكنك تخزين المعرفة في أوزان النموذج مجاناً من حيث مساحة المحادثة، لكن ليس لديك حالياً طريقة للعثور تلقائياً على وحدة التخزين الصحيحة دون أن تعرف مسبقاً ما الذي تحتاجه. في نظام واقعي، ستظل بحاجة إلى أداة منفصلة للبحث عن عنوان الفيلم الصحيح واختيار البرصمة المناسبة، ولكن بمجرد القيام بذلك، يمكن للنموذج الإجابة دون أن يرى البيانات الخام مرة أخرى. وهذا يوفر ميزة محتملة للخصوصية والكفاءة، حيث لا يلزم إرسال البيانات الخام إلى النموذج أثناء المحادثة. ومع ذلك، فإن هذا النهج ليس حلاً سحرياً لجميع المشكلات؛ فهو يتطلب تكلفة لمرة واحدة لإنشاء البصمات، كما أن مساحة التخزين المطلوبة للبصمات أكبر بكثير من النصوص التي تمثلها. إنه مفيد للغاية لمجموعات البيانات المستقرة التي يُسأل عنها بشكل متكرر، وليس للمعلومات المتغيرة باستمرار.

تخلص الدراسة إلى أنه بينما يمكننا بنجاح تحويل رسم معرفة بيانية إلى ذاكرة بارامترية، فإن التحدي المتمثل في اختيار ودمج الأجزاء الصحيحة من الذاكرة للأسئلة المعقدة تلقائياً لا يزال دون حل. بالنسبة للأسئلة البسيطة حول عنصر واحد، تعمل الطريقة بشكل جيد، أما بالنسبة للأسئلة التي تتطلب ربط المعلومات عبر عناصر مختلفة، فلا يستطيع النظام بعد تحديد أي الذاكرات يجب دمجها. يقترح الباحثون أن الخطوة التالية هي تطوير آلية تعلم يمكنها تحديد أي البصمات يجب استخدامها وكيفية مزجها معاً، بدلاً من الاعتماد على التشابه البسيط. وإلى أن يتم حل ذلك، فإن الوعد بنموذج يحمل مكتبته الخاصة من الحقائق لا يزال نصف مكتمل: الكتب موجودة على الرفوف، لكن أمين المكتبة لا يزال بحاجة إلى فهرس يدوي للعثور عليها.