Understanding the Interplay between LLMs' Utilisation of Parametric and Contextual Knowledge: A keynote at ECIR 2025
تستكشف هذه الكلمة الرئيسية في مؤتمر ECIR 2025 التفاعل الحرج بين المعرفة البارامترية الداخلية للنموذج اللغوي والمعلومات السياقية الخارجية، مع التركيز على طرق التشخيص لتحديد تعارضات المعرفة واستراتيجيات تحسين قدرة النموذج على استخدام السياق المسترجع بفعالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل نموذج لغة ضخم (LLM) كأنه أمين مكتبة ذكي للغاية ومطلع، قد حفظ مكتبة كاملة (الإنترنت) خلال فترة تدريبه. لدى هذا الأمين طريقتان للإجابة على أسئلتك:
- رف الذاكرة (المعرفة البارامترية): الحقائق التي حفظها وخزنها في عقله.
- مكتب المراجع (المعرفة السياقية): الوثائق أو الملاحظات المحددة التي تسلمها له الآن لمساعدته في الإجابة على سؤال ما.
هذه الكلمة الرئيسية لـ إيزابيل أوغنشتاين تشبه قصة بوليسية تحقق فيما يحدث عندما تتصادم هاتان المصدران من المعلومات، وكيف يقرر الأمين أيهما يثق به أكثر.
إليك تفصيل الاكتشافات الرئيسية للورقة البحثية، مشروحة باستعارات من الحياة اليومية:
1. ذاكرة أمين المكتبة "معطلة" قليلاً
أمين المكتبة بارع في استرجاع الحقائق التي حفظها، لكنه ليس مثالياً.
- المشكلة: أحياناً، يحفظ الأمين حقيقة بشكل خاطئ، أو تتغير الحقيقة (مثل تغيير اسم فريق رياضي)، لكن الأمين لا يزال يصر على الإجابة القديمة.
- فخ "الاستظهار مقابل الاستنتاج": تشير الورقة إلى أن هذه النماذج غالباً ما تكون أفضل في استظهار ما سمعته من قبل بدلاً من الاستنتاج الفعلي لمشكلة جديدة. الأمر يشبه طالباً حفظ إجابات اختبار الرياضيات للعام الماضي، لكنه يفشل إذا قمت بتغيير رقم واحد فقط في السؤال.
- معضلة "الهلوسة": بالنسبة للكتابة الإبداعية، فإن اختلاق الأمور (الهلوسة) ممتع. أما بالنسبة للتحقق من الحقائق، فهو كارثة. يجب على أمين المكتبة أن يعرف متى يتوقف عن اختلاق الأمور ويلتزم بالحقيقة.
2. الصراع بين "الذاكرة والملاحظة"
هذا هو جوهر البحث. ماذا يحدث عندما تسلم أمين المكتبة ملاحظة تتعارض مع ذاكرته؟
- السيناريو (أ) (الحقائق الثابتة): تسأل: "من هو الرئيس؟" وتسلّمه ملاحظة تقول "إنه الشخص (س)"، لكن ذاكرته تقول "إنه الشخص (ص)". غالباً ما يتجاهل الأمين ملاحظتك ويتمسك بذاكرته.
- السيناريو (ب) (الحقائق الديناميكية): تسأل عن نتيجة مباراة رياضية تتغير كل يوم. هنا، يكون الأمين أكثر عرضة للاستماع إلى ملاحظتك الجديدة لأنه يدرك أن ذاكرته قد تكون قديمة.
المفاجأة الكبرى: وجد الباحثون شيئاً مناقضاً للمنطق. أمين المكتبة في الواقع يسهل خداعه بالحقائق الثابتة (الأشياء التي لا تتغير أبداً) أكثر من الحقائق الديناميكية. إذا قلت للأمين "عاصمة اليابان هي ستوكهولم" (حقيقة ثابتة)، فقد يصدقك إذا قلت ذلك بثقة كافية. لكن إذا حاولت تغيير رأيه بشأن نتيجة مباراة رياضية، فسيكون أكثر تشككاً.
3. تجربة "المصباح اليدوي" (الإسناد)
حاول الباحثون معرفة الجزء الذي يفكر فيه عقل أمين المكتبة بالضبط. استخدموا "مصباحاً يدوياً" (طريقة تقنية تسمى الإسناد) لمعرفة أي الخلايا العصبية (خلايا الدماغ) كانت تضيء عندما يجيب الأمين.
- النتيجة: توقعوا العثور على "خلايا عصبية خاصة بالحقائق" تحمل الإجابات. بدلاً من ذلك، وجدوا أن عقل الأمين أكثر تعقيداً بكثير. الأمر ليس مجرد خلية عصبية واحدة تحمل حقيقة؛ بل هو شبكة فوضوية.
- الخلاصة: محاولة "تعديل" ذاكرة الأمين عبر تغيير بضع خلايا عصبية فقط يشبه محاولة إصلاح سقف مسرب عن طريق طلاء بلاطة واحدة. غالباً ما يؤدي ذلك إلى "آثار ارتدادية"، مما يؤدي إلى كسر أشياء أخرى لم تكن تنوي إصلاحها.
4. اختبار "العالم الحقيقي" مقابل "العالم المزيف"
أدرك الباحثون أن معظم الدراسات السابقة استخدمت بيانات اصطناعية (سيناريوهات مزيفة ومختلقة) لاختبار مدى جودة استخدام أمين المكتبة للملاحظات.
- الاستعارة: الأمر يشبه اختبار مهارات السائق فقط على جهاز محاكاة لألعاب الفيديو. المحاكي مثالي، لكن العالم الحقيقي فوضوي.
- واقع التحقق: عندما اختبروا أمين المكتبة باستخدام وثائق من العالم الحقيقي (مثل مقالات إخبارية وتقارير تحقق من الحقائق فعلية)، كانت النتائج مختلفة.
- في العالم المزيف، كان أمين المكتبة يتجاهل الملاحظات المتعارضة بسهولة.
- في العالم الحقيقي، كان أمين المكتبة جيداً جداً في استخدام الملاحظات، ولكن فقط إذا كانت الملاحظات واضحة، وحازمة، ومكتوبة من قبل خبراء. إذا كانت الملاحظات غامضة أو صادرة عن مصادر غير موثوقة، فإن الأمين يتجاهلها ويعود إلى ذاكرته (التي قد تكون خاطئة).
5. "لولب" البحث
تختتم الورقة باستعارة جميلة من كارين سبارك جونز الراحلة (رائدة في هذا المجال):
"البحث ليس دورانًا في دوائر، بقدر ما هو صعود في لولب."
وهذا يعني أنه بينما نستمر في طرح نفس الأسئلة القديمة (مثل "كيف نجعل الذكاء الاصطناعي أكثر ذكاءً؟")، فإننا نجيب عليها بأدوات أفضل وفهم أعمق. نحن لا ندور حول أنفسنا؛ نحن نصعد سلماً لولبياً، ونحصل على رؤية أفضل مع كل خطوة.
ملخص للجمهور العام
تخبرنا هذه الورقة أن الذكاء الاصطناعي ليس مجرد عرّاف سحري؛ بل هو نظام معقد ذاكرته عنيدة.
- غالباً ما يتجاهل المعلومات الجديدة إذا تعارضت مع ما "يعرفه" بالفعل.
- من السهل بشكل مفاجئ خداعه بالأكاذيب التي تبدو واثقة بشأن الحقائق الثابتة.
- لإصلاح ذلك، لا يمكننا مجرد "إعادة تدريبه" (الأمر مكلف للغاية) أو "تعديل" دماغه (الأمر محفوف بالمخاطر).
- بدلاً من ذلك، نحتاج إلى فهم كيف يختار بين ذاكرته وبين الوثائق التي نقدمها له، ونحتاج إلى اختباره باستخدام بيانات من العالم الحقيقي، وليس فقط سيناريوهات وهمية.
الهدف النهائي هو بناء نظام يعرف متى يثق في ذاكرته ومتى يستمع إلى الأدلة الجديدة التي تقدمها له.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.