Revisiting Non-Verbatim Memorization in Large Language Models: The Role of Entity Surface Forms

ملخص تقني لورقة بحثية بعنوان: "إعادة النظر في الحفظ غير اللفظي في النماذج اللغوية الكبيرة: دور الأشكال السطحية للكيانات"

1. بيان المشكلة

من المعروف أن النماذج اللغوية الكبيرة (LLMs) تخزن المعرفة الواقعية داخل بارامتراتها، مما يسمح لها بالإجابة على الأسئلة التي تتطلب معرفة مكثفة دون استرجاع خارجي. ومع ذلك، فإن موثوقية هذا "الحفظ غير اللفظي" (استدعاء الحقائق دون إعادة إنتاج نص التدريب حرفياً) غالباً ما يتم تقييمه باستخدام الإجابة على الأسئلة القائمة على الكيانات (Entity-Based QA).

المشكلة الجوهرية:
تعتمد التقييمات الحالية عادةً على استعلام كل كيان باستخدام شكل سطحي معياري واحد (مثل "Pelé"). هذا النهج يفشل في التمييز بين:

1. حفظ الحقيقة: النموذج يعرف الحقيقة بالفعل.
2. الوصول السطحي: النموذج يمكنه فقط الوصول إلى الحقيقة عندما يُشار إلى الكيان باسمه المعياري المحدد.

غالباً ما يكون للكيانات أشكال سطحية متعددة (أسماء مستعارة، اختصارات، متغيرات إملائية، أخطاء شائعة). إذا أجاب النموذج بشكل صحيح عن "Pelé" ولكنه فشل في الإجابة عن "Edson Arantes do Nascimento"، فهذا يشير إلى أن وصول النموذج إلى الحقيقة هو مرتبط بالسطح (surface-dependent)، وليس ثابتاً تماماً تجاه تغير الأسطح. لم تعمل الدراسات السابقة على فصل هذه العوامل بشكل منهجي، مما قد يؤدي إلى المبالغة في تقدير موثوقية النموذج.

2. المنهجية: RedirectQA

لمعالجة ذلك، قدم المؤلفون RedirectQA، وهو مجموعة بيانات جديدة للإجابة على الأسئلة القائمة على الكيانات، صُممت لعزل تأثير الأشكال السطحية للكيانات على الوصول إلى الحقائق.

بناء مجموعة البيانات:

• المصدر: ثلاثيات ويكيداتا (الموضوع، العلاقة، الكائن) المقترنة بمعلومات تحويل صفحات ويكيبيديا (Wikipedia redirect).
• التصميم: لكل ثلاثية واقعية، يتم تثبيت العلاقة والإجابة الذهبية، بينما يتم تغيير الشكل السطحي لموضوع الكيان.
• الفئات السطحية: باستخدام فئات تحويل ويكيبيديا، تم تصنيف الأشكال السطحية إلى:
  • الأسماء البديلة والاختصارات: (مثل أسماء الميلاد، الألقاب، أو الاختصارات مثل "NYT" لـ "The New York Times").
  • المتغيرات الإملائية: (مثل علامات التشكيل، واختلافات حالة الأحرف).
  • الأخطاء الشائعة: (مثل الأخطاء الإملائية الشائعة مثل "Christian Ronaldo").
• النطاق: تحتوي مجموعة البيانات على 30,560 حالة سطحية مشتقة من 14,672 ثلاثية واقعية، مما ينتج عنه 61,120 صياغة للسؤال (باستخدام نموذجين مختلفين من قوالب الأسئلة لاستبعاد انحياز القالب).

الإعداد التجريبي:

• النماذج: تم التقييم عبر 13 نموذجاً لغوياً كبيراً، بما في ذلك النماذج الشفافة (Pythia, OpenSciRef, OLMo 2)، والنماذج مفتوحة الأوزان والمضبوطة للتعليمات (Llama 3.1, Qwen 3)، ونموذج ملكية خاصة (GPT-4o-mini).
• مقياس التقييم: اتساق التنبؤ. لكل زوج من (المعياري–التحويلي/Canonical–Redirect)، يتحقق المؤلفون مما إذا كانت نتيجة الصحة (صحيح/خاطئ) تظل كما هي.
• تحليل التكرار: قام المؤلفون بتفكيك تكرار الكيان الإجمالي إلى تكرارات على مستوى السطح باستخدام مجموعات بيانات التدريب للنماذج الشفافة (The Pile, OLMo Mix) وDBpedia Spotlight لربط الكيانات.

3. المساهمات الرئيسية

1. مجموعة بيانات RedirectQA: مورد محكم يربط الثلاثيات الواقعية مع الأشكال السطحية المصنفة، مما يسم يسمح بدراسة الوصول إلى الحقائق المشروط بالسطح.
2. التقييم المنهجي لاعتماد السطح: تحليل واسع النطية يظهر أن النماذج اللغوية الكبيرة ليست ثابتة تماماً تجاه تغير الأسطح؛ حيث يؤدي تغيير اسم الكيان غالباً إلى تغيير صحة الإجابة.
3. تحليل التكرار الدقيق: تفكيك جديد لتكرار الكيان إلى تكرار المستوى السطحي، مما يكشف أن الوصول إلى الحقيقة مرتبط عبر مختلف الأشكال الساسية، وليس كحقائق مستقلة تماماً لكل شكل سطحي.

4. النتائج الرئيسية

أ. اتساق التنبؤ

• عدم الاتساق شائع: عبر جميع النماذج الـ 13، يؤدي تغيير الشكل السطحي بشكل متكرر إلى قلب صحة التنبؤ (من صحيح إلى خاطئ أو العكس).
• الاعتماد على الفئة:
  • المتانة العالية: النماذج متسقة نسبياً مع المتغيرات الإملائية (التغييرات الإملائية الطفيفة مثل علامات التشكيل أو علامات الترقيم).
  • المتانة المنخفضة: تظهر النماذج عدم اتساق كبير مع الأسماء البديلة والاختصارات (مثل الاختصارات مثل "NYT" أو أسماء الميلاد الكاملة).
  • الأخطاء الشائعة: الأداء يقع بين الاثنين، حيث يظهر متانة جزئية ولكنها غير كاملة تجاه الأخطاء الإملائية.
• عدم التماثل: عدم الاتساق ليس دائماً تدهوراً من المعياري إلى التحويلي. أحياناً تفشل النماذج في الاسم المعياري لويكيبيديا وتنجح في الشكل التحويلي (مثل اسم مستعار محدد)، مما يشير إلى أن "المعيارية" لا تضمن دائماً المسار الأكثر موثوقية للوصول في النماذج اللغوية الكبيرة.

ب. تحليل ارتباط التكرار

• التأثير المزدوج: ترتبط الدقة طردياً بكل من تكرار الشكل السطحي المحدد والتكرار الإجمالي للكيان.
• الاقتران عبر الأسطح:
  • الارتباط الجزئي: عند ضبط متغير تكرار السطح، يظل تكرار الكيان مؤشراً قوياً وإيجابياً للدقة، خاصة للأشكال المعيارية.
  • تكرار السطح: بالنسبة للأشكال المعيارية، ليس لتكرار السطح قوة تنبؤية مستقلة بمجرد أخذ تكرار الكيان في الاعتبار.
• الاستنتاج: يشير هذا إلى أن النماذج اللغوية الكبيرة لا تحفظ كل شكل سطحي بشكل مستقل. بدلاً من ذلك، هناك اقتران عبر الأسطح، حيث تتوزع معرفة النموذج بالكيان عبر مختلف أسمائه، لكن قوة هذا الاقتران تختلف حسب نوع الشكل السطحي.

5. الأهمية والخاتمة

الأهمية:

• إعادة تعريف الموثوقية: توضح الورقة أن تقييم النماذج اللغوية الكبيرة بناءً على الأسماء المعيارية فقط يقدم صورة غير مكتملة لمعرفتها الواقعية. قد "يعرف" النموذج حقيقة ما، ولكنه يفشل في استدعائها إذا تمت الإشارة إلى الكيان باسم مستعار شائع أو اختصار.
• أفضل ممارسات التقييم: يجب أن تأخذ التقييمات المستقبلية للحفظ غير اللفظي في الاعتبار تنوع الأشكال السطحية. الاعتماد على اسم معياري واحد يخاطر بفقدان حالات الفشل المرتبطة بالسطح.
• رؤية الآلية: تشير النتائج إلى أن الوصول إلى الحقيقة ليس سطحياً بحتاً (حفظ مستقل لكل اسم) ولا ثابتاً تماماً تجاه الأسطح (تمثيل مجرد واحد للكيان). بل يوجد في حالة وسيطة حيث ترتبط المعرفة بمستوى الكيان مع المتغيرات على مستوى السطح.

القيود:

• تركز الدراسة على اللغة الإنجليزية وتعتمد على ويكيبيديا/ويكي داتا، مما قد يعكس تحيزات تحريرية معينة.
• يتم تغيير موضوع الكيان فقط، وليس الكائن أو صياغة السؤال (رغم استخدام قالبين مختلفين).
• تحليل التكرار محدود بالنماذج الشفافة للتدريب.

الخلاصة:
يخلص المؤلفون إلى أن الحفظ الواقعي في النماذج اللغوية الكبيرة هو حفظ مشروط بالسطح. لتقييم ما تعرفه النماذج اللغوية الكبيرة ومدى موثوقية الوصول إلى تلك المعرفة، يجب على الباحثين تجاوز الأسماء المعيارية واستخدام أشكال سطحية متنوعة، مثل تلك التي توفرها RedirectQA.