Temporal Fact Conflicts in LLMs: Reproducibility Insights from Unifying DYNAMICQA and MULAN

إليك ملخص تقني مفصل للورقة البحثية بعنوان "النزاعات الزمنية في النماذج اللغوية الكبيرة: رؤى حول قابلية التكرار من خلال توحيد DYNAMICQA و MULAN".

1. بيان المشكلة

تُشفّر النماذج اللغوية الكبيرة (LLMs) المعرفة الواقعية في معاملاتها (parameters)، مما يؤدي إلى نزاعات معرفية عندما تحتوي بيانات التدريب على معلومات قديمة أو متطورة. وتتعلق مجموعة فرعية محددة من هذه النزاعات بـ الحقائق الزمنية (مثل: "من هو الرئيس الحالي للولايات المتحدة؟")، والتي تتغير بمرور الوقت.

لقد توصلت دراستان بارزتان إلى استنتاجات متناقضة فيما يتعلق بكيفية تعامل النماذج اللغوية الكبيرة مع هذه النزاعات عند تزويدها بسياق خارجي:

• DYNAMICQA [12]: تخلص إلى أن الحقائق الزمنية أكثر مقاومة للتغيير (أصعب في التحديث) من الحقائق الثابتة. وهي تستخدم تنسيق الإجابة على الأسئلة (QA) وتقيس "الإقناع المتماسك" (التغير التوزيعي).
• MULAN [5]: تخلص إلى أن الحقاق الزمنية أسهل في التحديث من الحقائق الثابتة. وهي تستخدم تنسيق إكمال الحقائق وتقيس "معدل نجاح التحديث" (النجاح الثنائي لتغيير إجابة محفوظة).

تحدد الورقة أن هذه النتائج المتناقضة قد تنبع من الاختلافات في تصميم مجموعة البيانات (عدد تعديلات ويكيبيديا مقابل علاقات ويكيداتا)، ومقاييس التقييم (التغير التوزيعي مقابل النجاح الثنائي)، وبناء السياق (الفقرات الطبيعية مقابل العبارات المولدة برمجياً). يهدف المؤلفون إلى حل هذا التباين من خلال دراسة قابلية تكرار منهجية.

2. المنهجية

أجرى المؤلفون دراسة قابلية تكرار مكونة من ثلاث مراحل لعزل مصادر الخلاف:

أ. إعادة إنتاج النتائج الأصلية

• مجموعات البيانات: أعاد تقييم DYNAMICQA (5,689 عينة، تنسيق QA) و MULAN (49,142 عينة، تنسيق إكمال الحقيقة).
• النماذج: أعاد إنتاج التجارب باستخدام نماذج 7B الأصلية (Llama-2, Mistral, Qwen2, Falcon) وقام بتوسيعها لتشمل عائلة Gemma 3 (1B, 4B, 12B) لتحليل تأثير حجم النموذج.
• المقاييس:
  • DYNAMICQA: الدقة، درجة الإقناع المتماسك (CP)، الإنتروبيا الدلالية، ونسب الحالات "العنيدة" مقابل "المقنعة".
  • MULAN: مقياس F1، الثقة (احتمالية الرمز الأول)، ومعدل نجاح التحديث.
• تصحيح الكود: حدد المؤلفون وأصلحوا خطأً في كود تقييم DYNAMICQA الأصلي حيث تمت مقارنة التنبؤات "بدون سياق" بشكل غير صحيح مقابل إجابات بديلة بدلاً من الحقيقة الأرضية (ground truth).

ب. التقييم عبر مجموعات البيانات (التوحيد المنهجي)

لتحديد ما إذا كانت الاستنتاجات مدفوعة بمجموعة البيانات أو بالمقياس، قام المؤلفون بتبادل المنهجيات:

1. تطبيق DYNAMICQA على MULAN: تطبيق درجة CP الخاصة بـ DYNAMICQA وتنسيق QA على بيانات MULAN. ومن الأهمية بمكان، استبدلوا مطالبات (prompts) MULAN البسيطة المولدة برمجياً بـ سياقات لغة طبيعية مولدة بواسطة نموذج لغوي كبير (باستخدام Llama-3.3-70B) لمطابقة أسلوب DYNAMICQA.
2. تطبيق MULAN على DYNAMICQA: تطبيق مقياس نجاح التحديث الخاص بـ MULAN وتنسيق إكمال الحقيقة على بيانات DYNAMICQA.

ج. تحليل حجم النموذج

وسعت الدراسة التقييم ليشمل نماذج Gemma 3 (1B, 4B, 12B) للتحقق مما إذا كانت النتائج المتعلقة بقابلية تحديث الحقائق الزمنية تظل ثابتة عبر أحجام المعلمات المختلفة، مع ضبط المتغيرات الهيكلية.

3. المساهمات الرئيسية

1. قابلية التكرار المنهجية: أكدت أن نتائج كلتا الدراستين الأصليتين قابلة لإعادة الإنتاج في ظل ظروفهما الأصلية المحددة (DYNAMICQA تجد الحقائق الزمنية صعبة التحديث؛ MULAN تجدها سهلة).
2. عزل المنهجية: أثبتت أن الاستنتاجات المتناقضة تعتمد بشكل كبير على تصميم مجموعة البيانات ومقاييس التقييم بدلاً من كونها خاصية متأصلة في الحقائق الزمنية.
3. توليد السياق الاصطناعي: قدمت طريقة لتوليد سياقات لغة طبيعية واقعية لمهام إكمال الحقائق، مما يسد الفجوة بين أسلوب "الفقرة الطبيعية" في DYNAMICQA وأسلوب "العبارة المبرمجة" في MULAN.
4. حساسية حجم النموذج: كشفت أن سهولة تحديث الحقائق الزمنية هي غير رتيبة (non-monotonic) بالنسبة لحجم النموذج، مما يتحدى إمكانية تعميم النتائج المستمدة فقط من نماذج 7B.

4. النتائج الرئيسية

إعادة إنتاج الدراسات الأصلية

• DYNAMICQA: أكدت أن الحقائق الزمنية لديها دقة أقل، ودرجات إقناع متماسك (CP) أقل، و"عناد" (مقاومة للتغيير) أعلى مقارنة بالحقائق الثاتبة.
• MULAN: أكدت أن الحقائق القابلة للتغيير (الزمنية) لديها معدلات نجاح تحديث أعلى وثقة/F1 أقل مقارنة بالحقائق غير القابلة للتغيير.

نتائج التقييم المتبادل (مصدر الخلاف)

• نتائج MULAN تعمم على DYNAMICQA: عند تطبيق مقاييس DYNAMICQA على بيانات MULAN، ظلت الحقائق الزمنية تبدو أسهل في التحديث (درجات CP أعلى، وعناد أقل). هذا يشير إلى أن تصميم مجموعة بيانات MULAN (علاقات ويكيداتا) يجعل الحقائق بطبيعتها أكثر مرونة.
• نتائج DYNAMICQA لا تعمم على MULAN: عند تطبيق مقاييس MULAN على بيانات DYNAMICQA، كانت النتائج مختلطة. فبينما أظهرت بعض النماذج نجاح تحديث أقل للحقائق الزمنية، لم تفعل نماذج أخرى ذلك. علاوة على ذلك، أسندت النماذج ثقة أعلى للحقائق الزمنية في هذا الإعداد، مما يناقض فكرة أنها أصعب في التحديث بطبيعتها.
• السبب الجذري: ينشأ التباين لأن DYNAMICQA تستنتج الزمنية عبر عدد تعديلات ويكيبيديا (مما يؤدي غالباً إلى تصنيف خاطئ للحقائق الثابتة كحقائق زمنية بسبب تعديلات طفيفة)، بينما تستخدم MULAN أنواع علاقات ويكيداتا المصممة خصيصاً للحقائق المتغيرة زمنياً. بالإضافة إلى ذلك، تؤثر حساسية القوالب (قالب واحد في DYNAMICQA مقابل قوالب متعددة في MULAN) على الأداء.

تأثيرات حجم النموذج (عائلة Gemma 3)

• السلوك غير الرتيب: العلاقة بين حجم النموذج وقابلية التحديث ليست خطية.
  • Gemma 4B: أظهر النمط الذي تكون فيه الحقائق الزمنية أسهل في التحديث (متسق مع MULAN).
  • Gemma 1B و 12B: أظهرا النمط المعاكس، حيث كانت الحقائق الزمنية أصعب في التحديث من الحقائق الثابتة.
• يشير هذا إلى أن الاستنتاجات المتعلقة بقابلية تحديث الحقائق الزمنية حساسة لحجم النموذج ولا تعمم حتى داخل نفس عائلة النماذج.

5. الأهمية والخاتمة

تخلص الورقة إلى أنه لا يوجد إجماع حول ما إذا كانت النماذج اللغوية الكبيرة مستعدة لتحديث الحقائق الزمنية عبر السياق الخارجي. النتائج المتناقضة في الأدبيات هي نتاج لـ:

1. بناء مجموعة البيانات: كيفية تعريف "الزمنية" والتحقق منها (عدد التعديلات مقابل العلاقات المهيكلة).
2. مقاييس التقييم: ما إذا كان النجاح يُقاس بالتغير التوزيعي (CP) أو باستبدال الإجابة الثنائي (Update Success).
3. حجم النموذج: يتغير السلوك بشكل كبير عبر مقاييس المعلمات المختلفة.

الآثار المترتبة: لا توفر كل من DYNAMICQA و MULAN صورة كاملة عن نزاعات المعرفة الزمنية. يجب على الباحثين مراعاة تصميم مجموعة البيانات ومقاييس التقييم بعناية عند تفسير سلوك النماذج اللغوية الكبيرة. السؤال حول ما إذا كان السياق الخارجي يحل النزاعات الزمنية بشكل موثوق لا يزال مفتوحاً ويعتمد بشدة على الإعدادات التجريبية.

لقد جعل المؤلفون الكود والبيانات الخاصة بهم متاحة للجمهور لتسهيل المزيد من البحث في هذا المجال.