SynthWorlds: Controlled Parallel Worlds for Disentangling Reasoning and Knowledge in Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "SYNTHWORLDS: عوالم متوازية محكومة لفك الارتباط بين الاستدلال والمعرفة في النماذج اللغوية."

1. بيان المشكلة

إن تقييم قدرات الاستدلال لدى النماذج اللغوية الكبيرة (LMs) يتأثر حالياً بمدى اتساع معرفتها بالعالم عبر المعلمات (Parametric World Knowledge). فالمعايير القياسية غالباً ما تقيس الاستدعاء الحقائقي (الحفظ) بدلاً من الاستدلال الحقيقي.

• المشكلة الجوهرية: عندما يجيب النموذج اللغي على سؤال بشكل صحيح، فمن غير الواضح ما إذا كان قد استنتج الإجابة عبر الاستدلال المنطقي أم أنه قام ببساطة باسترجاع حقيقة محفوظة من بيانات التدريب الخاصة به.
• محددات النهج الحالية:
  • التنسيق اليدوي: إن إنشاء مجموعات تقييم "نقية" أمر مكلف، وبطيء في التوسع، ويصبح قديماً بسرعة مع حفظ النماذج للمعايير الجديدة (مثل ToolQA وMuSiQue).
  • البيانات الاصطناعية: تعتمد مجموعات البيانات الاصطناعية الحالية غالباً على قوالب مفرطة في البساطة أو تستخدم محتوى من العالم الحقيقي (مثل الروايات)، مما يؤدي إلى "تسرب المعرفة عبر المعلمات" حيث لا تزال النماذج تتعرف على الكيانات.
  • التعديل (Perturbation): غالباً ما يفشل إعادة الصياغة البسيطة أو الاستبدال العدائي في الفصل بوضوح بين صعوبة الاستدلال ومتطلبات المعرفة.

تجادل الورقة بأنه بدون التحكم في كل من صعوبة المهمة وتوافر المعرفة عبر المعلمات، لا يمكن للتقييمات أن تعزل مساهمات الاستدلال مقابل الحفظ.

2. المنهجية: إطار عمل SYNTHWORLDS

يقترح المؤلفون SYNTHWORLDS، وهو إطار عمل آلي بالكامل وقابل للتوسع يبني مدونات متوازية تمثل عالمين متميزين ببنيه مترابطة متطابقة ولكن بكيانات سطحية مختلفة.

أ. خط بناء المدونة (Corpus Construction Pipeline)

يقوم إطار العمل بتوليد مجموعتين من البيانات المتوازية من مصدر واحد للرسوم البيانية للمعرفة (KG)، وتحديداً Wikidata في هذه الدراسة:

1. بناء الكون (Universe Construction): يتم أخذ عينة من رسم بياني فرعي متصل من الحقائق (ثلاثيات: موضوع $\leftarrow$ علاقة $\leftarrow$ مفعول به) من الرسم البياني للمعرفة لضمان الاتساق الحقائقي والترابط المعقد.
2. تعديل الصيغة السطحية (The "Synthetic" World):
   • يتم تغيير أسماء الكيانات بشكل منهجي لإخفاء المعرفة بالعالم الحقيقي مع الحفاظ على الأنواع الأنطولوجية واتساق اشتقاق الأسماء.
   • مثال: Geoffrey Hinton (شخص) $\leftarrow$ Caleb Ardent؛ Toronto (مدينة) $\leftarrow$ Metrovale؛ University of Toronto $\leftarrow$ University of Metrovale.
   • من الضرጉ أن التغيير يحافظ على الإشارات الدلالية (على سبيل المثال، لا يزال اسم الجامعة يبدو كاسم جامعة) لضمان أن المهمة تتطلب الاستدلال بناءً على بنية النص، وليس مجرد مطابقة الأنماط.
   • يتم إزاحة الطوابع الزمنية بمقدار ثابت لمنع التسرب الزمني.
3. توليد المستندات:
   • المخطط اصطناعياً (Synth-Mapped - SM): يتم توليد المستندات أولاً باستخدام الكيانات الاصطناعية. وهذا يضمن عدم قدرة النموذج اللغوي على الاعتماد على المعرفة المسبقة بالكيانات.
   • المخطط واقعياً (Real-Mapped - RM): يتم تحويل المستندات الاصطناعية مرة أخرى إلى كيانات العالم الحقيقي باستخدام مراجع رمزية (مثل معرفات الكيانات) لضمان بقاء بنية الجملة والتدفق المنطقي متطابقين مع نسخة SM.

ب. تصميم المهام

يتم إنشاء مهمتين كثيفتي الاستدلال على كلا المدونتين للحفاظ على توازي الصعوبة:

1. الإجابة على الأسئلة متعددة الخطوات (Multi-Hop QA): تتطلب الأسئلة ربط الحقائق عبر مستندات متعددة (على سبيل المثال: "من الذي علم والد رئيس الدولة؟"). يتم التحكم في الصعوبة عبر نماذج الرسوم البيانية (من خطوتين إلى 4 خطوات).
2. التنقل في الصفحات (Page Navigation): يجب على الوكيل التنقل في رسم بياني للروابط التشعبية من صفحة المصدر إلى صفحة الهدف باستخدام نص الرابط فقط (أو المحتوى الكامل). يتم التحكم في الصعوبة عبر المسافة المتوقعة للمشي العشوائي بين العقد.

ج. مقياس التقييم: فجوة ميزة المعرفة (Knowledge Advantage Gap - KA)

يعرف إطار العمل فجوة ميزة المعرفة كالتالي:
$$KA = P_R - P_S$$
حيث أن:

• $P_R$: الأداء على المدونة المخططة واقعياً (حيث تكون المعرفة عبر المعلمات مفيدة).
• $P_S$: الأداء على المدونة المخططة اصطناعياً (حيث تكون المعرفة عبر المعلمات غير مفيدة).
• التفسير: تشير $KA$ المرتفعة إلى أن النموذج يعتمد بشدة على الحقائق المحفوظة. بينما تشير $KA$ المنخفضة إلى أن النموذج يستدل بناءً على السياق المقدم.

3. المساهمات الرئيسية

1. إطار عمل قابل للتوسع: خط إنتاج آلي بالكامل لتوليد مدونات غنية ومترابطة ومهام تفصل الاستدلال عن المعرفة عبر المعلمات، مما يعالج مشكلات التوسع في إنشاء المعايير اليدوية.
2. مجموعات بيانات SYNTHWORLD-RM/SM: إصدار مجموعتين من المدونات المتوازية المستمدة من Wikidata والتي تحتوي على:
   • 6,920 مستنداً تغطي 161 ألف حقيقة.
   • 1,200 حالة إجابة على أسئلة متعددة الخطوات.
   • 1,000 حالة تنقل في الصفحات.
3. التحليل التجريبي: دراسة منهجية تقيس فجوة ميزة المعرفة عبر عائلات مختلفة من النماذج (GPT-5، Gemini، Kimi، gpt-oss) وإعدادات مختلفة (المغلق الكتاب، RAG، وسير عمل الوكلاء).

4. النتائج الرئيسية

قام المؤلفون بتقييم ستة نماذج تحت ثلاثة ظروف: المغلق الكتاب (المعلمات فقط)، RAG ذو الخطوة الواحدة (الاسترجاع)، و IRCoT + RAG (الاستدلال والاسترجاع المتداخلين).

• فجوة المعرفة المستمرة:

  • المغلق الكتاب: حققت النماذج أداءً كبيراً في المهام المخططة واقعياً ($P_R \approx 20\%$ F1 في QA) ولكنها سجلت أداءً يقترب من الصفر في المهام المخططة اصطناعياً ($P_S \approx 0\%$). وهذا يؤكد وجود $KA$ أساسية كبيرة ($\approx 20$)، مما يثبت أن النماذج تعتمد بشدة على الحفظ.
  • التنقل في الصفحات: لوحظت فجوات مماثلة ($KA \approx 20-30\%$ فرق في معدل النجاح)، مما يشير إلى أن النماذج تستخدم المعرفة عبر المعلمات لـ "اختصار" عملية التنقل.

• تأثير تعزيز المعرفة:

  • RAG ذو الخطوة الواحدة: بينما تحسن الأداء المطلق لكل من RM و SM، فإن الفجوة اتسعت (على سبيل المثال، زادت $KA$ من 21.4 إلى 25.4 لنموذج GPT-5-mini في QA). وهذا يشير إلى أن الاسترجاع القياسي يفيد النماذج ذات المعرفة عبر المعلمات بشكل غير متناسب، ويرجع ذلك على الأرجוי إلى أن المسترجع نفسه (الذي غالباً ما يكون نموذجاً لغوياً) يواجه صعوبة في التعميم على الكيانات الاصطناعية الجديدة.
  • IRCoT + RAG: ساعد تداخل الاستدلال مع الاسترجاع في تقليص الفجوة (على سبيل المثال، انخفضت $KA$ إلى 16.2 لنموذج GPT-5-mini). وهذا يشير إلى أن سلاسل الاستدلال الصريحة تساعد النماذج على دمج المعرفة الخارجية بشكل أكثر فعالية، حتى في البيئات الجديدة.
  • المحتوى + الروابط (التنقل): أدى توفير محتوى الصفحة الكامل إلى تضييق الفجوة بشكل كبير مقارنة بـ "الروابط فقط"، مما يظهر أن الوصول إلى الأدلة النصية يساعد النماذج في البيئات الاصطناعية، وإن ظلت الفجوة قائمة.

• التحليل السلوكي:

  • في إعداد المخطط واقعياً، قامت الوكلاء بشكل متكرر بالإشارة إلى كيانات خارجية غير موجودة في السياق الحالي (مثل ذكر "بلجيكا" عند التنقل في خريطة اصطناعية)، معتمدة على الحقائق المخزنة.
  • في إعداد المخطط اصطناعياً، كان هذا السلوك مستحيلاً، مما أجبر النموذج على الاعتماد كلياً على النص المقدم.

5. الأهمية والتوجهات المستقبلية

• أداة تشخيصية: يوفر SYNTHWORLDS آلية دقيقة لقياس مدى كون أداء النموذج اللغوي مدفوعاً بـ "التسميع" مقابل "الاستدلال".
• تحسين الأنظمة: تسلط النتائج الضوء على أن أنظمة التوليد المعزز بالاسترجاع (RAG) الحالية ليست قوية بما يكفي لاستبدال المعرفة عبر المعلمات بالكامل في البيئات الجديدة. فقد يكون المسترجع نفسه منحازاً نحو الكيانات المألوفة.
• القدرة على التعميم: إطار العمل محايد تجاه المجال. يمكن تطبيقه على توليد الكود (إعادة تسمية المكتبات)، أو الرياضيات (تغيير أنظمة التدوين)، أو أي مجال يوجد فيه رسم بياني للمعرفة.
• العمل المستقبلي: يقترح المؤلفون استخدام هذا الإطار لدراسة طرق السياق الطويل، وسير عمل الوكلاء المتعددين، ومخططات دمج المعرفة الأكثر تطوراً لسد الفجوة.

في الختام، يوضح SYNTHWORLDS أنه حتى مع استراتيجيات الاسترجاء والاستدلال المتقدمة، لا تزال النماذج اللغوية تظهر اعتماداً كبيراً على المعرفة عبر المعلمات، وأن طرق التعزيز الحالية لا تقضي تماماً على هذا الاعتماد عند مواجهة معلومات جديدة حقاً.