ملخص تقني: ترسيخ الاستدلال متعدد الخطوات في النماذج السببية الهيكلية عبر تحسين السياسة النسبي للمجموعات

1. بيان المشكلة

يتطلب التحقق من الحقائق متعدد الخطوات (MHFV) من النماذج استرجاع أدلة منفصلة من مصادر متعددة وتوليف سلاسل استدلال متماسكة للتحقق من الادعاءات المعقدة. وبينما تم دمج النماذج اللغوية الكبيرة (LLMs) في هذا المجال، إلا أنها تواجه قيوداً كبيرة:

• الهشاشة المنطقية: غالباً ما تتعلم الأساليب الحالية، بما في ذلك الضبط الدقيق الخاضع للإشراف (SFT) ونهج سلسلة الأفكار (CoT)، الارتباطات الإحصائية بدلاً من الآليات المنطقية الصارمة. يؤدي هذا إلى سلاسل منطقية متقطعة و"استدلال هلوسي".
• الافتقار إلى النمذجة السببية: تفشل الأطر الحالية (مثل الشبكات العصبية الرسومية أو البرامج الرمزية) في نمذجة التبعيات السببية الجوهرية بين الأدلة والادعاءات بشكل صريح، مما يؤدي إلى عمليات تحقق غامضة.
• مفارقة التعقيد: حدد المؤلفون تجريبياً وجود ارتباط على شكل "حرف U مقلوب" بين طول سلسلة الاستدلال والدقة. فبينما تحسن السلاسل الطويلة الأداء في البداية، إلا أن التعقيد الهيكلي المفرط يؤدي إلى إدخال الضجيج وتدهور الدقة، لا سيما في السيناريوهات المعقدة (مثل مهام الـ 3 أو 4 خطوات).

2. المنهجية

يعالج الإطار المقترح، SCM-GRPO، هذه المشكلات من خلال خط إنتاج تدريبي يتكون من مرحلتين يجمع بين النماذج السببية الهيكلية (SCM) وتحسين السياسة النسبي للمجموعات (GRPO).

2.1. إطار النموذج السببي الهيكلي (SCM)

صاغ المؤلفون عملية التحقق من الحقائق متعدد الخطوات (MHFV) كعملية استدلال سببي بنائي بدلاً من مجرد مهمة تنبؤ بالملصقات. يتم نمذجة عملية الاستدلال كرسوم بيانية موجهة غير حلقية (DAG) محددة بالثنائية $\mathcal{M} = (U, V, F)$:

• المتغيرات الخارجية ($U$): الحقائق الموضوعية المسترجعة من وثائق الأدلة (العقد الجذرية).
• المتغيرات الداخلية ($V$): الاستنتاجات الوسيطة والقرار النهائي المستمد عبر الاستنباط المنطقي.
• الدوال الهيكلية ($F$): خرائط تحدد صراحةً التبعية السببية للمتغيرات الداخلية على "آبائها".

يتم فرض قيد حاسم: لا يمكن إضافة متغير داخلي جديد إلى الرسم البياني إلا إذا كانت مجموعة "الآباء" الضرورية له موجودة بالكامل. يضمن هذا الترتيب الطوبولوجي، مما يلغي القفزات المنطقية والافتراضات الضمنية.

2.2. بناء البيانات عبر التقطير

لتدريب النماذج على هذا النموذج الهيكلي، يستخدم المؤلفون خط تقطير يتكون من:

1. البيانات البذرية: استخدام معايير عالية الجودة متعددة الخطوات (HoVer, EX-FEVER).
2. تقطير المعلم: يتم توجيه نموذج لغوي كبير "معلم" قوي (مثل Qwen3-30B-A3B) لتوليد مكونات SCM ($U, V, F$) صراحةً بدلاً من مجرد ملصق نهائي.
3. التحقق: يتم تصفية السلاسل المولدة للتأكد من اتساقها مع الملصقات الحقيقية وتجميعها في تنسيقات اتخاذ قرار متسلسلة ($C = \{(\tau_t, \alpha_t, o_t)\}_{t=1}^N$).

2.3. الضبط الدقيق الخاضع للإشراف (SFT)

يتم أولاً محاذاة النموذج الأساسي مع نموذج الاستدلال SCM باستخدام مجموعة البيانات الهيكلية المنشأة ($D_{struct}$). الهدف هو تعظيم احتمالية توليد التسلسل الهيكلي الصحيح (دليل $\leftarrow$ اشتقاق $\leftarrow$ استنتاج)، مما يؤسس لقاعدة للتحقق القابل للتتبع.

2.4. التحسين عبر تحسين السياسة النسبي للمجموعات (GRPO)

لمعالجة المقايضة بين العمق الهيكلي والإيجاز (مشكلة حرف U المقلوب)، قدم المؤلفون استراتيجية تعلم تعزيزي (RL) قائمة على القواعد باستخدام GRPO.

• أخذ عينات المجموعة: لكل مطالبة (prompt)، تولد السياسة مجموعة من $K$ من تسلسلات الاستدلال.
• دالة المكافأة المركبة ($R$): يتم تقييم جودة التسلسل من خلال ثلاثة مكونات:
  1. الصحة ($R_c$): مكافأة ثنائية بناءً على دقة الإجابة.
  2. الهيكل ($R_s$): يشجع على الإيجاز (مبدأ نصل أوكام) من خلال مكافأة نسبة أعلى من متغيرات الأدلة ($U$) إلى خطوات الاستدلال ($V$)، مع معاقبة "الجمباز الذهني" المفرط.
  3. الطول ($R_l$): يوجه طول السلسلة نحو فاصل زمني أمثل $[l_{min}, l_{max}]$ لتجنب التدهور المرتبط بالسلاسل الطويلة جداً.
• الميزة النسبية: يقوم GRPO بتحديث السياسة بناءً على الأداء النسبي للعينات داخل المجموعة، مما يقلل من تباين التدريب ويستقر عملية تعلم استراتيجيات الاستدلال المعقدة.

3. المساهمات الرئيسية

1. إطار سببي رسمي: تقديم SCM إلى مجال MHFV، مما يوفر أساساً دلالياً قابلاً للتفسير ينمذج صراحةً التبعيات السببية بين الأدلة والادعاءات عبر رسم بياني موجه غير حلقي (DAG).
2. رؤية تجريبية وتحسين بالتعلم التعزيزي: اكتشاف العلاقة ذات الشكل "U المقلوب" بين طول سلسلة الاستدلال والدقة. اقترح المؤلفون استراتيجية جديدة تعتمد على GRPO لتقييد التعقيد الهيكلي بشكل تكيفي، موازنةً بين الدقة والإيجاز.
3. أداء رائد (SOTA): حقق إطار SCM-GRPO أداءً فائقاً على المعايير العامة، مما أظهر قدرة قوية على التعميم والاتساق المنطقي في السيناريوهات المعقدة متعددة الخطوات.

4. النتائج التجريبية

تم تقييم الإطار على معايير HoVer و EX-FEVER مقابل نماذج أساسية متنوعة، بما في ذلك Direct Prediction، و ProgramFC، و FOLK، و RAG، و Search-o1.

• الأداء العام: حقق SCM-GRPO نتائج رائدة (SOTA) عبر جميع مجموعات التقييم الفرعية.
  • HoVer 2-hop: بنسبة 73.42% (مقابل 69.00% لـ Search-o1).
  • HoVer 4-hop: بنسبة 60.88% (مقابل 56.60% لـ Search-o1).
  • EX-FEVER 3-hop: بنسبة 75.00% (مقابل 72.80% لـ Search-o1).
• التحقق من ضرورة التعلم التعزيزي: أظهرت التجارب أن تطبيق SCM-CoT بدون تحسين التعلم التعزيزي غالباً ما يؤدي إلى تدهور الأداء (على سبيل المثال، انخفضت دقة Qwen3-14B من 57.48% إلى 47.22% في HoVer 2-hop عند استخدام SCM-CoT وحده). كان من الضروري استخدام خط SCM-GRPO الكامل لتحويل الإمكانات الهيكلية إلى مكاسب في الأداء.
• دراسات الاستئصال (Ablation Studies): عند مقارنة استراتيجيات التحسين على نموذج Qwen3-8B الأساسي، تفوق GRPO (دقة 75.42%) بشكل كبير على كل من SFT وحده (73.33%) و CPO (71.91%)، مما يؤكد فعالية الأهداف النسبية للمجموعات في استقرار الاستدلال المعقد.

5. الأهمية والقيود

الأهمية:
يزعم البحث تقديم حل موثوق وقابل للتفسير للتحقق من الحقائق المعقدة من خلال ترسيخ الاستدلال في هياكل سببية صريحة. إنه يعالج الفجوة الحرجة المتمثلة في "الاستدلال الهلوسي" في النماذج اللغوية الكبيرة من خلال فرض الصلاحية الطوبولوجية واستخدام التعلم التعزيزي لتحسين المقايضة بين عمق الاستدلال والإيجاز ديناميكياً. يقدم العمل رؤى تجريبية جديدة حول كيفية تأثير التعقيد الهيكلي على موثوقية استدلال النماذج اللغوية الكبيرة.

القيود:
أقر المؤلفون بتواضع بوجود قيدين رئيسيين:

1. الاعتماد على البيانات: يعتمد أداء الإطار جزئياً على جودة البيانات الهيكلية المنشأة تلقائياً عبر عملية التقطير.
2. التعميم على السلاسل فائقة الطول: لا تزال القدرة على التعميم لسلاسل الاستدلال التي تتجاوز 4 خطوات بحاجة إلى مزيد من التحقق.

يُقترح في العمل المستقبلي استكشاف منهجيات أكثر قوة لبناء البيانات وتوسيع إطار الاستدلال السببي ليشمل طيفاً أوسع من مهام الاستدلال المعقدة.