Hybrid Models for Natural Language Reasoning: The Case of Syllogistic Logic

ملخص تقني: النماذج الهجينة للاستدلال في اللغات الطبيعية

بيان المشكلة
على الرغم من التقدم الكبير في النماذج العصبية، تظل قدرتها على التعميم عقبة حرجة أمام تطبيقات الاستدلال المنطقي. غالبًا ما تخلط الأدبيات الحالية بين جانبين متميزين للتعميم: التركيبية (Compositionality) والتكرارية (Recursiveness).

• التركيبية (Compositionality): تُعرَّف هنا ليس بالمعنى القياسي لـ "البناء من الأسفل إلى الأعلى"، بل كقدرة تحليلية "من الأعلى إلى الأسفل": وهي القدرة على تجريد القواعد المنطقية الذرية من الهياكل المعقدة وتطبيقها على المكونات الأبسط.
• التكرارية (Recursiveness): هي القدرة على بناء تمثيلات معقدة من خلال التطبيق المتكرر لمجموعة محدودة من القواعد (مثل تمديد سلسلة متعدية).

يجادل المؤلفون بأنه بينما قد تكون النماذج تكرارية (أي تعالج السلاسل الطويلة عبر محاكاة الأنماط السطحية)، فإنها غالبًا ما تفتقر إلى التركيبية الحقيقية (فهم الجمع الهيكلي للروابط الفردية). هذا النقص يمنع الاستدلال المنطقي القوي، لا سيما عندما تفشل النماذج المدربة على استنتاجات معقدة في تحديد المكونات البسيطة الكامنة وراءها.

المنهجية
للتحقيق في هذه القدرات، يستخدم المؤلفون المنطق القياسي (Syllogistic Logic) كمعيار ضبط. هذا الجزء من الاستدلال في اللغة الطبيعية يكفي ليكون غير بديهي ومع ذلك فهو قابل للحوسبة (Tractable)، على عكس المنطق من الدرجة الأولى الكامل.

1. الإطار الرسمي: تتبنى الدراسة نظام إثبات قياسي يعتمد على "سميلي" (Smiley, 1973)، ويتميز بأربعة أنواع من المكممات (A, E, I, O) ويسمح بالاشتقاقات من مقدمات عشوائية. وقد ثبت أن النظام سليم (Sound) وكامل (Complete).
2. المكون الرمزي: تم تنفيذ مُثبت آلي غير حتمي. يحاول اشتقاق فرضية $H$ من قاعدة معرفية $KB$ باستخدام:
   • إثباتات مباشرة قائمة على القواعد (بديهية وقائمة على القواعد).
   • الإثبات عن طريق التناقض (إيجاد صيغة $F$ بحيث يكون $KB \cup \{H\} \vdash F$ و $KB \vdash \neg F$).
3. المكون الاتصالي (Connectionist): تم تدريب نموذجين من النماذج اللغوية الكبيرة (LLMs) مسبقة التدريب وهما FLAN-T5-base (مشفر-مفكك) و GPT-4o-mini (مفكك فقط) على بيانات اصطناعية ليعملا كمساعدين. تتكون البيانات من قواعد معرفية ممثلة في شكل رسوم بيانية (Graphs)، تم تحويلها إلى لغة طبيعية باستخدام كلمات مستعارة (Pseudowords) لتجنب التحيز المحتوي.
   • المهمة 1 (اختيار المقدمات): التنبؤ بمجموعة فرعية دنيا من المقدمات $P \subseteq KB$ بحيث يكون $P \vdash H$.
   • المهمة 2 (الإثبات عن طريق التناقض): التنبؤ بصيغة دحض $F$ لتسهيل إثبات التناقض.
4. تقييم التعميم: قام المؤلفون بتشغيل مفهومي التركيبية والتكرارية من خلال التلاعب بمجموعات التدريب والاختبار بناءً على أطوال سلاسل A (A-chain lengths) (طول التضمينات المتعدية):
   • التركيبية (COM): نماذج مدربة على سلاسل طويلة وتُختبر على سلاسل قصيرة (تفكيك).
   • التكرارية (REC): نماذج مدربة على سلاسل قصيرة وتُختبر على سلاسل طويلة (بناء).
   • الإجمالي (OVE): نماذج مدربة ومختبرة عبر جميع الأطوال.

المساهمات الرئيسية

1. التمييز التجريبي: تقديم برهان صارم على أن النماذج اللغوية الكبيرة تمتلك كفاءة معقولة في التكرارية، لكنها تعاني بشكل كبير من التركيبية. فالنماذج المدربة على استنتاجات معقدة تفشل في التعميم على أجزائها المكونة الأبسط.
2. القيود الهيكلية: نتيجة نظرية مفادها أن التعميم في النماذج العصبية مقيد بالبنية المنطقية. حيث يختلف الأداء بشكل منهجي عبر أنواع مختلفة من القياسات (على سبيل المثال، النوع $\tau_2$، وهو أبسط استنتاج، يتم إتقانه، بينما تظل التوليفات المعقدة مثل $\tau_1$ و $\tau_5$ صعبة).
3. البنية الهجينة: اقتراح وتقييم إطار عمل عصبي-رمزي (Neuro-symbolic framework) حيث تساعد المكونات العصبية المُثبت الرمزي. تعمل النماذج العصبية على تضييق فضاء البحث عبر التنبؤ بالمقدمات المرشحة وصيغ التناقض، بينما يضمن المُثبت الرمزي الاكتمال والصحة المنطقية.

النتائج

• تفاوت التعميم: في الإعداد التكراري (Recursive)، أدت النماذج أداءً مقارباً للخط المرجعي الإجمالي، مما يشير إلى قدرتها على تمديد الأنماط إلى سلاسل أطول. ومع ذلك، في الإعداد التركيبي (Compositional)، انخفض الأداء بشكل كبير (على سبيل المثال، انخفضت دقة GPT في اختيار المقدمات من ~94% في OVE-short إلى ~76% في COM).
• التباين المعتمد على النوع: اعتمد الأداء بشكل كبير على نوع القياس المحدد. حقق النوع $\tau_2$ (سلسلة A واحدة) دقة تقارب الكمال عبر جميع الإعدادات، بينما أظهرت الأنواع التي تتطلب سلاسل متعددة أو مكممات مختلطة تدهوراً ملحوظاً في المهام التركيبية.
• تحليل الخطأ:
  • المقدمات غير الضرورية: غال-ًا ما تضمنت النماذج مقدمات إضافية لم تكن دنيا ولكنها كانت صالحة، مما سمح للمُثبت الرمزي بالنجاح.
  • المقدمات المختلقة: في حالات الفشل الحقيقي، أنتجت النماذج مقدمات ذات بنية جيدة ولكنها غير صحيحة دلالياً، حيث خلطت غالباً بين أنواع القياس ذات الهياكل المتشابهة (مثل محاولة بناء إثبات $\tau_3$ لفرضية من نوع $\tau_1$).
• كفاءة النموذج الهجين: قللت النماذج الهجينة بشكل كبير من التكلفة الحسابية للمُثبت الرمزي.
  • تطلب المُثبت الرمزي الصرف متوسط $\approx 10^{5.7}$ خطوة.
  • قللت النماذج الهجينة مع مساعدين من نوع الإجمالي (Overall) أو التكراري (Recursive) هذا الرقم إلى $\approx 10^{2.4}$ خطوة (انخفاض بمقدار ثلاثة مراتب عشرية).
  • حتى مع المساعدين التركيبيين (Compositional) (الذين امتلكوا دقة أقل)، ظل النظام الهجين قوياً، حيث تطلب خطوات أكثر قليلاً ($\approx 10^{2.7}$ إلى $\approx 10^{3.1}$) من أفضل المساعدين، دون المساس بصحة أو اكتمال الإثبات النهائي.

الأهمية والادعاءات
يدعي البحث أن القيود الملحوظة في الاستدلال العصبي ليست مجرد مسألة حجم (Scale)، بل تنبع من عدم القدرة الجوهرية على القيام بالتفكيك الهيكلي (التركيبية) مقابل تكرار الأنماط (التكرارية). ويفترض المؤلفون أن آليات الانتباه في الـ Transformer قد تدعم الأخيرة بطبيعتها ولكن ليس الأولى.

تكمن أهمية هذا العمل في إثبات أن النماذج الهجينة تقدم مساراً قابلاً للتطبيق للمضي قدماً. فمن خلال تسخير الشبكات العصبية لتقليص فضاء البحث بكفاءة، واستخدام الاستدلال الرمزي لضمان المنطق، يمكن التغلب على حواجز التعميم التي تواجهها الأنظمة العصبية الصرفة. تشير الدراسة إلى أن هذا النهج الجزئي (Modular) ضروري لتطوير مُثبتات منطقية موثوقة، حتى عندما تكون المكونات العصبية غير مثالية أو مدربة على بيانات محدودة. ويخلص المؤلفون إلى أنه رغم كون المنطق القياسي جزءاً بسيطاً، إلا أنه يكشف بالفعل عن حدود غير بديهية للتعميم العصبي، مما يحفز المزيد من البحث في أجزاء منطقية أغنى وفي الأسباب الهيكلية وراء القابلية للتعلم.