ملخص تقني: نفس الصيغ، دلالات مختلفة

بيان المشكلة

تتناول الورقة البحثية فجوة حرجة في تقييم قدرات الاستنتاج لدى النماذج اللغوية الكبيرة (LLMs) فيما يتعلق بالمنطق الجهاتي (Modal Logic). فبينما تقيم الاختبارات المعيارية الحالية (مثل ProofWriter وFOLIO وLogicNLI) الاستنباط تحت منطق خلفي ثابت وضمني، فإنها تفشل في اختبار ما إذا كانت النماذج قادرة على تكييف استنتاجها مع مواصفات دلالية (Semantics) محددة صراحةً. في المنطق الجهاتي، غالبًا ما يعتمد صحة الاستدلال على خصائص إطار محددة (مثل الانعكاسية، التعدي، أو التماثل) أو شروط المجال (مثل المجال الثابت مقابل المجال المتغير). قد يؤدي النموذج أداءً جيدًا من خلال تعلم نظام استدلال مهيمن (منطق "مألوف" مثل S5) بدلاً من الالتزام بالقيود المحددة في المطالبة (Prompt). المشكلة الجوهرية هي تحديد ما إذا كانت النماذج اللغوية الكبيرة قادرة على كبح حدسها المنطقي الافتراضي لاتباع شروط دلالية محددة، حتى لو كانت غير قياسية.

المنهجية

قام المؤلفون ببناء معيار تشخيصي مصمم لعزل التحكم الدلالي عن مطابقة الأنماط الصيغية.

1. بناء المعيار المعياري:

• المشكلات المزدوجة: تتكون مجموعة البيانات الأساسية من أزواج من المشكلات حيث تكون المقدمات ($P$) والاستنتاج ($C$) متطابقين، لكن المواصفات الدلالية ($S$) تختلف بشرط واحد فقط (على سبيل المثال، استبدال إطار انعكاسي بإطار متعدٍ، أو مجال تراكمي بمجال متناقص).
• التحقق عبر "الأوراكل" (Oracle Verification): يقوم "أوراكل" استدلال آلي (باستخدام Vampire وLeo-III عبر سلسلة أدوات LET) بالتحقق من أن المواصفات المتباينة تؤدي إلى قيم حقيقة متضادة ($y_a \neq y_b$) لنفس الصيغة.
• النواة المتوازنة: لمنع النماذج من استغلال اختصار "الشرط فقط" (حيث يتم تحديد الإجابة بناءً على التسمية الدلالية دون قراءة الصيغة)، أنشأ المؤلفون "نواة غير متداخلة متوازنة" مكونة من 160 زوجًا. في هذا الجزء الفرعي، يظهر كل شرط دلالي بالتساوي مع كل من التسميات "صحيح" (True) و"خطأ" (False). يتطلب النجاح هنا الالتزام الصارم بقراءة الصيغة لتحديد أي شرط يثبتها.
• النطاق: تغطي مجموعة البيانات خمسة تباينات في خصائص الإطار (K–D, K–T, T–B, T–S4, B–S5) وثلاثة تباينات في المجال (متغير–تراكمي، متغير–متناقص، تراكمي–ثابت)، بإجمالي 800 زوج من الأنظمة المتداخلة و160 زوجًا للنواة المتوازنة.
• التلقين (Prompting): تستخدم المطالبات لغة إنجليزية محكومة لتحديد القواعد صراحةً (مثل "علاقة الوصول انعكاسية ومتماثلة") دون استخدام أسماء الأنظمة التقليدية (مثل "S4")، مما يجبر النموذج على الاعتماد على القواعد المقدمة.

2. البروتوكول التجريبي:

• النماذج: تدرس الدراسة خمسة نماذج حديثة: DeepSeek V4 (Flash وPro)، وGPT-5.6 (Luna وTerra)، وClaude Sonnet 5.
• الشروط:
  • التلقين المباشر: استنتاج قياسي بدون وضع الاستدلال.
  • وضع الاستدلال (Reasoning Mode): مُفعّل لنماذج محددة (مثل DeepSeek Flash "عالي الجهد") لاختبار ما إذا كان زيادة الحوسبة أثناء وقت الاستدلال يساعد في الالتزام الدلالي.
  • حساسية التمثيل: يختبر جزء فرعي الأداء عبر الشروط الإنجليزية المسماة، والتعريفات العلاقاتية، وصيغة TPTP الرسمية.
  • الألفة الدلالية: تُغفل التجارب مواصفات الإطار لتحديد المنطق "الافتراضي" الذي تفضله النماذج عندما تكون غير مقيدة.

النتائج الرئيسية

1. فشل التحكم الدلالي تحت التلقين المباشر:
في النواة المتوازنة، أدى أداء أربعة من أصل خمسة نماذج إلى مستويات أقل بكثير من خط الأساس 50% الخاص بـ "الشرط فقط" (الذي يفترض أن النموذج يتجاهل الصيغة ويخمن بناءً على تسمية الشرط).

• DeepSeek V4 Flash: دقة الأزواج الصارمة 4.4%.
• DeepSeek V4 Pro: 2.5%.
• GPT-5.6 Luna: 21.2%.
• GPT-5.6 Terra: 25.0%.
• Claude Sonnet 5: 65.0% (النموذج الوحيد الذي تجاوز خط الأساس).
  يشير هذا إلى أن معظم النماذج تفشل في تتبع الدلالات المذكورة، وتطبق بدلاً من ذلك منطقًا ثابتًا ومألوفًا بغض النظر عن القيود الواردة في المطالبة.

2. وضع الاستدلال كآلية استردادية:
أدى تفعيل وضع الاستدلال إلى تحسين الأداء بشكل كبير لنموذج DeepSeek V4 Flash، حيث رفع دقته في النواة المتوازنة من 4.4% إلى 88.1%. لوحظت مكاسب مماثلة لنموذج GPT-5.6 Luna في مشكلات الإطار. يشير هذا إلى أن الفشل ليس بالضرورة نقصًا في المعرفة المنطقية، بل هو فشل في تفعيل وضع الاستدلال الصحيح لمعالجة القيود المحددة.

3. الألفة الدلالية والافتراضات:
عند حذف المواصفات، أظهرت النماذج ألفات متماسكة مع المنطقيات المألوفة (على سبيل المثال، فضل DeepSeek Flash المنطق K، بينما فضل Sonnet المنطق K، والبعض الآخر فضل T). ومع ذلك، لم تتنبأ هذه الافتراضات بشكل موثوق بالأخطاء عند وجود قيود صريحة؛ حيث اتفقت النماذج غالبًا في المشكلات غير المحددة ولكنها فشلت في التكيف عند إضافة القيود.

4. حساسية التمثيل:
تغيير تنسيق المدخلات (من الشروط المسماة إلى التعريفات العلاقاتية أو TPTP) غيّر ترتيب الأداء ولكنه لم يستعد التحكم الدلالي بشكل ثابت. على سبيل المثال، انخفضت دقة GPT-5.6 Terra من 38% (المسمى) إلى 6% (التعريفات العلاقاتية)، مما يشير إلى أن التنسيق السطحي ليس حلاً بسيطًا لمشكلة الالتزام الدلالي الأساسية.

المساهمات الرئيسية

• معيار تشخيصي: تقديم إطار تقييم محكم يحافظ على ثبات المشكلة على مستوى الكائن مع تغيير المواصفات الدلالية، وهو مصمم خصيصًا لاختبار "حساسية المواصفات".
• النواة المتوازنة: تصميم مبتوب لمجموعة بيانات يلغي إمكانية حل المشكلات عن طريق ربط الشروط الدلالية بالإجابات دون قراءة الصيغة المنطقية.
• دليل تجريبي على تبعية الوضع (Mode Dependence): إثبات أن القدرة على اتباع الدلالات الجهاتية تعتمد بشدة على وضع الاستدلال (المباشر مقابل الاستدلال)، مما يتحدى مفهوم قدرات الاستدلال المنطقي الثابتة في النماذج اللغوية الكبيرة.
• إتاحة الموارد: إصدار الصيغ، وأدوات التحقق (Oracle artifacts)، والنماذج المضادة، واستجابات النماذج للجمهور.

الأهمية والادعاءات

تجادل الورقة بأن المعاييد ذات الدلالات الثابتة قد تبالغ في تقدير قوة استدلال النماذج اللغوية الكبيرة. النتيجة الأساسية هي أن المعرفة الجهاتية (معرفة المنطق) تختلف عن التحكم الدلالي (تطبيق المنطق المحدد المعطى). قد يمتلك النموذج القواعد المنطقية اللازمة ولكنه يفشل في السماح للمواصفات المحلية بالحكم على إجابته، حيث يعود بدلاً من ذلك إلى نظام استدلال مألوف.

يدعي المؤلفون بتواضع أن عملهم يفصل بين هاتين القدرتين. ويشيرون إلى أنه بينما يمكن لوضع الاستدلال استعادة الحساسية للتدخلات الدلالية، فإنه لا يضمن صحة خطوات الاشتقاق الوسيطة (على سبيل المثال، قد يغير النموذج المنطق بشكل صحيح ولكنه لا يزال يستنتج نتيجة خاطئة بسبب خطأ في الاستدلال). وتخلص الدراسة إلى أن التقييمات المستقبلية يجب أن تختبر صراحةً ما إذا كانت النماذج قادرة على التكيف مع القيود المذكورة بدلاً من الاعتماد على الافتراضات الخلفية الثابتة. لا تقترح الورقة تطبيقات جديدة أو تغييرات هيكلية مستقبلية، بل تركز حصريًا على التقييم التشخيصي للنماذج الحالية.