ملخص تقني: الاستدلال الاستنباطي مع المنطق العام الاحتمالي

1. بيان المشكلة

تتناول الورقة البحثية أوجه القصور في المناهج العصبية الرمزية (neurosymbolic) الحالية للاستدلال في النماذج اللغوية الكبيرة (LLMs). فبينما تنجح الطرق الحالية في ترجمة اللغة الطبيعية إلى منطق صوري واستخدام الحلّال (solvers)، إلا أنها غالبًا ما تفشل لأن الحلّال الصورية تفتقر إلى الوصول إلى المعرفة بالمنطق العام (commonsense world knowledge) الضرورية (مثل: "الأبيض هو لون").

تعتمد المحاولات السابقة لسد هذه الفجوة (مثل LLM-Tres، وARGOS) على إطار عمل الاستدلال الاستنباطي (abductive reasoning) حيث يقوم النموذج اللغوي بتوليد المقدمات المفقودة ($L$) لجعل الاستعلام ($c$) مستتبعة منطقيًا من السياق ($S$). ومع ذلك، تفترض هذه الطرق ضمنيًا وجود منطق عام متجانس (monolithic commonsense): أي أن هناك مجموعة واحدة متفق عليها عالميًا من الحقائق $L$ التي يقبلها الجميع كحقائق.

يجادل المؤلفون بأن هذا الافتراض معيب. في الواقع، تختلف معتقدات المنطق العام عبر الأفراد. قد يختلف شخصان حول استعلام ما ليس بسبب أخطاء في الاستدلال، بل لأنهما يحملان مجموعتين مختلفتين، وإن كانت قابلة للدفاع عنها، من معتقدات المنطق العام ($L_1$ مقابل $L_2$) تؤديان إلى استنتاجات متناقضة. علاوة على ذلك، فإن افتراض وجود منطق عام متجانس يجعل من الصعب تفسير احتمالية صدق قضية ما، مما يؤدي غالبًا إلى تقليلها إلى درجة ثقة غير قابلة للتفسير بدلاً من كونها احتمالاً حقيقياً.

المشكلة الجوهرية: كيف يمكن تحديد قيمة صدق استعلام $c$ بمعلومية المقدمات $S$ عندما لا تكون افتراضات المنطق العام الضرورية متفقًا عليها عالميًا، بل تتباين عبر مجموعة من المستدلّين؟

2. المنهجية: المنطق العام الاستنباطي الاحتمالي (PACS)

يقترح المؤلفون إطار عمل PACS، الذي يصنف المنطق العام كـتوزيع احتمالي عبر مجموعة من المستدلّين بدلاً من كونه مجموعة ثابتة واحدة من الحقائق.

2.1 الإطار النظري

يعرف المؤلفون الاحتمالية الاستنباطية (Abductive Probability) لصدق استعلام $c$ بأنها القيمة المتوقعة عبر مجموعة كل البشر ($R$):
$$AP(S, c) \equiv \mathbb{E}_{R} [ \mathbb{1}[S \land L(R) \vdash c] ]$$
حيث تمثل $L(R)$ مجموعة معتقدات المنطق العام التي يحملها المستدل $R$. يُعتبر الاستعلام "صادقًا استنباطيًا" إذا استنتجت أغلبية المستدلّين أنه صحيح.

بما أن متجه المعتقدات الكامل $L$ لأي فرد لا يمكن الوصول إليه، فإن الطريقة تقرب هذه القيمة المتوقعة عن طريق أخذ عينات من "الأفكار" الفردية (العبارات الإبستمية) بشكل متسلسل.

2.2 خوارزمية أخذ العينات

تعامل الخوارزمية البحث عن برهان كعملية أخذ عينات من عناصر فردية لمتجه معتقدات $L = (L_1, L_2, \dots, L_{|D|})$.

1. أخذ عينات قاعدة السلسلة (Chain Rule Sampling): تقوم العملية بأخذ عينات من المعتقدات واحدًا تلو الآخر باستخدام قاعدة السلسلة: $p(L) = p(L_1)p(L_2|L_1)\dots$.
2. التوقف المبكر (Early Stopping): لا يتطلب أخذ العينات توليد متجه المعتقدات الكامل. بل يتوقف بمجرد أن تؤدي المعتقدات المتراكمة $\hat{l}$ مع المقدمات $S$ إلى استتباع الاستعلام ($S \land \hat{l} \vdash c$) أو نفي الاستعلام ($S \land \hat{l} \vdash \neg c$).
3. التحسين كعملية قرار ماركوف (MDP): يتم صياغة إيجاد الترتيب الأمثل لأخذ عينات المعتقدات لتقليل التكلفة الحسابية (وقت التوقف) كعملية قرار ماركوف (MDP).
   • الحالة (State): المجموعة الحالية من المعتقدات التي تم أخذ عينات منها.
   • الإجراء (Action): اختيار قضية المعتقد التالية لأخذ عينات منها.
   • المكافأة (Reward): تقليل عدد الخطوات المستقبلية المتوقعة للوصال إلى استنتاج.

2.3 دالة الدرجة البديلة (Surrogate Score Function)

يتطلب حساب المكافأة المتوقعة الدقيقة معرفة التوزيع الكامل $p(L)$، وهو أمر غير قابل للحل حسابيًا. يشتق المؤلفون درجة بديلة قابلة للتطبيق بناءً على عدّ النماذج (model counting) (عدد العوالم الممكنة التي تستوفي المنطق).
الدرجة المقترحة للتقليل منها بأسلوب جشع (greedily) هي:
$$\text{Score}(\phi(t)|S) = \#\sigma_{S \land l_{\phi(1:t)}} \times (v_{S \land \hat{l}_t} - b_{S \land \hat{l}_t}) + 1$$
حيث أن:

• $\#\sigma$ هو عدد الحالات المقيدة تمامًا التي يمكن الوصول إليها.
• $v$ هو إجمالي عدد المتغيرات في المسألة.
• $b$ هو عدد المتغيرات التي تم تقييدها بالفعل.
  هذه الدرجة تقرب من تقليل عدم اليقين، مما يوجه البحث نحو افتراضات المنطق العام الأكثر إفادة.

2.4 التنفيذ

• النموذج اللغوي كأداة لأخذ العينات: يعمل النموذج اللغوي كأداة أخذ عينات شرطية للقضية التالية $l_i$.
• البحث الشبيه بالحزمة (Beam-like Search): تأخذ الخوارزمية عينات من $n$ مسار مرشح للأفكار في كل خطوة، لكنها تحتفظ بأفضل $m$ مسارات ذات درجات عالية (متغير من البحث بالحزمة).
• التجميع (Aggregation): على عكس البحث بالحزمة القياسي الذي يختار المسار الأعلى درجة واحدًا، يقوم PACS بتجميع نتائج جميع مسارات البحث المكتملة. يتم تحديد الإجابة النهائية من خلال تصويت الأغلبية عبر استنتاجات هذه المسارات المتنوعة.

3. المساهمات الرئيسية

1. إطار عمل المنطق العام الاحتمالي: تقدم الورقة تعريفًا رسميًا للاستدلال الاستنباطي الذي ينمذج صراحةً تباين معتقدات المنطق العام البشري، مبتعدة عن افتراض وجود حقيقة واحدة متجانسة.
2. خوارزمية PACS: خوارزمية مبتكرة تجمع بين النماذج اللغوية الكبيرة وحلّال المنطق الصوري لأخذ عينات من مسارات استدلال متنوعة، باستخدام عدّ النماذج لتوجيه البحث نحو تفسيرات دنيا.
3. التحقق التجريبي: إثبات أن نمذجة تباين المعتقدات وتجميع المسارات المتنوعة يؤدي إلى دقة أعلى من الطرق التي تفترض مسار استدلال واحد "صحيح" أو تعتمد فقط على درجات الثقة للنماذج اللغوية الكبيرة.

4. النتائج التجريبية

قيم المؤلفون PACS على ثلاث مجموعات بيانات: FOLIO (الاستدلال المنطقي)، وCosmosQA، وQUAIL (الفهم القرائي المحول إلى صح/خطأ).

• الأداء: تفوق PACS على Chain-of-Thought (COT)، وSelf-Consistency (SC)، والطرق العصبية الرمزية السابقة (LoT، LLM-Tres، ARGOS) في FOLIO وQUAIL.
  • في FOLIO، حقق PACS دقة بنسبة 88% (باستخدام Llama 3.3 70B)، مقارنة بـ 78% لأفضل طريقة عصبية رمزية تالية (ARGOS) و73% لـ COT.
  • في QUAIL، حقق PACS نسبة 91%، متفوقًا على خط الأساس القائم على البحث بالحزمة الهيورستي (If-Beam) بنسبة 6%.
• التنوع والمتانة: قلل PACS بشكل كبير من نسبة المسائل التي لم يتم العثور فيها على مسار استدلال صحيح (مثلاً 3% في FOLIO مقابل 16% لـ If-Beam). يشير هذا إلى أن PACS يستكشف فضاء الحلول بشكل أكثر فعالية.
• المقارنة مع نماذج "التفكير": حتى عند استخدام نموذج أصغر غير مخصص للتفكير (Llama 3 8B)، تفوق PACS على نموذج حديث بقدر 120B "مفكر" (GPT-OSS-120B) في FOLIO (82% مقابل 82% في QUAIL، ولكن 88% مقابل 82% في FOLIO)، مما يشير إلى أن خوارزميات البحث الممنهجة يمكن أن تكون أكثر فعالية من مجرد زيادة حجم النموذج.
• طول المسار: وجد PACS مسارات استدلال أقصر (متوسط طول 4.6 في FOLIO) مقارنة بـ If-Beam (6.7)، مما يشير إلى تخطيط أفضل و"تفكير مفرط" أقل.

5. الأهمية والادعاءات

تدعي الورقة أن نجاح PACS يؤكد رؤيتين جوهريتين:

1. التباين هو المفتاح: يجب ألا تسأل أنظمة الاستدلال "ما هي الإجابة الصحيحة؟" بل "ماذا سيقول معظم الناس عن الإجابة الصحيحة؟". وهذا يتطلب الجمع فوق مسوغات (rationales) متنوعة بدلاً من البحث عن برهان واحد متجانس.
2. البحث الموجه نحو الهدف: يجب ألا تسأل الأنظمة "ما هي بعض الحقائق الصحيحة؟" بل "ما هي الحقائق الصحيحة التي ستساعدني في حل هذه المشكلة؟". وهذا يستلزم استراتيجية تقليل (إيجاد أقصر وأكثر المسارات مباشرة) بدلاً من التوليد الشامل.

يخلص المؤلفون إلى أن إطار عملهم، رغم استخدامه لافتراضات بسيطة نسبيًا (مثل التوزيع الموحد للحلول)، يثبت أن تصميم خوارزميات بحث ملموسة وممنهجة هو مسار أكثر كفاءة لتحسين قدرات الاستدلال من مجرد الضبط الدقيق للنماذج اللغوية الكبيرة أو الاعتماد على ثقتها الضمنية.

6. القيود

يقر المؤلفون بعدة قيود:

• افتراض التوحيد (Uniformity Assumption): تفترض الدرجة البديلة المشتقة نموذجًا موحدًا لتوزيع الحالات التي يمكن الوصول إليها ($p(\sigma_i|l)$)، وهو أمر غير واقعي على الأرج Round.
• أخطاء الترجمة: تعتمد الطريقة على نموذج لغوي مدرب مسبقًا لترجمة اللغة الطبيعية إلى منطق. وتؤدي الأخطاء في خطوة الترجمة هذه إلى إدخال الضجيج، وهو ما لوحظ بشكل خاص في مجموعة بيانات CosmosQA حيث كانت أخطاء الترجمة أكثر تكرارًا.
• النطاق: لا تستكشف الورقة الضبط الدقيق لنموذج ترجمة منطقية مخصص، كما لا تقترح نموذجًا أكثر تعقيدًا لتوزيع المعتقدات، معتبرة إياها خارج النطاق الحالي.