When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs
يقدم البحث CALVER، وهو مُتحقق رمزي لا يتطلب تدريباً يتفوق على طرق التصويت القائمة على المكافأة التقليدية في الاستدلال السببي، وذلك عبر تقييم مسارات الاستدلال المهيكلة مقابل معايير بيرل السببية لتحديد الإجابات الصحيحة حتى في حالة وجود حلول متعددة صحيحة.
المؤلفون الأصليون:Omatharv Bharat Vaidya, Connor Thomas Jerzak, Zayne Rea Sprague, Fangcong Yin, Nhat Ho
تخيل أنك تحاول حل لغز، مثل محاولة معرفة سبب موت نبات في غرفتك. قد تطلب من ذكاء اصطناعي فائق الذكاء يعمل كـ "محقق" أن ينظر في الأدلة. لا يكتفي الذكاء الاصطناعي بإعطائك إجابة واحدة فقط؛ بل يحاول التفكير في المشكلة عشر مرات مختلفة، مثل محقق يجرب عشر نظريات مختلفة. عادةً، إذا كان الذكاء الاصطناعي ذكيًا، فستكون معظم تلك النظريات العشر متشابهة، والإجابة التي تظهر أكثر من غيرها هي على الأرجح الإجابة الصحيحة. يُسمى هذا "التصويت" أو "الاتساق الذاتي"، وهو يعمل بشكل رائع في المسائل الرياضية أو ألغاز المنطق البسيطة حيث توجد إجابة صحيحة واحدة فقط.
ولكن ماذا يحدث عندما يحتوي اللغز على العديد من الإجابات الصحيحة؟ تخيل أن النبات يموت بسبب ثلاثة أسباب محتملة: الكثير من الشمس، أو نقص الماء، أو حشرة. كل هذه الأسباب الثلاثة صحيحة. إذا طلبت من الذكاء الاصطناعي التفكير عشر مرات، فقد يخمن "الشمس" ثلاث مرات، و"الماء" ثلاث مرات، و"الحشرة" ثلاث مرات. ستكون الأصوات منقسمة! وفي الوقت نفسه، قد يخمن الذكاء الاصطناعي بالخطأ أن "النبات جائع" أربع مرات. ورغم أن "الجوع" إجابة سخيفة وخاطئة، إلا أنها ستفوز بالتصويت لمجرد أنها كانت التخمين الأكثر شعبية. هذه هي المشكلة المعقدة التي يتناولها هذا البحث: عندما تكون هناك العديد من الإجابات الصحيحة، فإن طريقة "الأغلبية تقرر" المعتادة قد تختار الإجابة الخاطئة في الواقع.
اكتشف الباحثون، الذين يعملون في مجال الذكاء الاصطناعي والاستدلال السببي (وهي مجرد طريقة منمقة لقول "فهم السبب والنتيجة")، أن مشكلة "انقسام الأصوات" هذه تمثل صداعًا كبيرًا للذكاء الاصطناعي. لقد وجدوا أنه عندما يُطلب من الذكاء الاصطناعي إيجاد أي طريقة صالحة لحل مشكلة ما، فإن الإجابات الصحيحة غالبًا ما تتوزع عبر خيارات عديدة، بينما يمكن لإجابة خاطئة واحدة أن تصبح بالخطأ هي الأكثر شعبية.
ولحل هذه المشكلة، ابتكر الفريق أداة جديدة تسمى CALVER (التحقق من البديهيات السببية - Causal Axiom-Level VERification). فكر في CALVER كحكم صارم يتبع القواعد بدلاً من كونه مسابقة شعبية. فبدلاً من عدّ عدد المرات التي تظهر فيها إجابة ما، يقوم CALVER بفحص كل تخمين مقابل مجموعة من القواعد الصارمة للسبب والنتيجة. إنه يسأل: "هل هذه الإجابة منطقية حقًا وفقًا لقوانين الفيزياء والمنطق؟" إذا كانت الإجابة تتبع القواعد، فإنها تحصل على درجة عالية، حتى لو كانت الوحيدة من نوعها. أما إذا كانت الإجابة تكسر القواعد، فإنها تحصل على صفر، حتى لو كانت هي الأكثر شعبية.
تُظهر الورقة البحثية أن نهج "الحكم" هذا يعمل بشكل أفضل بكثير من مجرد عد الأصوات. في اختباراتهم، استطاع CALVER إيجاد الإجابة الصحيحة بنسبة 42.1% من الوقت، بينما نجحت طريقة "التصويت للأكثر شعبية" القديمة في الوصول للإجابة الصحيحة بنسبة 30% فقط. واتسعت هذه الفجوة بشكل أكبر عندما سمحوا للذكاء الاصطناعي بالمحاولة لمرات أكثر (تصل إلى 32 محاولة)، حيث تفوق CALVER بفارق هائل. كما أثبتوا أن هذا يعمل حتى عندما يتعين على الذكاء الاصطنال قراءة قصة غير منظمة لاستنتاج القواعد، وليس فقط عندما تُعطى القواعد بوضوح.
يؤكد المؤلفون بحذر شديد أن هذا ليس سحرًا؛ بل هو إصلاح محدد لمشكلة محددة. لقد أثبتوا رياضيًا أنه عندما توجد العديد من الإجابات الصالحة، فإن التصويت سيفشل غالبًا، وأظهروا من خلال التجارب أن فحص القواعد هو الذي ينجح. كما اختبروا ذلك على ألغاز منطقية لا علاقة لها بالنباتات أو الأسباب، ولا تزال فكرة "فحص القواعد" تعمل بنفس الطريقة. ومع ذلك، فقد أشاروا أيضًا إلى أنه إذا كانت المشكلة بسيطة ولها إجابة صحيحة واحدة فقط، فإن طريقة التصويت القديمة لا تزال جيدة. ولكن بالنسبة لتلك المواقف الصعبة حيث توجد طرق عديدة صحيحة لحل اللغز، فإن CALVER هو البطل الجديد الذي يمنع الذكاء الاصطناعي من الوقوع في فخ الشعبية.
ملخص تقني: عندما تكون العديد من الإجابات صحيحة، يفشل التصويت
بيان المشكلة تعتمد طرق تحسين الاستدلال في وقت الاستنتاج (Inference-time scaling) الحالية للنماذج اللغوية الكبيرة (LLMs)، مثل "الاتساق الذاتي" (Self-Consistency)، على افتراض أن الإجابة الأكثر تكراراً بين مسارات الاستدلال التي تم أخذ عينات منها هي الأكثر موثوقية. يفشل هذا النهج في مهام الاستدلال السببي حيث يمكن أن تكون هناك مخرجات متعددة ومتميزة وصحيحة تماماً (على سبيل المثال، مجموعات تعديل مختلفة تلبي معيار "بيرل" للخلفية - Pearl's backdoor criterion). في سيناريوهات "تعدد الحلول الصحيحة" هذه، تتوزع كتلة الاحتمال الصالحة عبر نصوص إجابات متعددة، بينما قد تهيمن إجابة واحدة غير صحيحة ببساطة لكونها الأكثر شيوعاً كخطأ. وبناءً على ذلك، قد يختار تصويت الأغلبية البسيطة (Exact plurality voting) إجابة غير صحيحة حتى عندما تحتوي أغلبية المسارات المأخوذة على استدلال صحيح، مما يؤدي إلى اختيارات غير متسقة وغير دقيقة.
المنهجية: CALVER قدم المؤلفون CALVER (التحقق من مستوى البديهيات السببية - Causal Axiom-Level VERification)، وهو مُتحقق رمزي (Symbolic verifier) لا يحتاج إلى تدريب، مصمم لاختيار أفضل مرشح من بين مجموعة من K من المسارات المأخوذة دون استشارة إجابة مرجعية.
عقد المسار (Trace Contract): يتطلب CALVER من النماذج إخراج الاستدلال في مخطط مكون من ست خانات محددة النوع: (1) الرسم البياني (Graph)، (2) الاستعلام (Query)، (3) الاستراتيجية (Strategy)، (4) سجل الاشتقاق (Derivation Record)، (5) النتيجة المحسوبة (Computed Result)، و(6) الإجابة (Answer).
التحقق الرمزي: بدلاً من تجميع ترددات الإجابات، يقوم CALVER بتقييم كل مسار بشكل حتمي مقابل مواصفات سببية قابلة للتنفيذ. يقوم المُتحقق بإجراء ست عمليات فحص:
تحليل الرسم البياني: يتحقق من بنية الرسم البياني (DAG أو ADMG).
صلاحية الاستراتيجية: يتحقق مما إذا كانت المجموعة المقترحة تستوفي المعايير الرسومية (مثل d-separation، أو m-separation، أو الوصول إلى التدخل - intervention reachability).
سجل الاشتقاق: يتحقق من بناء وصحة خطوات الاستدلال.
النتيجة المحسوبة: يعيد حساب الوظيفة بشكل مستقل (مثل متوسط تأثير المعالجة - ATE) لضمان الاتساق العددي.
اتساق الإجابة: يؤكد توافق الإجابة النهائية مع النتيجة المحسوبة.
قاعدة الاختيار: يختار المختار (Selector) المسار صاحب أعلى درجة (الدرجة القصوى المنشورة وهي 6). يتم كسر حالات التعادل باختيار المسار الأول.
الأوضاع: يعمل CALVER في وضعين:
الرسم البياني المزود (Supplied-Graph): يتم توفير الرسم البياني المصدر؛ وتُقيم المسارات بناءً عليه.
الرسم البياني المستخرج (Constructed-Graph): يجب على النموذج استخراج رسم بياني من النص؛ ويتم تقييم المسار مقابل الرسم البياني الذي أعاد بناؤه، بينما يتم استخدام الرسم البياني المصدر الخفي للتقييم النهائي.
المساهمات الرئيسية
الصياغة: يصيغ البحث عملية اختيار "أفضل من K" تحت تعدد الإجابات كعملية تجميع فوق فئة صلاحية قابلة للتقرير. ويطبق CALVER ذلك من خلال درجة مسار مكونة من ستة عناصر تعتمد على الرسم البياني لكل من DAGs وADMGs.
النظرية:
سلامة شهادة ATE الصارمة: يثبت المؤلفون أن المسار صاحب الدرجة القصوى الذي يستوفي ضوابط معينة (استبعاد المعالجة وهامش القرار) يضمن قراراً صحيحاً لعتبة متوسط تأثير المعالجة (ATE).
نظرية تفتت الصلاحية (Validity Fragmentation Theorem): يثبتون أن التصويت بالأغلبية البسيطة يمكن أن يصبح غير متسق عندما تتوزع كتلة الاحتمال الصالحة بين عدة إجابات صالحة، مما يسمح لإجابة غير صحيحة ذات كتلة فردية أعلى قليلاً بالفوز.
التجارب: تقييم واسع النطاق عبر عائلات نماذج متعددة (Qwen, Mistral)، وعائلات رسوم بيانية (CLEAR, bnlearn)، وإعدادات مختلفة (رسوم بيانية مزودة، بناء الرسم البياني من النص، وألغاز منطقية).
النتائج
التفوق على النماذج المرجعية: في اختبار CLEAR clean-core (126 مسألة ذات إجابات متعددة صالحة)، حقق CALVER دقة بنسبة 42.1%، متفوقاً بشكل ملحوظ على التصويت بالأغلبية البسيطة (~30.9%)، وعلى نموذج المتوسط المعتمد على المجموعة (set-aware medoid)، وثقة النموذج، ونموذج مكافأة متعلم (Skywork Reward V2)، وحكم لغوي كبير (LLM judge) (حتى عند رفع حجمه إلى 72 مليار معلمة).
التوسع مع K: تتسع الفجوة في الأداء بين CALVER والتصويت بالأغلبية مع زيادة ميزانية العينات (K). وبينما يستقر أداء التصويت بالأغلبية، يستمر CALVER في التحسن، ليصل إلى 57.9% عند K=32.
المتانة تجاه استعادة الرسم البياني: في إعدادات (النص-إلى-رسم بياني) حيث يكون استرداد الرسم البياني الدقيق منخفضاً (مثلاً 34% في المستويات السردية الطبيعية)، لا يزال CALVER يتفوق على التصويت بالأغلبية بنسبة 17.6 نقطة مئوية. وهذا يثبت أن التحقق من كل مرشح على حدة يمكن أن ينجح حتى عندما تكون بنية الرسم البيئي العالمية مستعادة بشكل غير كامل، طالما تم الحفاظ على العلاقات المحلية للاستعلام.
التعميم: تنتقل الطريقة إلى اختبارات مستقلة (bnlearn, CausalGraph2LLM)، وعائلات نماذج مختلفة، ومجالات غير سببية (ألغاز Knights and Knaves المنطقية) عند تكييف محدد الصلاحية (مثل اتساق جدول الحقيقة).
الكفاءة: يضيف التحقق الرمزي عبئاً ضئيلاً (~7% فوق تكلفة التوليد)، حيث يتم تقييم كل مسار في غضون 1-8 مللي ثانية على خيط معالجة واحد (CPU thread).
الأهمية والادعاءات يزعم البحث أن CALVER يوفر إشارة اختيار أقوى من التكرار السطحي أو نماذج التفضيل المتعلمة في الأنظمة التي توجد فيها إجابات متعددة صالحة. ويؤكد ما يلي:
فشل التصويت: التصويت بالأغلبية البسيطة معيب جوهرياً في الاستدلال السببي عندما تؤدي الإجابات الصالحة إلى تفتيت الأصوات.
الصلاحية القابلة للتنفيذ: التجميع بناءً على استيفاء فئة صلاحية محددة للمهمة (عبر التحقق الرمزي) هو أكثر موثوقية من التجميع بناءً على تكرار سلسلة الإجابة.
الارتباط بالنطاق: الطريقة أكثر فعالية في "النطاق المتوسط" حيث تكون العديد من الإجابات صالحة ولا يمكن الاعتماد على استخراج واحد. عندما تكون الإجابات فريدة تقريباً، يكفي التصويت القياسي؛ وعندما يكون استخراج (النص-إلى-رسم بياني) موثوقاً للغاية، فإن استخراج رسم بياني واحد وحله مباشرة يكون هو الأفضل.
الاستقلالية: تعتمد آلية الاختيار على محددات قابلة للتنفيذ (بديهيات سببية أو قواعد منطقية) بدلاً من الاستدلالات المتعلمة، مما يجعلها قوية عبر مختلف بنيات النماذج وأهداف التدريب.
يؤكد المؤلفون أن CALVER لا يدعي تحديد الحقيقة العلمية حول الرسوم البيانية السببية في العالم الحقيقي، بل يختار مسار الاستدلال الأكثر صلاحية من الناحية الشكلية بناءً على البنية المقدمة أو النص. وترتبط ميزة الطريقة ارتباطاً وثيقاً بالقدرة على تنفيذ فحص الصلاحية لمرشح الاستدلة.