💬 NLP

Logic-Regularized Verifier Elicits Reasoning from LLMs

تقدم الورقة البحثية LOVER، وهو مُحقِّق غير مُشرف يستفيد من القيود المنطقية على مسارات الاستدلال لاستخراج استدلال قوي من النماذج اللغوية الكبيرة الجاهزة دون الحاجة إلى بيانات مُشرفة مكلفة، محققاً أداءً يضاهي النماذج المرجعية المُشرفة.

المؤلفون الأصليون: Xinyu Wang, Changzhi Sun, Lian Cheng, Yuanbin Wu, Dell Zhang, Xiaoling Wang, Xuelong Li

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xinyu Wang, Changzhi Sun, Lian Cheng, Yuanbin Wu, Dell Zhang, Xiaoling Wang, Xuelong Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صديقاً ذكياً جداً ولكنه مغرور أحياناً (وهو الذكاء الاصطناعي) يحب حل الألغاز. عندما تسأله مسألة رياضية صعبة، فإنه لا يكتفي بإعطائك إجابة واحدة فقط؛ بل يكتب قصة كاملة حول كيفية وصوله إليها. أحياناً تكون هذه القصة عبقرية، وأحياناً أخرى يتوه في منطقه الخاص ويرتكب خطأً سخيفاً.

المشكلة هي: كيف تعرف أي القصص هي الصحيحة دون أن تراجع أنت مفتاح الإجابة بنفسك؟

عادةً، لتعليم الكمبيوتر كيفية التحقق من هذه القصص، نحتاج إلى توظيف خببراء بشريين لقراءة آلاف الإجابات وقول: "نعم، هذا صحيح" أو "لا، هذا خطأ". وهذا أمر مكلف وبطيء، وأحياناً يفكر هؤلاء الخبراء جميعاً بنفس الطופן، مما يؤدي لتجاهل الحلول الذكية أو غير التقليدية.

تقدم هذه الورقة البحثية أداة جديدة تسمى LOVER (المُحقّق المنضبط منطقياً) والتي تعمل بمثابة بوصلة داخلية ذاتية التحقق للذكاء الاصطناعي. هي لا تحتاج إلى معلم بشري؛ بل تُعلّم نفسها باستخدام القواعد المنطقية.

إليك كيف تعمل، باستخدام بعض الاستعارات البسيطة:

1. لعبة "ماذا لو؟" (التأكيدات التباينية)

بدلاً من مجرد النظر إلى قصة الذكاء الاصطناعي النهائية، تلعب LOVER لعبة "ماذا لو؟":

تأخذ قصة الذكاء الاصطناعي وتضيف إليها علامة تقول: "هذه إجابة صحيحة".
ثم تأخذ نفس القصة وتضيف إليها علامة تقول: "هذه إجابة خاطئة".

ثم تسأل عقل الذكاء الاصطناعي الداخلي (طبقاته الخفية): "هل تبدو هذه القصة حقيقية عندما أقول إنها حقيقية؟ وهل تبدو خاطئة عندما أقول إنها خاطئة؟" يساعد هذا الذكاء الاصطناعي على كشف ما "يعتقده" حقاً بشأن عمله.

2. قواعد اللعبة الثلاث (القيود المنطقية)

بما أنه لا يوجد معلمون بشريون لتصحيح العمل، تتبع LOVER ثلاث "قواعد منزلية" صارمة للحفاظ على أمانة الذكاء الاصطناعي:

القاعدة رقم 1: قاعدة التقلب (اتساق النفي)
إذا اعتقد الذكاء الاصطناعي أن قصة ما "صحيحة"، فيجب أن يعتقد أن نفس القصة تماماً عند تسميتها "خاطئة" هي "خاطئة". لا يمكن أن يكون كلاهما صحيحاً، ولا يمكن أن يكون كلاهما خاطئاً. يجب أن يكونا متضادين.
القاعدة رقم 2: قاعدة الفريق (الاتساق داخل المجموعة)
تخيل أن الذكاء الاصطناعي أنتج 10 قصص مختلفة، و3 منها انتهت جميعها بنفس الرقم النهائي (مثلاً: "42"). حتى لو كانت المسارات للوصول إلى هناك مختلفة، فإذا اتفقت جميعها على الإجابة النهائية، تفترض LOVER أنها جميعاً صحيحة (أو خاطئة) معاً. إنها تعاملهم كفريق واحد.
القاعدة رقم 3: قاعدة الفائز الواحد (الاتساق بين المجموعات)
إذا أنتج الذكاء الاصطناعي قصصاً تنتهي بـ "42"، و"100"، و"7"، فإن مجموعة واحدة فقط من هذه المجموعات يمكن أن تكون هي الإجابة الصحيحة. تجبر LOVER النظام على اختيار مجموعة فائزة واحدة فقط، مما يمنع الذكاء الاصطناعي من قول: "في الواقع، 42 و100 و7 كلها إجابات صحيحة لهذه المسألة الرياضية".

3. النتيجة: قاضٍ ذاتي التحسين

من خلال إجبار الذكاء الاصطناعي على اتباع هذه القواعد المنطقية أثناء نظره في أفكاره الداخلية، تصبح LOVER قاضياً ذاتي التصحيح.

لا حاجة للواجبات المنزلية: لا تحتاج إلى مجموعة بيانات من الإجابات التي صنفها البشر. إنها تستخدم البيانات "غير المصنفة" التي يولدها الذكاء الاصطناعي نفسه.
تعمل مع الجميع: تعمل مع أي نموذج ذكاء اصطناعي قياسي يمكنك تحميله اليوم.
أفضل من التخمين: في الاختبارات، كانت هذه الطريقة أفضل بكثير من مجرد اختيار الإجابة الأكثر شيوعاً (تصويت الأغلبية) أو النظر إلى أرقام الاحتمالات (CoT-Decoding). لقد كان أداؤها قريباً جداً مما لو تم تدريبها بواسطة خبراء بشريين، ولكن دون التكلفة.

الخلاصة

فكر في LOVER كأنها مرشح (فلتر) قائم على المنطق. إنها تأخذ أفكار الذكاء الاصطناعي الفوضوية والمتنوعة، وتمررها عبر مجموعة من "المناخل" المنطقية (القواعد الثلاث)، وتصفي الهراء، تاركة وراءها أكثر مسارات الاستدلال موثوقية. إنها تثبت أنك لست بحاجة إلى إنسان ليصحح كل اختبار إذا استطعت تعليم الطالب أن يصحح لنفسه باستخدام قوانين المنطق.

ملاحظة حول القيود: تذكر الورقة البحثية أن هذه الأداة تحتاج لرؤية "العقل الداخلي" للذكاء الاصطناعي (حالاته الخفية) لكي تعمل. وهذا يعني أنها تعمل بشكل رائع مع النماذج مفتوحة المصدر حيث يمكنك رؤية الكود، لكن لا يمكن استخدامها مع النماذج "الصندوق الأسود" التي لا يمكنك رؤية ما بداخلها (مثل بعض روبوتات الدردشة التجارية).

ملخص تقني: LOVER (المُحقِّق المنظم بالمنطق)

بيان المشكلة

تعد المُحقِّقات (Verifiers) ضرورية لتعزيز قدرات الاستدلال لدى النماذج اللغوية الكبيرة (LLMs) من خلال تحسين المعلمات (عبر التعلم التعزيزي) أو اختيار المخرجات المثلى (عبر توسيع نطاق الاستنتاج). ومع ذلك، تواجه المُحقِّقات الحالية مشكلتين رئيسيتين:

الاعتماد على البيانات: تتطلب المُحقِّقات الخاضعة للإشراف تقليديًا مجموعات بيانات مصنفة مكلفة وتتطلب موارد ضخمة. إن جمع التوصيفات عالية الجودة، لا سيية في المجالات المتخصصة أو التوصيفات على مستوى الخطوات، أمر مكلف ويستغرق وقتًا طويلاً.
التنوع والتعميم: قد يؤدي الاعتماد على توصيفات الخبراء إلى نقص في تنوع الحلول، حيث قد يفضل الموصِّفون أنماط استدلال مألوفة على أخرى صحيحة ولكنها أقل بديهية. علاوة على ذلك، فإن الأساليب غير الخاضعة للإشراف مثل CoT-Decoding حساسة لاختيار النموذج الأساسي، بينما تقتصر أساليب أخرى مثل CCS على أسئلة (نعم-لا) وتواجه صعوبة في التوسع لمهام الاستدلال العامة.

السؤال المركزي الذي يتم معالجته هو: هل من الممكن بناء مُحقِّقات فعالة دون عملية الإشراف، وذلك من خلال الاستفادة من المعرفة الجوهرية الموجودة بالفعل داخل النماذج اللغوية الكبيرة؟

المنهجية: LOVER

يقترح المؤلفون LOVER (المُحقِّق المنظم بالمنطق)، وهو مُحقِّق احتمالي غير خاضع للإشراف ومنظم بواسطة قواعد منطقية. يعامل LOVER مهمة التحقق كاستدلال لمتغير كامن ثنائي (قيمة الحقيقة) بناءً على التمثيلات الداخلية (activations) لنموذج لغوي كبير، دون تعديل أوزان النموذج أو طلب بيانات مصنفة.

المكونات الأساسية

التأكيدات التباينية (Contrastive Assertions):
بالنسبة لسؤال $q$ ومسار استدلال مُولد $s_i$ ، يتم تعزيز المدخلات بقوالب نصية لتشكيل تأكيدات تباينية:
- $x^+_i = q \oplus s_i \oplus \text{"هذه إجابة صحيحة."}$
- $x^-_i = q \oplus s_i \oplus \text{"هذه إجابة خاطئة."}$
  تهدف هذه العملية إلى استخراج "معتقدات" أو "معرفة" النموذج الداخلية فيما يتعلق بصحة مسار الاستدلال.
نموذج المُحقِّق الكامن (Latent Verifier Model):
المُحقِّق عبارة عن شبكة عصبية متعددة الطبقات (MLP) خفيفة الوزن تأخذ تمثيلات الحالة الخفية (hidden state representations) - وتحديدًا من الطبقات الوسطى - للتأكيدات كمدخلات. وتخرج احتمال $p_\theta(z|x)$ ، حيث يشير $z \in \{0, 1\}$ إلى صحة العبارة.
القيود المنطقية (التنظيم):
لجسر الفجوة بين القواعد المنطقية المنفصلة والشبكات العصبية المستمرة، يفرض LOVER ثلاثة قيود منطقية عبر أهداف احتمالية ناعمة:
- اتساق النفي (Negation Consistency): بالنسبة لزوج من التأكيدات التباينية ( $x^+_i, x^-_i$ )، يجب أن يكون مجموع احتمالات حقيقتهما 1 وأن يختلفا بشكل كبير (قانون الوسط المستبعد). هذا يمنع الحلول المتدهورة حيث يتم تخصيص نفس الاحتمال لكليهما.
- الاتساق داخل المجموعة (Intra-group Consistency): مسارات الاستدلال التي تندرج تحت نفس الإجابة النهائية يجب أن تشترك في احتمالات صحة متشابهة. هذا يفرض الاتساق بين الحلول التي تؤدي إلى نفس النتيجة.
- الاتساق بين المجموعات (Inter-group Consistency): من بين مجموعات متعددة من مسارات الاستدلال (كل مجموعة تقابل إجابة نهائية متميزة)، يجب أن يكون تأكيد "صحيح" واحد فقط من إحدى المجموعات هو الصالح. يتم فرض ذلك باستخدام قيد المجموع (sum constraint) وعنصر تنظيم الإنتروبيا (entropy regularization) لمنع توزيع الاحتمالات بشكل موحد عبر المجموعات.
التدريب والاستنتاج:
- التدريب: يتم تدريب النموذج من البداية إلى النهاية (end-to-end) عن طريق تقليل مجموع الدوال الثلاثة المستمدة من القيود المنطقية. لا تُستخدم أي تسميات (labels) من الحقيقة الأرضية (ground-truth).
- الاستنتاج: عند إعطاء سؤال ما، يتم توليد $N$ من الحلول المرشحة. لكل حل، يتنبأ المُحقِّق باحتمالية صحة التأكيد "الصحيح". يتم تجميع الحلول حسب إجاباتها النهائية، ويتم اختيار الإجابة النهائية للمجموعة ذات أعلى درجة تجميعية (باستاستخدام استراتيجيتي max أو sum).

المساهمات الرئيسية

إطار عمل مبدئي غير خاضع للإشراف: يوفر LOVER إطار عمل قابلاً للتوسع للتحقق من مسارات الاستدلال عبر الاستفادة من المعرفة الجوهرية للنماذج اللغوية الكبيرة المنظمة بالقواعد المنطقية، مما يلغي الحاجة إلى البيانات الخاضعة للإشراف.
الأهداف الاحتمالية الناعمة: يقدم البحث صياغات احتمالية ناعمة للقيود المنطقية المنفصلة، مما يسمح بالتدريب التفاضلي (differentiable) والمتصل من البداية إلى النهاية للمُحقِّق.
التوافق العام: الطريقة متوافقة مع أي نموذج لغوي كبير "صندوق أبيض" (white-box) جاهز، وقابلة للتطبيق على مهام الاستدلال العامة، وليست مقتصرة على أنواع محددة من الأسئلة مثل (نعم-لا).

النتائج التجريبية

أُجريت التجارب على 10 مجموعات بيانات، بما في ذلك الاستدلال الرياضي (GSM8K, iGSM)، والمعرفة مفتوحة المجال (HotpotQA, MMLU-Pro)، ومهام خارج النطاق (OOD) من BIG-Bench Hard.

الأداء مقابل النماذج المرجعية: يتفوق LOVER بشكل كبير على النماذج المرجعية غير الخاضعة للإشراف (Greedy, Majority Voting, CoT-Decoding).
- في المتوسط، يحقق LOVER (sum) أداءً يضاهي المُحقِّقات الخاضعة للإشراف، حيث يصل إلى حوالي 95% من مستوى أداء المُحقِّق الخاضع للإشراف.
- يحقق LOVER (sum) متوسط زيادة في الدقة المطلقة قدرها 3.3% على التصويت بالأغلبية (Majority Voting) و 2.9% على CoT-Decoding.
- يُظهر LOVER متانة عبر مقاييس النماذج المختلفة (من 0.5B إلى 32B بارامتر) واستراتيجيات فك التشفير المختلفة.
دراسات الاستئصال (Ablation Studies):
- القيود المنطقية: أدى حذف فقدان الاتساق بين المجموعات ( $L_{inter}$ ) إلى أكبر انخفاض في الأداء، مما يشير إلى دوره الحاسم في تمييز مجموعات الإجابات الصحيحة. كما كان اتساق النفي ( $L_{nega}$ ) حاسمًا لمنع إعطاء درجات متطابقة للتأكيدات الصحيحة والخاطئة.
- استراتيجية فك التشفير: يعمل LOVER بشكل أفضل مع فك تشفير CoT الطبيعي، وهو أقل حساسية لتغييرات استراتيجية فك التشفير مقار بـ CoT-Decoding، الذي يعتمد بشدة على تنسيقات مخرجات محددة.
- الحالات الخفية (Hidden States): استخدام الحالات الخفية من الطبقات الوسطى (مثل الطبقة 15 أو 20 في Mistral-7b) يعطي الأداء الأمثل.
التعميم خارج النطاق (OOD Generalization): يُظهر LOVER قدرة قوية على التعميم في مجموعات البيانات خارج النطاق (Boolean Expressions, Web of Lies, إلخ)، متفوقًا على Majority Voting و CoT-Decoding في جميع السيناريوهات المختبرة، مما يشير إلى أنه يتعلم أنماطًا مستقلة عن المجال لتقييم صحة التأكيدات.

الأهمية والادعاءات

يدعي البحث أن LOVER يمثل خطوة مهمة نحو بناء مُحقِّقات لا تعتمد على عملية الإشراف المكلفة. من خلال معاملة المُحقِّق كمتغير كامن ثنائي وفرض الاتساق المنطقي على مسارات استدلال متعددة، يستغل LOVER بفعالية "المعرفة الكامنة" داخل النماذج اللغوية الكبيرة.

يضع المؤلفون LOVER كـ مسبار غير خاضع للإشراف (unsupervised probe) موجه بالقواعد المنطقية، مما يوفر بديلًا عمليًا للمُحقِّقات الخاضعة للإشراف. إنه يعالج قيود الأساليب الحالية (التي إما تعتمد على القواعد التجريبية وحساسة لاختيار النموذج، أو تقتصر على أنواع معينة من الأسئلة) من خلال توفير حل مرن وقابل للتوسع لمهام الاستدلال العامة. يشير العمل إلى أن القيود المنطقية يمكن أن تعمل كعوامل سابقة (priors) فعالة لفتح قدرات الاستدلال للنماذج اللغوية الكبيرة دون الحاجة إلى توصيف بشري.

القيود الملحوظة: تتطلب الطريقة بطبيعتها الوصول إلى الحالات الخفية (hidden states) للنموذج اللغوي الكبير، مما يحد من تطبيقها على النماذج "الصندوق الأبيض" (white-box) ويمنع استخدامها المباشر في سيناريوهات "الصندوق الأسود" (black-box).