💬 NLP

Finding the Cracks: Improving LLMs Reasoning with Paraphrastic Probing and Consistency Verification

تقترح الورقة إطار عمل "الاستقصاء عبر إعادة الصياغة والتحقق من الاتساق" (PPCV)، وهو منهج ذو مرحلتين يحدد رموز الاستدلال الحرجة من خلال الاستقصاء عبر إعادة الصياغة، ويعمل على تحسين أداء النماذج اللغوية الكبيرة عن طريق استبدال هذه الرموز والتحقق من الاتساق عبر مسارات الاستدلال المتوازية.

المؤلفون الأصليون: Weili Shi, Dongliang Guo, Lehan Yang, Tianlong Wang, Hanzhang Yuan, Sheng Li

نُشر 2026-02-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Weili Shi, Dongliang Guo, Lehan Yang, Tianlong Wang, Hanzhang Yuan, Sheng Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل مسألة رياضية صعبة، لكن عقلك (أو في هذه الحالة، ذكاء اصطناعي فائق الذكاء) يعلق عند كلمة واحدة محددة. بمجرد أن يخطئ في هذه الكلمة، تندفع بقية أفكاره نحو العبث، رغم أن بقية منطقه يبدو سليماً.

هذه الورقة البحثية، التي تحمل عنوان "إيجاد الشقوق" (Finding the Cracks)، تقدم طريقة جديدة لإصلاح هذه العقول الاصطناعية. يقترح المؤلفون، ويلي شي وزملاؤه، طريقة تسمى PPCV (الاستقصاء عبر إعادة الصياغة والتحقق من الاتساق).

إليك التفكيك البسيط باستخدام بعض التشبيهات الإبداعية:

1. المشكلة: "تأثير الدومينو" للكلمة الخاطئة

فكر في حل الذكاء الاصطناعي لمشكلة ما كأنه صف من قطع الدومينو.

الإعداد: يبدأ الذكاء الاصطناعي في إسقاط هذه القطع (توليد مسار استدلالي).
الخلل: أحياناً، يسقط قطعة دومينو تم طلاؤها بلون خاطئ (وهي "الرمز الحرج" أو الـ critical token).
النتيجة: لأن تلك القطعة الواحدة كانت خاطئة، فإن كل قطعة دومينو تليها ستسقط في الاتجاه الخاطئ. يبدأ الذكاء الاصطناعي في الهلوسة، والارتباك، وإعطاء إجابة خاطئة.
الطريقة القديمة: حاولت الطرق السابقة سؤال الذكاء الاصطناعي: "هل أنت متأكد؟" أو مجرد رمي النرد مرات عديدة على أمل أن تنجح تخمينة واحدة محظوظة. لكن الذكاء الاصطناعي غالباً ما يكون واثقاً جداً في أخطائه لدرجة تمنعه من اكتشافها.

2. الحل: "محقق إعادة الصياغة"

أدرك المؤلفون أنه إذا غيرت طريقة طرح السؤال، فإن عقل الذكاء الاصطناعي يتغير أحياناً. الأمر يشبه سؤال صديق: "كيف أصل إلى المكتبة؟" مقابل "ما هو أفضل طريق للمكتبة؟". قد يعطيك نفس الإجابة، ولكن إذا كان مرتبكاً، فقد يتعثر في كلمة مختلفة.

تعمل طريقة PPCV على مرحلتين:

المرحلة 1: إيجاد "الشق" (الاستقصاء عبر إعادة الصياغة)

تخيل أن لديك خريطة بها شق مخفي في الرصيف. لا يمكنك رؤية الشق من الأمام.

الحيلة: يأخذ الباحثون إجابة الذكاء الاصطناعي الأصلية ويغذون بها الذكاء الاصطناعي مرة أخرى، ولكن هذه المرة، يطرحون السؤال بطريقة مُعاد صياغتها (بمعنى آخر، مع الحفاظ على نفس المعنى).
الكشف: إذا كان الذكاء الاصطناعي واثقاً، فسيعطي نفس الكلمة التالية. ولكن إذا كان الذكاء الاصطناعي مرتبكاً بالفعل في نقطة معينة، فإن السؤال المُعاد صياغته سيجعله يتردد أو يختار كلمة مختلفة.
الاكتشاف: في اللحظة التي يغير فيها الذكاء الاصطناعي رأيه بسبب إعادة الصياغة، يعرف الباحثون: "آها! هذه الكلمة المحددة هي 'الشق' (الرمز الحرج). هذا هو المكان الذي انكسر فيه المنطق."

المرحلة 2: رتق الشق (التحقق من الاتساق)

الآن بعد أن وجدوا قطعة الدومينو المكسورة، عليهم إصلاحها.

الاستبدال: يأخذون تلك الكلمة المكسورة ويستبدلونها ببضع كلمات أخرى محتملة (مثل تجربة مفاتيح مختلفة في قفل).
الاختبار: يقومون بتشغيل مسار الاستدلال كاملاً مرة أخرى لكل كلمة جديدة، ولكن هذه المرة يختبرونها باستخدام كل من السؤال الأصلي والسؤال المُعاد صياغته.
الفائز: يبحثون عن الإجابة التي تظل كما هي (متسقة) بغض النظر عن كيفية صياغة السؤال.
- إذا تغيرت الإجابة بشكل كبير عند إعادة صياغة السؤال، فمن المحتمل أنها مجرد ضربة حظ (تخمين خاطئ).
- إذا ظلت الإجابة صلبة ومتسقة عبر الصياغات المختلفة، فهي الإجابة الحقيقية.

التشبيه: آلية "التحقق المزدوج"

فكر في هذا الأمر كأنه حارس أمن في متحف.

الطريقة القديمة: يسأل الحارس الزائر فقط: "هل سرقت اللوحة؟" إذا قال الزائر "لا"، يسمح له الحارس بالمرور. (الذكاء الاصطناعي يثق في فكرته الأولى).
طريقة PPCV: يسأل الحارس نفس السؤال بثلاث طرق مختلفة: "هل أخذت الفن؟" "هل اللوحة لا تزال هنا؟" "هل وضعت أي شيء في جيبك؟"
- إذا تلعثم الزائر أو أعطى إجابات مختلفة، فإن الحارس يعرف أن هناك خطباً ما (تم إيجاد "الشق").
- يقوم الحارس بعد ذلك بتجربة سيناريوهات مختلفة حتى يعطي الزائر قصة منطقية في جميع النسخ الثلاث. تلك القصة المتسقة هي الحقيقة.

لماذا هذا مهم؟

لا معلمين إضافيين: على عكس الطرق الأخرى التي تحتاج إلى إنسان أو ذكاء اصطناعي ثانٍ لتقييم العمل، تستخدم هذه الطريقة حساسية الذكاء الاصطناعي تجاه تغييرات اللغة للعثور على أخطائه الخاصة.
رياضيات ومنطق أفضل: تُظهر الورقة البحثية أنه من خلال إيجاد هذه "الشقوق" وإصلاحها، يصبح الذكاء الاصطناعي أفضل بكثير في المسائل الرياضية (مثل GSM8K) والألغاز المنطقية (مثل ARC).
الكفاءة: إنه لا يخمن بعشوائية؛ بل يزيل الخطأ جراحياً ويعيد بناء المسار.

باختصار: تعلمنا الورقة البحثية كيف نخدع الذكاء الاصطناعي ليكشف عن نقاط ضعفه من خلال طرح نفس السؤال بطرق مختلفة، ثم استخدام تلك المعلومات لرتق الثقب وإيجاد الإجابة الصحيحة. الأمر يشبه العثور على تسريب في قارب من خلال الاستماع إلى المكان الذي يبدو فيه صوت الماء مختلفاً، ثم سد ذلك الثقب المحدد.

إليك ملخص تقني مفصل لورقة البحث بعنوان "البحث عن الشقوق: تحسين استدلال النماذج اللغوية الكبيرة عبر الاستقصاء عبر إعادة الصياغة والتحقق من الاتساق" (PPCV).

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات استدلال مثيرة للإعجاب عبر تقنية "سلسلة الأفكار" (Chain-of-Thought - CoT). ومع ذلك، غالبًا ما يتدهور أداؤها في المهام المعقدة بسبب الهلوسة وتراكم الأخطاء في خطوات الاستدلال الوسيطة.

محدودية الطرق الحالية: تواجه طرق تحسين وقت الاستنتاج الحالية (مثل التصحيح الذاتي، ونماذج مكافأة العمليات) صعوبات لأن النماذج اللغوية الكبيرة غالبًا ما تفشل في تحديد أخطائها بموثوقية دون توجيه خارجي، كما أن الحصول على إشراف عالي الجودة لكل خطوة تدريبية للمحققات الخارجية أمر صعب ومكلف.
مفهوم الرمز الحرج (Critical Token): تشير الأبحاث الحديثة إلى أن رموزًا محددة في مسار الاستدلال، تُسمى الرموز الحرجة، تمارس تأثيرًا غير متناسب على الخطوات اللاحقة. إذا كان الرمز الحرج غير صحيح، فإنه غالبًا ما يؤدي إلى تدهور مستمر في جودة الاستدلال. ومع ذلك، يظل تحديد هذه الرموز بشكل موثوق دون نماذج خارجية تحديًا قائمًا.

2. المنهجية: إطار عمل PPCV

يقترح المؤلفون إطار عمل الاستقصاء عبر إعادة الصياغة والتحقق من الاتساق (PPCV)، وهو إطار مكون من مرحلتين مصمم لتحديد وتصحيح الرموز الحرجة باستخدام حساسية النموذج الخاصة تجاه اضطرابات الشكل السطحي (إعادة الصياغة).

المرحلة الأولى: الاستقصاء عبر إعادة الصياغة (التحديد)

الهدف هو تحديد الرمز المحدد الذي ينحرف فيه مسار الاستدلال عن الصحة.

إعادة الصياغة: يتم تحويل السؤال الأصلي ( $q_0$ ) إلى $N$ من المتغيرات المعاد صياغتها ( $q_1, ..., q_N$ ) باستخدام هندسة المطالبات التلقائية (APE) للحفاظ على السلامة الدلالية مع تغيير البنية اللغوية.
الدمج وتحليل اللوجيت (Logit Analysis): يقوم النموذج بتوليد مسار استدلال أولي ( $r_{q_0}^0$ ) للسؤال الأصلي. ثم يتم دمج هذا المسار مع كل سؤال معاد صياغته ( $q_n$ ).
كشف عدم التطابق: يحسب النموذج لوجيتات (logits) على مستوى الرمز للمدخلات المعاد صياغتها. يتم وضع علامة على المواضع التي يختلف فيها الرمز المتوقع الأعلى احتمالية ( $\arg\max P$ $ar g max P$ ) عن الرمز المتوقع في المسار الأصلي كـ رموز حرجة مرشحة.
- المنطق: إذا كان الرمز حرجًا، فإن ثقة النموذج أو تنبؤه يجب أن يكون غير مستقر عندما يتغير السياق (السؤال) قليلًا.
التحقق: يقوم محقق استدلالي (Heuristic Verifier) بحساب درجة ( $\Delta$ ) تمثل الانحراف بين الرمز الأعلى احتمالية المتوقع والرمز المتوقع عبر جميع عمليات إعادة الصياغة. يتم اختيار الرمز الذي يسجل أقصى درجة انحراف كـ الرمز الحرج النهائي ( $a_c$ ).

المرحلة الثانية: التحقق من الاتساق (التصحيح والاختيار)

بمج once تحديد الرمز الحرج، يقوم إطار العمل بتنقيح مسار الاستدلال.

استبدال الرمز: يتم استبدال الرمز الحرج بمجموعة من $K$ من البدائل المرشحة (بما في ذلك الرمز الأصلي و $K-1$ من الرموز التي تم أخذ عينات منها عبر أخذ العينات الأعلى $K$ - top- $K$ sampling).
التشغيل المتوازي (Parallel Rollouts): يتم توليد مسارات استدلال جديدة لكل من السؤال الأصلي وجميع الأسئلة المعاد صياغتها، بدءًا من كل رمز بديل.
آلية اتساق إعادة الصياغة: بدلاً من التصويت بالأغلبية البسيطة، يختار إطار العمل الإجابة النهائية بناءً على الاتساق عبر إعادة الصياغة.
- الفرضية: مسارات الاستدلال الصحيحة تكون قوية تجاه اضطرابات إعادة الصياغة، بينما المسارات غير الصحيحة لا تكون كذلك.
- المقياس: يتم حساب درجة الاتساق من خلال عد كم عدد المتغيرات المعاد صياغتها التي تؤدي إلى نفس الإجابة النهائية كالأصل.
الاتساق الموزون بالتشابه: للتعامل مع حالات التعادل وتحسين المتانة، يقدم الأسلوب درجة موزونة بالتشابه. يتم إعطاء أوزان أعلى لعمليات إعادة الصياغة التي تكون أقل تشابهًا مع الأصل (مما يوفر دليلًا أقوى على المتانة) في عملية التصويت.

3. المساهمات الرئيسية

إطار عمل مبتكر (PPCV): نهج متكامل من مرحلتين يستخرج ويستفيد من الرموز الحرجة دون الحاجة إلى محققات خارجية أو تسميات خطأ بشرية.
الاستقصاء عبر إعادة الصياغة: آلية تحول إعادة الصياغة من مجرد أداة توليد إلى أداة تشخيصية. فهي تستخدم التباينات في الشكل السطحي لتحديد الرموز التي يكون فيها استدلال النموذج هشًا.
اتساق إعادة الصياغة: آلية اختيار متفوقة على "الاتساق الذاتي" (Self-Consistency) التقليدي (التصويت بالأغلبية). فهي تتحقق من الإجابات بناءً على متانتها عبر التباينات الدلالية، باستخدام مقياس موزون بالتشابه لإعطاء الأولوية للأدلة المتنوعة.
التحقق التجريبي: أثبت استبدال الرموز الحرجة التي تم تحديدها بهذه الطريقة تحقيق دقة أعلى بكثير من استبدال الرموز العشوائي أو طرق أخذ العينات القياسية.

4. النتائج التجريبية

قيم المؤلفون إطار PPCV على نماذج لغوية كبيرة رئيسية (Llama-3.1-8B, Mistral-7B, Qwen3-32B, DeepSeek-R1-Distill-Llama-70B) عبر اختبارات متنوعة.

الاختبارات (Benchmarks): GSM8K, GSM-Hard, Math500, SVAMP, ARC-Challenge, وبيانات مستوى المسابقات (AIME2024/2025, BRUMO2025, HMMT2025).
مكاسب الأداء:
- Llama-3.1-8B: حقق PPCV نسبة 88.24% في GSM8K (مقابل 80.60% لـ Self-Consistency) و 49.73% في GSM-Hard.
- Math500: حقق دقة بنسبة 50.00%، متفوقًا بشكل كبير على النماذج المرجعية مثل Predictive Decoding (34.00%) و Phi-Decoding (38.20%).
- مستوى المسابقات: في AIME2024، وصل PPCV إلى 40.00% على Qwen3-32B، متجاوزًا جميع النماذج المرجعية.
دراسات الاستئصال (Ablation Studies):
- أدى استبدال الرموز الحرجة بـ رموز عشوائية إلى انخفاض كبير في الأداء، مما يؤكد فعالية طريقة التحديد.
- أدى استخدام التصويت بالأغلبية عبر إعادة الصياغة (بدون تصحيح الرمز الحرج) إلى أداء أسوأ بكثير من PPCV الكامل، مما يثبت أن خطوة التصحيح ضرورية.
الكفاءة: رغم أن PPCV يتسبب في زمن انتقال (latency) أعلى من CoT التقليدي (بسبب عمليات التشغيل المتعددة)، إلا أنه يضاهي طرق فك التشفيد المتقدمة الأخرى (مثل Predictive Decoding) ويستفيد من المعالجة المتوازية للتشغيلات المستقلة.

5. الأهمية

التصحيح الذاتي بدون إشراف: يعالج PPCV مشكلة "الدجاجة والبيضة" في التصحيح الذاتي عبر استخدام حساسية النموذج لإعادة الصياغة للعثور على الأخطاء، مما يلغي الحاجة إلى نماذج مكافأة عمليات (PRMs) خارجية أو بيانات خطأ موسومة بشريًا.
الدقة التشخيصية: ينقل النموذج من "أخذ عينات لمسارات عديدة" إلى "تشخيص وإصلاح نقطة الفشل المحددة"، مما يوفر مسارًا أكثر كفاءة للوص matter إلى دقة أعلى من أخذ العينات العشوائي.
المتانة: يوضح الأسلوب أن متانة الاستدلال تجاه تغيرات الشكل السطحي هي مؤشر قوي على الصحة، مما يوفر زاوية نظر نظرية جديدة لتحسين استدلال النماذج اللغوية الكبيرة.
القابلية للتعميم: إطار العمل مستقل عن النموذج وفعال عبر أحجام مختلفة من النماذج ومجالات استدلال متنوعة (الرياضيات، المنطق، العلوم).

في الختام، يقدم PPCV حلاً قويًا ومكتفيًا ذاتيًا لتحسين استدلال النماذج اللغوية الكبيرة من خلال تحديد "الشقوق" (الرموز الحرجة) في سلسلة الاستدلال عبر الاستقصاء عبر إعادة الصياغة وإصلاحها عبر التحقق من الاتساق.