💬 NLP

Self-Consistency from Only Two Samples: CoT-PoT Ensembling for Efficient LLM Reasoning

تقدم هذه الورقة إطار عمل هجينًا لدمج "سلسلة الأفكار" (CoT) و"سلسلة البرامج" (PoT) يحسن دقة الاستدلال بشكل كبير مع تقليل التكلفة الحسابية لـ "الاتساق الذاتي" بمقدار 9.3 ضعفًا، مما يتيح حل 78.6% من المهام باستخدام عينتين فقط.

المؤلفون الأصليون: Raman Saparkhan, Majd Hawasly, Md Rizwan Parvez, Mohammad Raza

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Raman Saparkhan, Majd Hawasly, Md Rizwan Parvez, Mohammad Raza

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز رياضي صعب للغاية. تسأل مساعد ذكاء اصطناعي فائق الذكاء عن الإجابة.

أحياناً، يصيب الذكاء الاصطناعي في إجابته. وأحياناً أخرى، يرتبك ويرتكب خطأً رياضياً سخيفاً، أو يسيء فهم السؤال تماماً.

الطريقة القديمة: "اسأل نفس السؤال 40 مرة"

للتأكد من صحة إجابة الذكاء الاصطناعي، استخدم الباحثون تقنية تسمى "الاتساق الذاتي" (Self-Consistency). الأمر يشبه سؤال الذكاء الاصطناعي نفس السؤال 40 مرة متتالية.

إذا قال الذكاء الاصطناعي "12" عشرين مرة و"13" عشرين مرة، فإنك تختار "12" لأنها الإجابة الأكثر شيوعاً.
المشكلة: هذه الطريقة مكلفة وبطيئة. إنها تشبه توظيف 40 شخصاً مختلفاً لحل لغز واحد فقط لضمان السلامة. إنها تستغرق الكثير من الوقت والمال.

الفكرة الجديدة: "المحقق والمحاسب"

أدرك مؤلفو هذه الورقة البحثية أن سؤال الذكاء الاصطناعي نفس السؤال 40 مرة هو أمر غير فعال، لأن الذكاء الاصطناعي غالباً ما يعطيك 40 نسخة مختلفة قليلاً من نفس الخطأ. الأمر يشبه سؤال 40 شخصاً درسوا جميعاً في نفس المدرسة لحل لغز؛ قد يرتكبون جميعاً نفس الخطأ المنطقي تماماً.

بدلاً من ذلك، قرروا أن يطلبوا من الذكاء الاصطناعي حل المشكلة بطريقتين مختلفتين تماماً في نفس الوقت:

المحقق (سلسلة الأفك‏/CoT): هذا النمط يفكر باللغة الإنجليزية العادية. إنه يشرح المشكلة خطوة بخطوة كالبشر. "حسناً، إذا كان لدي 5 تفاحات وأعطيت منها 2، يتبقى لدي 3..."
- نقاط القوة: بارع في فهم القصة والمنطق.
- نقاط الضعف: سيئ في الرياضيات. قد يقول "5 ناقص 2 يساوي 4" لمجرد أنه يتحدث بسرعة.
المحاسب (برنامج الأفك‏/PoT): هذا النمط لا يتحدث؛ بل يكتب كوداً برمجياً. يحول المشكلة إلى برنامج حاسوبي. "اجعل التفاح = 5، اجعل المعطى = 2، احسب التفاح - المعطى."
- نقاط القوة: مثالي في الرياضيات. الحواسيب لا ترتكب أخطاء حسابية.
- نقاط الضعف: سيئ في فهم القصة. قد يكتب كوداً يحسب شيئاً خاطئاً لأنه أساء فهم السؤال.

الخدعة السحرية: "توقف عند العينة الثانية"

هذا هو الجزء العبقري في اكتشافهم: إذا اتفق المحقق والمحاسب على الإجابة، فهما بالتأكيد على صواب.

لماذا؟

المحقق يرتكب أخطاء منطقية لكنه يصيب في الحساب (عادةً).
المحاسب يرتكب أخطاء منطقية لكنه يصيب في الحساب (دائماً).
من النادر جداً أن يرتكب كلاهما نفس الخطأ وبنفس الطريقة.

لذا، بدلاً من السؤال 40 مرة، تعمل الطة الجديدة كالتالي:

اسأل المحقق مرة واحدة.
اسأل المحاسب مرة واحدة.
تحقق: هل أعطيا نفس الإجابة؟
- نعم؟ توقف! لديك إجابتك. لقد استخدمت عينتين فقط.
- لا؟ اسألهما مرة أخرى (ربما للمرة الثالثة) حتى يتفقا.

النتائج: فوز هائل

تظهر الورقة البحثية أن فريق "المحقق + المحاسب" هذا يغير قواعد اللعبة:

السرعة: لقد حلوا 78% من جميع المشكلات باستخدام عينتين فقط (واحدة من كل نمط). الطرق السابقة كانت تحتاج على الأقل 4 أو 5 عينات، والطريقة القديمة كانت تحتاج 40!
الدقة: لأن النمطين يغطيان نقاط ضعف بعضهما البعض، فإن الإجابة النهائية هي في الواقع أكثر دقة من الطريقة القديمة، رغم أنهما سألا عدداً أقل من الأسئلة.
التكلفة: لقد خفضوا تكلفة الحوسبة بمقدار 9.3 مرة. إنه مثل الحصول على نتيجة أفضل بسعر كوب قهوة واحد بدلاً من مأدبة كاملة.

تشبيه من الواقع

تخيل أنك تحاول تخمين وزن بطيخة.

الطريقة القديمة: تسأل 40 شخصاً ليخمنوا الوزن. إذا خمنوا جميعاً "10 أرطال" لأنهم رأوا بطيخة صغيرة سابقاً، فقد تكون مخطئاً.
الطريقة الجديدة: تسأل شخصاً واحداً ليخمن بالنظر (المحقق) وشخصاً واحداً ليخمن بوضعها على الميزان (المحاسب).
- إذا قال الشخص الذي ينظر "10 أرطال" وقال الميزان "10 أرطال"، يمكنك أن تكون متأكداً بنسبة 99% أنها تزن 10 أرطال. لست بحاجة لسؤال 38 شخصاً آخرين.

الملخص

تعلمنا هذه الورقة البحثية أن التنوع أفضل من الكمية. بدلاً من سؤال الذكاء الاصطناعي نفس السؤال 40 مرة، اسأله نوعين مختلفين من الأسئلة (المنطق مقابل الرياضيات). إذا اتفقا، يمكنك التوقف فوراً. هذا يوفر كميات هائلة من الوقت والمال مع الحصول فعلياً على إجابات أفضل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Self-Consistency from Only Two Samples: CoT–PoT Ensembling for Efficient LLM Reasoning".

1. بيان المشكلة

غالبًا ما تعاني النماذج اللغوية الكبيرة (LLMs) في تحقيق استدلال موثوق. تُعد "الاتساق الذاتي" (Self-Consistency - SC) تقنية شائعة لتحسين الدقة من خلال توليد مسارات استدلال متعددة (عينات) لمسألة واحدة واختيار الإجابة الأكثر تكرارًا (التصويت بالأغلبية). ومع ذلك، يعاني الاتساق الذاتي القياسي من اختناق حرج:

التكلفة الحسابية العالية: يتطلب الوصول إلى الدقة المثلى عادةً توليد عدد كبير من العينات (مثل 40 عينة)، مما يؤدي إلى تأخير كبير في الاستجابة (latency) وتكلفة عالية.
عدم كفاءة التنوع: تعتمد الطرق الحالية على أخذ عينات بدرجة حرارة (temperature) عالية لإحداث التنوع. وفي الممارسة العملية، غالبًا ما ينتج عن ذلك عينات ذات اختلافات تركيبية سطحية ولكنها تحمل مسارات استدلال دلالية متطابقة، مما يفشل في توفير إشارات إجماع قوية.
محدودية التوقف المبكر: لا تزال طرق التكيف مع الاتساق السابقة (التي تتوقف عن أخذ العينات مبكرًا إذا ظهرت أغلبية) تتطلب العديد من العينات (4-5 كحد أدنى) وغالبًا ما تعطي دقة أقل من أخذ العينات الكامل.

التحدي الجوهري هو تحسين كل من الدقة والكفاءة للاتساق الذاتي، بهدف تحديدًا حل مهام الاستدلال المعقدة بميزانية عينات منخفضة للغاية.

2. المنهجية

يقترح المؤلفون نهج "التجميع عبر الوسائط" (Cross-Modal Ensembling) الذي يجمع بين وسيطين متميزين للاستدلال: "سلسلة الأفكار" (Chain-of-Thought - CoT) و**"البرنامج الفكري" (Program-of-Thought - PoT)**.

المفهوم الجوهري: نقاط القوة المتكاملة

CoT: يولد استدلالات باللغة الطبيعية خطوة بخطوة. وهو مرن ولكنه عرضة لأخطاء الحساب والعمليات الرياضية.
PoT: يولد كودًا قابلًا للتنفيذ (Python) لحل المسألة. وهو قوي في الحساب ولكنه عرضة لأخطاء الصياغة الرمزية (مثل الخطأ في المنطق داخل بنية الكود).
الفرضية: إذا اتفقت حلاً من نوع CoT وحل من نوع PoT على الإجابة النهائية، فإن احتمالية الصحة تكون مرتفعة للغاية لأن الوسيطين يمتلكان أنماط خطأ منخفضة الارتباط. الاتفاق يعني التوافق بين التأطير المنطقي (CoT) والتنفيذ الحسابي (PoT).

مكونات الإطار العملي

أ. استراتيجيات أخذ العينات الكامل (Full Sampling Strategies)
بدلاً من أخذ 40 عينة من نوع CoT، يأخذ المؤلفون مزيجًا متساويًا من CoT وPoT (على سبيل المثال، 20 CoT + 20 PoT). ويقترحون ثلاث استراتيجيات للتجميع:

CPMaj (التصويت بالأغلبية): تصويت بسيط بالأغلبية عبر جميع إجابات CoT وPoT مجتمعة.
CPMax (الحد الأقصى للثقة): اختيار الإجابة الأكثر تكرارًا من الوسيط الذي يمتلك أعلى تكرار داخلي.
CPAgr (إعطاء الأولوية للاتفاق): إعطاء الأولوية للإجابات التي تظهر في كلا الوسيطين، مع استخدام التكرار الإجمالي لكسر التعادل.

ب. استراتيجيات التوقف المبكر (النموذج البايزي)
تقدم الورقة نموذج اختبار فرضية بايزي عام لتحديد متى يجب التوقف عن أخذ العينات.

الآلية: يقوم النموذج بالتناوب بين أخذ عينة واحدة من CoT وعينة واحدة من PoT. ويتتبع الاحتمال اللاحق (posterior probability) بأن الإجابة "آمنة" (إما صحيحة أو أن أخذ العينات الكامل سيكون خاطئًا أيضًا) بناءً على الاتفاق بين الوسيطين.
الملاحظة الرئيسية: تجريبيًا، فإن احتمال السلامة في حال وجود اتفاق عبر الوسائط ( $a_2$ ) مرتفع للغاية ( $\approx 0.99$ ).
الاستراتيجيات:
- المعتمدة على البيانات: تتعلم المعلمات ( $c, a_1, a_2$ ) من بيانات محجوزة لتحديد عتبات التوقف (مثل CPDAA: التوقف عند اتفاق أي زوج من CoT/PoT؛ أو CPDFA: التوقف عند اتفاق أول زوج).
- غير المعتمدة على البيانات (الاستدلالية): تفترض أن $a_2 = 1$ $a_{2} = 1$ (الاتفاق يعني السلامة).
  - CPAA: التوقف بمجرد اتفاق أي إجابة CoT وإجابة PoT.
  - CPFA: التوقف بمجرد اتفاق أول إجابة CoT وإجابة PoT.
  - CPFF: التوقف فقط إذا اتفقت إجابات (درجة الحرارة-0) الأولية لكل من CoT وPoT.
تكامل الاتساق التكيفي: يدمج الأسلوب أيضًا "الاتساق التكيفي" القياسي (التحقق من وجود أغلبية مهيمنة داخل وسيط واحد) كإشارة موازية للتعامل مع الحالات التي يهيمن فيها أحد الوسيطين.

3. المساهمات الرئيسية

نموذج تجميع مبتكر: أول من يجمع بين CoT وPoT ضمن إطار الاتساق الذاتي، مستفيدًا من أنماط الخطأ المتكاملة لتعزيز الدقة والكفاءة.
اختراق العينات الثنائية: يثبت أن 78.6% من المهام يمكن حلها باستخدام عينتين فقط (واحدة CoT + واحدة PoT) بناءً على الاتفاق عبر الوسائط. ويمثل هذا قفزة كبيرة، حيث كانت الطرق السابقة تتطلب 4-5 عينات كحد أديد.
مكاسب الكفاءة: يقلل عدد العينات المطلوبة للاتساق الذاتي بمقدار 9.3 ضعفًا مقارنة بأخذ العينات الكامل، ويتفوق على أفضل طرق التوقف المبكر السابقة (التي حققت تقليلًا قدره ~5.6 ضعفًا).
إطار بايزي عام: يصيغ الاتفاق عبر الوسائط كقاعدة توقف بايزية، مما يوفر استراتيجيات معتمدة على البيانات وأخرى غير معتمدة على البيانات قابلة للتكيف مع قدرات النماذج المختلفة.
التمهيد للنماذج الصغيرة (Bootstrapping): يوضح كيفية تحسين قدرات PoT في النماذج الأصغر (مثل Llama 3B) عن طريق تمهيد مسارات PoT من مخرجات CoT، مما يسمح بالتجميع عبر الوسائط حتى للنماذج ذات مهارات البرمجة الضعيفة.

4. النتائج التجريبية

قيم المؤلفون طريقتهم عبر 5 اختبارات معيارية (GSM8K, MATH, FinQA, SVAMP, TabMWP) و 5 نماذج لغوية كبيرة (GPT-3.5, GPT-4o, Mistral-Large, Qwen3-Coder, DeepSeek-R1).

الدقة:
- تفوق أخذ العينات الكامل لـ CoT-PoT على الاتساق الذاتي القياسي لـ CoT فقط وPoT فقط بمتوسط 1.1%.
- حققت أفضل طريقة للتوقف المبكر (CPAA) دقة أعلى من نماذج أخذ العينات الكامل مع استخدام عينات أقل بكثير.
- أظهر نموذج DeepSeek-R1 (وهو نموذج مكثف الاستدلال) أكبر استفادة من الاتساق عبر الوسائط.
الكفاءة:
- تقليل العينات: قللت طريقة CPAA متوسط عدد العينات من 40 إلى 4.3 (تقليل بمقدار 9.3 ضعفًا).
- نجاح العينات الثنائية: في المتوسط، تم حل 78.6% من المسائل باستخدام عينتين فقط. وبالنسبة لبعض الاختبارات والنماذج، تجاوزت هذه النسبة 90%.
- المقارنة: تطلبت طرق التوقف المبكر السابقة (ASC, ESC) ما لا يقل عن 4-5 عينات وحققت دقة أقل.
دراسات الاستئصال (Ablation Studies):
- ثبت أن الاتفاق عبر الوسائط (cross-modal agreement) هو إشارة توقف أقوى من الاتفاق داخل الوسيط نفسه (مثل اتفاق عينتين من نوع Co).
- كانت الطرق غير المعتمدة على البيانات (CPAA) فعالة للغاية، بينما قدمت الطرق المعتمدة على البيانات (CPDFA) متانة أفضل للنماذج الأضعف أو المجالات المحددة (مثل FinQA).

5. الأهمية والقيود

الأهمية:

استدلال منخفض التكلفة: تجعل هذه الطة الاستدال عالي الدقة ممكنًا في بيئات الإنتاج من خلال تقليل تكلفة الحوسبة (الرموز/نداءات الاستدلال) المطلوبة بشكل كبير.
القابلية للتوسع: تتيح استخدام الاتساق الذاتي مع النماذج الأكبر حيث يكون توليد 40 عينة أمرًا مكلفًا للغاية.
رؤية نظرية: تتحدى فكرة أن "المزيد من العينات" هي دائمًا الأفضل، وتوضح أن "الوسائط المتنوعة" أكثر قيمة من "العينات المتنوعة" لنفس الوسيط.

القيود:

قابلية تطبيق المهام: الطريقة أكثر فعالية للمهام القابلة للاستدلال البرمجي (الرياضيات، المنطق، البيانات المهيكلة). بالنسبة للأسئلة الذاتية أو طويلة الصيغة، قد تكون إشارة PoT ضعيفة.
الاعتماد على التمهيد (Bootstrapping): بالنسبة للنماذج الصغيرة جدًا التي تفتقر إلى قدرات PoT، تتطلب الطريقة مرحلة تمهيد (توليد PoT من CoT)، وهو ما قد لا يعمل إذا كان النموذج الأساسي ليس لديه أي تعرض سابق للكود.
الأخطاء المفاهيمية المشتركة: في حالات الفشل النادرة، قد يتفق كلا الوسيطين على إجابة خاطئة إذا كانا يشتركان في سوء فهم مفاهيمي أساسي للمسألة (مثل تفسير مرجع زمني بشكل خاطئ)، رغم أن هذا نادر مقارنة بالأخطاء العشوائية.

في الختام، تقدم هذه الورقة تحولًا جذريًا في استدلال النماذج اللغوية الكبيرة، حيث تثبت أن الاتساق عبر الوسائط بين اللغة الطبيعية والكود هو إشارة قوية وفعالة للاستدلال، مما يسمح بحلول عالية الدقة بأقل عدد من العينات.