🤖 AI

When Self-Consistency Backfires: Majority Vote Hurts the Majority of Hard Science Problems for Small LLMs

تُظهر هذه الورقة أنه بالنسبة للنماذج اللغوية الكبيرة الصغيرة المضبوطة بالتعليمات في المسائل العلمية الصعبة، فإن الاتساق الذاتي عبر التصويت بالأغلبية غالباً ما يقلل من الدقة مقارنة بالاستدلال أحادي العينة لأن الاتفاق العالي بين الإجابات المولدة لا يرتبط بشكل موثوق بالصحة.

المؤلفون الأصليون: Utkarsh Bahuguna

نُشر 2026-08-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Utkarsh Bahuguna

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز صعب للغاية. تسأل صديقك عن الإجابة، لكنه يبدو غير متأكد. لذا، تسأله نفس اللغز عشر مرات. إذا أعطاك نفس الإجابة ثماني مرات، فمن المحتمل أن تفكر: "حسناً، لا بد أنه على حق!". هذا يشبه إلى حد كبير كيف تحاول "الأدمغة الحاسوبية" الحديثة، التي تسمى النماذج اللغوية الكبيرة (LLMs)، أن تصبح أكثر ذكاءً. فبدلاً من مجرد التخمين مرة واحدة، غالباً ما يُطلب منها "التفكير" في مشكلة ما عدة مرات، وتوليد سلاسل مختلفة من الأفكط، ثم اختيار الإجابة التي تظهر بشكل متكرر. تُسمى هذه التقنية "الاتساق الذاتي" (Self-Consistency). إنها تشبه طلب التصويت من حشد؛ الفكرة هي أن "تصويت الأغلبية" سيكون دائماً تقريباً هو الصحيح.

لماذا يهم هذا؟ لأن هذه الأدمغة الحاسوبية بدأت تُستخدم لحل مشكلات علمية صعبة، من البيولوجيا إلى الفيزياء. وإذا نجحت حيلة "تصويت الحشد" هذه، فيمكننا ببساطة ترك الحاسوب يفكر لفترة أطول وبجهد أكبر للحصول على نتائج أفضل. ولكن ماذا لو كان الحشد مخطئاً في الواقع؟ ماذا لو كان الحاسوب واثقاً جداً من إجابة خاطئة لدرجة أن سؤاله مرات أكثر يجعل الأمر يجعله يتمسك برأيه أكثر؟ هذا هو السؤال المخيف الذي يطرحه هذا البحث. أراد الباحثون معرفة: في أصعب الأسئلة العلمية، هل يساعد فعلياً جعل الحاسوب يصوت على إجاباته الخاصة، أم أنه يجعل الأمور تسوء بالخطأ؟

الارتداد العكسي للتصويت العظيم

في هذه الدراسة، اختبر الباحثون اثنين من الأدمغة الحاسوبية الصغيرة الشهيرة (أحدهما يسمى Qwen2.5-7B والآخر Llama-3-8B) في اختبار صعب للغاية يسمى GPQA Diamond. يحتوي هذا الاختبار على 198 سؤالاً من مستوى الدراسات العليا في البيولوجيا والكيمياء والفيزياء. إنه النوع من الأسئلة الذي قد يجعل طالب السنة الأخيرة في الجامعة يتصبب عرقاً.

استخدم الفريق طريقة ذكية ومخطط لها مسبقاً لمعرفة ما يحدث عندما يتركون هذه النماذج "تصوت" على إجاباتها الخاصة. طلبوا من النماذج توليد ما يصل إلى 64 محاولة مختلفة لحل كل مشكلة، ثم أخذوا الإجابة الأكثر شيوعاً (تصويت الأغلبية).

إليك المفاجأة: لقد ارتد تصويت الأغلبية عكسياً.

بدلاً من أن تصبح أكثر ذكاءً، أصبحت الأدمغة الحاسوبية في الواقع أسوأ في معظم المشكلات.

بالنسبة لنموذج Qwen، أثرت طريقة التصويت سلباً على دقة 56.6% من المشكلات.
بالنسبة لنموذج Llama، أثرت سلباً على 65.7% من المشكلات.

فكر في الأمر بهذه الطريقة: تخيل طالباً يجري اختباراً صعباً في الرياضيات. هو غير متأكد من سؤال ما، فيسأل نفسه: "ما هي الإجابة؟" عشر مرات. إذا صادف أنه ارتكب نفس الخطأ في ذهنه ثماني مرات، فإن "تصويت الأغلبية" يخبره بأن يختار تلك الإجابة الخاطعة بثقة عالية. كلما سأل نفسه أكثر، زاد اقتناعه بالإجابة الخاطئة. يطلق البحث على هذا اسم "الارتداد العكسي" (Backfire). اتضح أنه في هذه الأسئلة العلمية الصعبة، تكون ثقة الحاسوب كاذبة.

حلم "العراف" مقابل الواقع

ثم طرح الباحثون سؤالاً عملياً: "هل يمكننا بناء مرشح (فلتر) ذكي ورخيص يخبرنا متى نصوت ومتى نكتفي بالتخمين مرة واحدة فقط؟"

تخيلوا وجود "عراف" (Oracle) مثالي (مرشد سحري يعرف الإجابة الصحيحة). إذا استطاع هذا العراف النظر إلى كل مشكلة وقول: "بالنسبة لهذه، صوتوا 64 مرة"، أو "بالنسبة لتلك، خمنوا مرة واحدة فقط"، لكانت النماذج قد حسنت درجاتها بنسبة 14 إلى 17 نقطة مئوية. هذه قفزة هائلة!

لكن الباحثين اختبروا إشارتين حقيقيتين من العالم الواقعي، وهما "خاليتان من التحقق" (verifier-free)، لمعرفة ما إذا كانتا تعملان كبديل رخيص لهذا العراف السحري:

بوابة الاتفاق (The Agreement Gate): "إذا اتفقت الإجابات مع بعضها البعض بما يكفي، ثق في التصويت".
بوابة الإنتروبيا (The Entropy Gate): "إذا بدا الحاسوب 'غير متأكد' (إنتروبيا عالية)، فلا تصوت؛ وإذا بدا 'متأكداً' (إنتروبيا منخفضة)، صوت".

النتيجة؟ فشلت البوابتان.
لم تستطع أي من الطريقتين الاقتراب من إمكانات العراف السحري. في الواقع، لم يؤدِ استخدام هذه البوابات إلى تحسين النتيجة على الإطلاق مقارنة بمجرد التصويت عشوائياً 64 مرة. كانت "بوابة الاتفاق" عديمة الفائدة لدرجة أنها لم تحرك المؤشر إلا بنسبة ضئيلة جداً (أقل من 0.002 فرق). كما كانت "بوابة الإنتروبيا" طريقاً مسدوداً أيضاً.

لماذا حدث ذلك؟

يوضح البحث أن المشكلة بسيطة ولكنها محبطة: الثقة لا تساوي الصحة.

في هذه المشكلات العلمية الصعبة، غالباً ما يعلق الحاسوب في إجابة خاطئة. عندما يولد 64 إجابة، قد يولد تلك الإجابة الخاطئة نفسها 50 مرة. "تصويت الأغلبية" يرى 50 صوتاً للإجابة الخاطئة ويقول: "لا بد أن هذا صحيح!". الحاسوب واثق من خطئه.

نظر الباحثون في البيانات ووجدوا شيئاً غريباً بخصوص نموذج Llama: المشكلات التي اتفقت الإجابات فيها أكثر ما يمكن كانت هي الأقل دقة. كلما اتفق الحاسوب مع نفسه أكثر، زاد احتمال كونه مخطئاً. الأمر يشبه مجموعة من الأصدقاء يتفقون جميعاً على حبكة فيلم سيئة؛ كلما زاد اتفاقهم، عرفت أن الحبكة سخيفة.

ماذا يعني هذا؟

خلص البحث إلى أنه بالنسبة لهذه المشكلات العلمية الصعبة تحديداً، لا يمكنك ببساهم افتراض أن "التفكير أكثر" أو "التصويت" سيساعد.

الأخبار السيئة: إذا اعتمدت على اتفاق الحاسوب الخاص لتقرر ما إذا كان على حق، فقد تتعرض للخداع. "الأغلبية" غالباً ما تكون مخطئة.
الأخبار الجيدة: نحن نعرف بالضبط لماذا يفشل الأمر (الثقة لا تتبع الصحة)، ونعرف أن الحيل البسيطة مثل التحقق من الاتفاق أو عدم اليقين لن تصلح الأمر.
السؤال المفتوح: لم يختبر الباحثون أحدث النماذج "المصممة أصلاً للاستنتاج" (النماذج فائقة الذكاء المصممة خصيصاً للمنطق). لقد تركوا ذلك لغزاً للمستقبل. ربما لن ترتد هذه النماذج الجديدة عكسياً؟ نحن لا نعرف بعد.

باخت-اختصار، في أصعب الأسئلة العلمية، غالباً ما يؤدي طلب التصويت من الحاسوب على إجاباته الخاصة إلى تثبيت أخطائه. وللحصول على الفوائد الحقيقية، قد نحتاج إلى طريقة أذكى للتحقق من العمل، وليس مجرد تصويت أعلى صوتاً.

ملخص تقني: عندما تأتي "الاتساق الذاتي" بنتائج عكسية

بيان المشكلة

يُعد "الاتساق الذاتي" (Self-consistency - SC)، وهو تقنية تعتمد على أخذ عينات متعددة من سلاسل التفكير واختيار الإجابة الأكثر شيوعاً عبر التصويت بالأغلبية، وسيلة يُفترض على نطاق واسع أنها منخفضة المخاطر لتحسين قدرات الاستنتاج في النماذج اللغوية الكبيرة (LLMs). وتذهب الفرضية السائدة إلى أن زيادة عدد العينات ( $N$ ) والتصويت سيؤدي إلى نتائج أفضل على الأقل من العينة الواحدة ( $N=1$ ).

تتحدى هذه الورقة هذا الافتراض في مهام الاستنتاج العلمي الصعبة. فهي تبحث فيما إذا كان التصويت بالأغلبية يمكن أن "يأتي بنتائج عكسية" (backfire)—وهو ما يُعرف بحالة ينخفض فيها مع $N$ دقة المسألة الواحدة ( $mv\_gain = MV\_acc(64) - MV\_acc(1) < 0$ ). ويفترض المؤلف أنه في المسائل الصعبة، إذا تركز توزيع العينات الخاص بالنموذج على إجابة خاطئة، فإن العينات الإضافية ستعمل فقط على ترسيخ الخطأ بدلاً من تصحيحه. علاوة على ذلك، تتساءل الورقة عما إذا كانت الإشارات الرخيصة التي لا تتطلب مُحقِّقًا (verifier-free signals) (مثل مستويات الاتفاق أو إنتروبيا الرموز/الـ tokens) يمكنها تحديد المسائل التي يجب التصويت عليها والتي يجب تخطيها لتجنب هذه النتائج العكسية.

المنهجية

تستخدم الدراسة تصميماً تجريبياً تأكيدياً مسجلاً مسبقاً باستخدام معيار GPQA Diamond، والذي يتكون من 198 سؤالاً من أسئلة الاختيار من متعدد بمستوى الدراسات العليا في الكيمياء والفيزياء والأحياء.

النماذج: تم تقييم نموذجين صغيرين من النماذج الموجهة بالتعليمات وغير المخصصة للاستنتاج: Qwen2.5-7B-Instruct و Meta-Llama-3-8B-Instruct.
بروتوكول أخذ العينات: لكل مسألة، تم توليد $N=64$ من سلاسل التفكير عند درجة حرارة (temperature) تبلغ 0.7.
التقسيم التجريبي: تم تقسيم مجموعة البيانات إلى 47 مسألة استكشافية (استُخدمت لتوليد الفرضيات) و151 مسألة تأكيدية. وقد تم تثبيت جميع الفرضيات والعتبات (thresholds) ووسمها بـ git-tag قبل التحليل التأكيدي.
المقاييس:
- $MV\_acc(N)$ : دقة التصويت بالأغلبية المتوقعة عبر $N$ من العينات، والتي تم تقديرها عبر أخذ عينات مونت كارلو الفرعية.
- النتيجة العكسية (Backfire): تُعرف بأنها $MV\_acc(64) < MV\_acc(1)$ .
- بوابات التوجيه (Routing Gates): تم اختبار إشارتين من دون مُحقِّق (verifier-free) لتوجيه المسائل إلى $N$ $N$ الأمثل:
  1. بوابة اتفاق الأغلبية (Plurality Agreement Gate): تعيد إجابة الاختبار إذا تجاوز كسر الاتفاق عبر $k$ من العينات عتبة معينة $\tau$ ؛ وإلا، تعود إلى $N=64$ .
  2. بوابة إنتروبيا الرموز (Token Entropy Gate): تعيد إجابة الاختبار إذا كان متوسط إنتروبيا الرمز لكل رمز عبر $k$ من العينات أقل من عتبة معينة؛ وإلا، تعود إلى $N=64$ .
الحدود المثالية (Oracle Bounds): تم إنشاء "أوراكل شبكي" (grid oracle) لوضع حد نظري أقصى. يقوم هذا الأوراكل بتوجيه كل مسألة إلى قيمة $N$ محددة $\in \{1, 2, 4, 8, 16, 32, 64\}$ التي تزيد الدقة باستخدام الحقيقة الأرضية (ground truth).

النتائج الرئيسية

1. انتشار النتائج العكسية

يقلل التصويت بالأغلبية من الدقة في غالبية المسائل الفردية لكلا النموذجين، رغم أن المقاييس الإجمالية تبدو مستقرة أو إيجابية قليلاً.

Qwen2.5-7B: تحدث النتيجة العكسية في 56.6% من الـ 198 مسألة.
Llama-3-8B: تحدث النتيجة العكسية في 65.7% من المسائل.
التوزيع حسب المجال: أظهرت الكيمياء أعلى معدلات النتائج العكسية (66.7% لـ Qwen، و68.8% لـ Llama)، تليها الفيزياء والأحياء.
الإجمالي مقابل الفردي: بينما شهدت الدقة الإجمالية زيادة طفيفة (على سبيل المثال، ارتفعت Qwen من 0.342 إلى 0.369)، إلا أن هذا يخفي تدهوراً واسع النطاق على مستوى المسألة الواحدة. فقد فقدت أسوأ المسائل الفردية حوالي 47 نقطة من الدقة، بينما ربحت بعض المسائل الأخرى بشكل كبير، مما خلق متوسطاً مضللاً.

2. فشل البوابات التي لا تتطلب مُحقِّقًا

اختبرت الدراسة ما إذا كانت الإشارات الرخية يمكنها استعادة "المساحة المتاحة" (headroom) بين التصويت بميزانية ثابتة ( $N=64$ ) والحد الأقصى للأوراكل.

إمكانات الأوراكل: يمكن للأوراكل الشبكي تحسين الدقة بمقدار 14 نقطة (Qwen) و17 نقطة (Llama) فوق $N=1$ .
أداء البوابات: لم تؤدِ لا بوابة الاتفاق ولا بوابة الإنتروبيا إلى تحسين الدقة بشكل ملحوظ مقارنة بأساس $N=64$ $N = 64$ .
- استوعبت بوابة الاتفاق 0.8% فقط من المساحة المتاحة لـ Qwen و -1.6% لـ Llama (نسبة إلى $N=64$ ).
- فشلت بوابة الإنتروبيا أيضاً في استعادة أي مساحة كبيرة.
الاستنتاج: لا توفر هذه البوابات آلية للتمييز بين المسائل التي يساعد فيها التصويت وتلك التي يضر بها.

3. الآلية: الثقة لا تتبع الصحة

تحدد الورقة السبب الجذري للفشل: عدم المعايرة (miscalibration).

الاتفاق $\neq$ الصحة: حتى في أعلى فئات الاتفاق (حيث يكون النموذج أكثر ثقة)، تكون الإجابة الأكثر شيوعاً صحيحة بنسبة ~52.5% فقط لـ Qwen و 28.6% لـ Llama.
عدم الرتابة (Non-Monotonicity): بالنسبة لـ Llama، كانت الدقة في أعلى فئة اتفاق أقل فعلياً من الفئة ذات أقل اتفاق. الاتساق الذاتي العالي لا يرتبط بالضرورة بدقة عالية في هذه المسائل الصعبة.
فشل الإشارة: نظرًا لأن الثقة (الاتفاق أو الإنتروبيا المنخفضة) لا تتبع الصحة، فإن البوابات التي تعتمد على هذه الإشارات لا يمكنها توجيه العمليات الحسابية بفعالية.

الأهمية والادعاءات

تقدم الورقة الادعاءات المحددة التالية فيما يتعلق بمساهمتها:

تحديد كمي للنتائج العكسية: تقدم أول توثيق مسجل مسبقاً ومكرر يوضح أن الاتساق الذاتي يأتي بنتائج عكسية في غالبية المسائل في معيار علمي صعب بمستوى الدراسات العليا عبر عائلتين من النماذج.
فشل الاستدلالات الرخيصة: تثبت أن إشارتين طبيعيتين لا تتطلبان مُحقِّقًا (اتفاق الأغلبية وإنتروبيا الرموز) غير كافيتين لمنع النتائج العكسية أو استعادة مكاسب الدقة النظرية المتاحة عبر التوجيه لكل مسألة.
تحديد الآلية: تؤكد أن الفشل ناتج عن حقيقة أن الثقة لا تتبع الصحة في المدخلات الصعبة؛ حيث يشير الاتفاق العالي غالباً إلى إجابة خاطئة بثقة.
سؤال مفتوح: تنص الورقة صراحة على أنها لا تختبر النماذج "المصممة للاستنتاج أصلاً" (التي تمتلك سلاسل تفكير مخفية). ويبقى السؤال الجوهري هو ما إذا كانت هذه البنيات تنجو من ظاهرة النتائج العكسية، حيث تعذر إجراء محاولات أولية لتقييمها بسبب قيود ميزانية الرموز (token budget).

تخلص الورقة إلى أنه في مهام الاستنتاج الصعبة، لا ينبغي للممارسين افتراض أن الاتساق الذاتي آمن، كما لا ينبغي لهم توقع أن الإشارات الداخلية للنموذج مثل الاتفاق أو الإنتروبيا ستشير إلى متى يكون مفيداً. إن استعادة الدقة المفقودة تتطلب على الأرجح إشارات خارجية، مثل المُحقِّقات المدربة أو نماذج مكافأة العمليات (process reward models)، بدلاً من الاعتماد على توزيع العينات الخاص بالنموذج نفسه.