Decomposing Wrong-Consensus Agreement in LLM Self-Consistency: A GPT-4.1 Case Study
تحلل هذه الورقة كمياً الأداء المتقلب لآلية التصويت القائم على الاتساق الذاتي في النماذج اللغوية الكبيرة عبر تقديم "مؤشر اتفاق تعددي" يفكك الإجماع إلى مكونات مدفوعة بالتفضيل الميكانيكي ومكونات متبقية، كاشفةً أنه بينما تهيمن التحيزات المشتركة على مهام الاختيار من متعدد، فإن التباين غير المفسر يستمر في المشكلات ذات النطاق المفتوح، وأن الاتفاق العالي لا يضمن الصحة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناي، غالباً ما تُعامل النماذج اللغوية الكبيرة كآلات أشبه بـ "العرافة" التي يمكنها حل المشكلات المعقدة من خلال التفكير فيها. ولجعل هذه الأنظمة أكثر موثوقية، طور الباحثون تقنية تسمى "الاتساق الذاتي" (self-consistency). الفكرة بسيطة: بدلاً من طلب إجابة واحدة من النموذج، تطلب منه الإجابة على السؤال نفسه عدة مرات وتترك الإجابات تتصوت. إذا أنتج النموذج نفس الإجابة معظم الوقت، فمن المفترض أن هذا الإجماع هو الصحيح على الأرجح. وقد أصبح هذا الأسلوب أداة معيارية لتحسين الدقة، وهو يعمل بناءً على الاعتقاد الحدسي بأن الاتفاق بين محاولات عديدة يشير إلى الحقيقة. ومع ذلك، يواجه هذا الاعتقاد واقعاً عنيداً: فأحياناً، يمكن للنموذج أن يتفق مع نفسه بقوة شديدة ومع ذلك يكون مخطئاً تماماً. يحدث هذا غالباً مع الأسئلة الصعبة، حيث قد يستقر النموذج بثقة على إجابة تبدو منطقية ولكنها خاطئة، مما يخلق شعوراً زائفاً بالأمان. إن فهم سبب حدوث ذلك أمر بالغ الأهمية، لأنه إذا لم نتمكن من التمييز بين الإجابة الصحيحة الواثقة والإجابة الخاطئة الواثقة، فلن نتمكن من الوثوق بهذه الأنظمة في المواقف عالية المخاطر.
تحقق دراسة حديثة أجراها باحثون من جامعة هونان الزراعية ومختبر يويلوشان من نمط الفشل المحدد هذا باستخدام نموذج قوي جديد، وهو GPT-4.1. وبدلاً من مجرد ملاحظة وقوع الأخطاء، صمم الفريق طريقة لقياس مدى ارتباط ذلك الاتفاق الخاطئ بطبيعة السؤال نفسه مقابل وجود خلل أعمق ومشترك في تفكير النموذج. لقد تعاملوا مع المشكلة كعملية تدقيق جنائي لعملية التصويت في النموذج باستخدام بيانات عامة من إصدار سابق. عندما يخطئ النموذج في سؤال ما، تساءلوا: هل تجمع الإجابات الخاطئة معاً ببساطة لأن هناك خياراً خاطئاً جذاباً للغاية اختاره الجميع، أم أن هناك شيئاً آخر يتسبب في اتفاقهم على المسار الخاطئ؟ وللإجابة على ذلك، أنشأوا محاكاة حيث يمكنهم تجريد النموذج من تفضيلاته لبعض الإجابات لمعرفة مقدار الاتفاق المتبقي.
وجد الباحثون أن الإجابة تعتمد بشدة على نوع السؤال المطروح. فعندما واجه النموذج أسئلة الاختيار من متعدد ذات الخيارات الثابتة، كانت القصة مباشرة نسبياً. في هذه الحالات، كان الاتفاق القوي على إجابة خاطئة مفسراً بالكامل تقرياً بحقيقة أن النموذج كان لديه تفضيل ميكانيكي لخيار خاطئ جذاب ومحدد. كان النموذج منجذباً في الأساس إلى نفس الباب الخاطئ في كل مرة، ونظام التصويت ببساطة عكس ذلك الانجذاب الفردي. في هذه السيناريوهات، تم استيعاب "التحيز المشترك" الذي يسبب الخطأ من خلال تفضيل النموذج الفردي لذلك الخيار الخاطئ المحدد. وأظهرت الدراسة أنه بالنسبة لمهام الاختيار من متعدد هذه، فسر التفضيل الداخلي للنموذج ما بين 81% و93% من الإجماع الخاطئ. وهذا يشير إلى أنه في المهام المقيدة، لا يكون الخطأ فشلاً غامضاً مرتبطاً بالمجموعة بأكملها، بل هو انجذاب متوقع لفخ محدد.
ومع ذلك، تغيرت الصورة بشكل كبير عندما نظر الباحثون في الأسئلة مفتوحة النهاية، مثل تلك الموجودة في مسابقات الرياضيات حيث لا توجد قائمة من الخيارات للاختيار منها. هنا، فسر التفضيل الداخلي للنموذج لإجابة محددة ما بين 59% إلى 78% فقط من الاتفاق. ظل جزء كبير من الإجماع الخاطئ غير مفسر حتى بعد مراعاة تفضيلات النموذج. يشير هذا الاتفاق المتبقي إلى أنه عندما يقوم النموذج بتوليد إجاباته الخاصة من الصفر، فإنه لا يختار مجرد خيار خاطئ شائع؛ بل إن المحاولات المختلفة تنسق بطريقة ما للوقوع في نفس الخطأ بطريقة تتجاوز مجرد التفضيل البسيط. لاحظ الباحثون أن هذا الاتفاق غير المفسر يتوافق مع فكرة أن النموذج يحمل تحيزاً نظامياً مشتركاً من تدريبه يجعله يرتكب نفس الخطأ مراراً وتكراراً، حتى عندما يحاول التفكير بشكل مختلف.
كما أكدت الدراسة أن الاتفاق العالي ليس ضماناً للصحة. نظر الباحثون في أكثر مجموعات الإجابات ثقةً — تلك التي اتفق فيها النموذج مع نفسه بشكل شبه مثالي — ووجدوا أنه حتى في هذه الحالات، لم تكن الدقة مثالية. في أصعب الأسئلة، كانت الإجابات الأكثر اتفاقاً صحيحة بنسبة تتراوح بين 42% إلى 83% فقط. وهذا يعني أنه حتى عندما يكون النموذج متسقاً للغاية، فإنه لا يزال مخطئاً في جزء كبير من الوقت. علاوة على ذلك، أظهرت الدراسة أنه في الأسئلة الصعبة، يمكن أن يؤدي استخدام طريقة التصويت في الواقع إلى جعل الأداء أسوأ من مجرد التخمين الواحد. كان تأثير "الارتداد" هذا أكثر وضوحاً في المشكلات الأكثر صعوبة، حيث كان ميل النموذج للاتفاق على إجابة خاطئة قوياً بما يكفي للتغلب على التخمين الصحيح العرضي.
في نهاية المطاف، تعيد هذه الدراسة صياغة كيفية رؤيتنا لثقة الذكاء الاصطناعي. توضح الدراسة أن الاتفاق ليس شهادة على الحقيقة، بل هو إشارة متدرجة يجب تفسيرها بحذر. في اختبارات الاختيار من متعدد، غالباً ما يكون الإجماع الخاطئ مجرد تمسك من النموذج بإجابة خاطئة جذابة واحدة. ولكن في المهام مفتوحة النهاية، يمكن للإجماع الخاطئ أن يخفي ارتباطاً أعمق وغير مفسر حيث تعزز محاولات النموذج المختلفة أخطاء بعضها البعض. ويخلص الباحثون إلى أنه بينما يعد الاتساق الذاتي أداة مفيدة، إلا أن له سقفاً: يمكنه رفع الدقة بشكل كبير مقارنة بالتخمين الواحد، لكنه لا يمكنه الوصول بها إلى الكمال، خاصة عندما تكون الأسئلة صعبة. وتشير النتائج إلى أنه يجب علينا التوقف عن معاملة الاتفاق العالي كضوء أخضر للصحة، والبدء في معاملته كدليل دقيق يتطلب مزيداً من التدقيق، خاصة عندما يقوم النموذج بتوليد إجاباته الخاصة دون مجموعة ثابتة من الخيارات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.