A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models
تقترح هذه الورقة إطار عمل قابلاً للتوسع وقائماً على الإجماع، يقوم بتقييم النماذج اللغوية الكبيرة من خلال تجميع تصنيفاتهم المتبادلة لاستجابات مجهولة المصدر لتوليد "مؤشر ذكاء نسبي"، مما يقدم بديلاً مدفوعاً بالنماذج للمقاييس الثابتة التقليدية لتقييم جودة الاستجابة في السيناريوهات التي توجد فيها إجابات متعددة صحيحة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
اختبار التذوق العظيم للذكاء الاصطناعي
تخيل عالماً تعلمت فيه الحواسيب التحدث والكتابة وحل المشكلات ببراعة تجعلها تبدو كالبشر. هذا هو مجال النماذج اللغوية الكبيرة (LLMs)، وهي الأدمغة الرقمية فائقة الذكاء وراء العديد من برامج الدردشة والأدوات التي نستخدمها اليوم. لفترة طويلة، اختبر العلماء هذه الأدمغة باستخدام "مفاتيح إجابة" صارمة، مثل اختبار رياضيات حيث يوجد رقم واحد صحيح فقط. لكن الحياة ليست دائماً اختبار رياضيات؛ فأحياناً، يكون للسؤال إجابات جيدة متعددة، وتعتمد الإجابة "الأفضل" على مدى وضوحها أو فائدتها أو براعتها. وهنا تكمن الصعوبة: كيف يمكنك تقييم مقال عندما تكون هناك خمس طرق مختلفة لكتابة مقال مثالي واحد؟
لحل هذه المعضلة، بدأ الباحثون في استخدام الذكاء الاصطناعي لتقييم الذكاء الاصطناعي. الأمر يشبه طلب لجنة من الحكام لتحديد أي من أصدقائهم ألقى النكتة الأكثر إضحاكاً. ولكن هنا تكمن الخدعة: إذا كان الحكام جميعاً أصدقاءً ارتادوا نفس المدرسة، فقد يحبون جميعاً نفس أسلوب النكتة، حتى لو لم تكن هي الأكثر إضحاكاً في الواقع. تغوص هذه الورقة في هذه المشكلة تحديداً. فهي تسأل: إذا تركنا مجموعة من نماذج الذكاء الاصط المختلفة تحكم على إجابات بعضها البعض بشكل أعمى، دون معرفة من كتب ماذا، فهل يمكننا إيجاد نمط لما "يفضلونه"؟ هي لا تدعي العثور على "الحقيقة"، بل ترسم خريطة لكيفية اتفاق هذه العقول الرقمية على ما يبدو جيداً.
اختبار التذوق الأعمى للعالم الرقمي
تخيل أنك في مأدبة عشاء ضخمة وعالية التقنية. بدلاً من إحضار الطعام، يقوم خمسة روبوتات مختلفة فائقة الذكاء (لنطلق عليهم اسم "الطهاة") بإحضار أفضل وصفاتهم لنفس الطبق. الهدف ليس رؤية من طبخ الوجبة "الصحيحة" - لأنه ربما توجد عشر طرق لصنع حساء مثالي - ولكن لمعرفة أي وجبة يرى الروبوتات الأخرى أنها تبدو وتتذوق بشكل أفضل.
هذا بالضبط ما فعله "موحتمش خان" في هذه الورقة. فبدلاً من طلب من إنسان أن يتذوق الإجابات، قام بإعداد "اختبار تذوق أعمى" حيث يقوم الطهاة بالحكم على بعضهم البعض.
الإعداد: لعبة الهوية السرية
تضمن التجربة خمسة نماذج ذكاء اصطناعي رفيعة المستوى: Claude وChatGPT وGemini وGrok وMistral. أعطاهم الباحث تحديات مختلفة مكونة من 25 تحدياً، تتراوح بين حل ألغاز رياضية معقدة وكتابة الأكواد البرمجية إلى الإجابة على أسئلة السلامة ومعلومات عامة متنوعة.
إليك الخدعة السحرية: عندما كان الروبوتات يحكمون، لم يكونوا يعرفون من كتب الإجابة. فقد جُردت الإجابات من الأسماء وتم خلطها، ووُصفت فقط بـ "الإجابة 1"، "الإجابة 2"، وهكذا. كان على كل روبوت ترتيب جميع الإجابات من الأفضل إلى الأسوأ بناءً على مدى وضوحها وفائدتها. فعلوا ذلك بشكل مستقل تماماً، دون التحدث مع بعضهم البعض أو رؤية ما فكر فيه الآخرون.
الدرجة: "مؤشر الذكاء النسبي"
بعد انتهاء عملية التحكيم، قام الباحث بجمع الأصوات. وقد أنشأ درجة جديدة تسمى مؤشر الذكاء النسبي (RII). فكر في هذا ليس كدرجة لكون الروبوت "ذكياً"، بل كدرجة في مسابقة شعبية. تعني الدرجة العالية في مؤشر الذكاء النسبي أن إجابات الروبوت تم اختيارها بشكل متكرر كـ "أفضل" إجابة من قبل أقرانه. بينما تعني الدرجة المنخفضة أن إجاباته غالً ما كانت تُصنف في مراتب أدنى.
ماذا وجدوا؟
كانت النتائج تشبه دوري رياضي حيث تفوز فرق مختلفة في أيام مختلفة.
- الفائزون المستمرون: غالباً ما تصدر Claude وGrok القائمة. كان Claude قوياً بشكل خاص في الرياضيات والبرمجة، بينما تألق Grok في الألغاز المنطقية والتفكير الإبداعي.
- المؤدون الثابتون: لم يفز Gemini وMistral دائماً بجائزة "أفضل إجابة"، لكنهما كانا ثابتين للغاية. فلم تكن درجاتهما تتأرجح بشكل حاد من اختبار لآخر.
- المقايضة بين السرعة والجودة: درست الدراسة أيضاً الوقت الذي استغرقه كل روبوت لإعداد الإجابة. ومن المثير للاهتمام أن الروبوتات التي استغرقت وقتاً أطول في التفكير (مثل Gemini وClaude) كانت غالباً هي التي نالت إعجاب الآخرين أكثر. أما الروبوتات الأسرع (مثل Mistral) فكانت سريعة ولكنها لم تحصل دائماً على أعلى الأصوات.
لكن الكبير
تتوخى الورقة الحذر الشديد في توضيح ما لا يمثله هذا المقياس. فهو ليس مقياساً لمن هو "على صواب" حقاً أو من هو الأكثر فائدة للبشر. إنه مجرد مقياس لمدى إعجاب الروبوتات بأسلوب بعضها البعض. من المحتمل أن جميع الروبوتات قد تدربت على كتب ومواقع إلكترونية متشابهة، لذا قد يتفقون لمجرد أن لديهم "براعم تذوق" متشابهة، وليس لأن أحدهم أفضل موضوعياً.
الخلاصة
يشير هذا الإطار إلى أنه عندما لا توجد إجابة واحدة صحيحة، يمكننا استخدام طريقة "الإجماع" لمعرفة أي مخرجات الذكاء الاصطناعي تبدو أكثر صقلاً وتماسكاً بالنسبة للذكاء الاصطناعي الآخر. ورغم أن هذا لا يحل محل الحكم البشري، إلا أنه يوفر طريقة قابلة للتوسع لمقارنة النماذج عندما تكون الإجابات ذاتية. وجدت الدراسة أنه بينما يفضل بعض النماذج بشكل عام من قبل أقرانهم، فإن النتائج يمكن أن تتغير اعتماداً على الموضوع وعلى الجولة المحددة من الاختبار. إنها طريقة جديدة للنظر في أداء الذكاء الاصطناعي، تركز على "ماذا تعتقد النماذج عن بعضها البعض؟" بدلاً من مجرد "هل حصلوا على الإجابة الصحيحة؟"
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.