(Towards) Scalable Reliable Automated Evaluation with Large Language Models
تقدم هذه الورقة إطار عمل قابلاً للتوسع ومستقلاً عن المجال، يستفيد من المقارنات الثنائية بين نماذج لغوية كبيرة متعددة ونظام تصنيف "إيلو" (Elo) لتوليد تقييمات موثوقة بمستوى الخبراء لمخرجات النماذج اللغوية الكبيرة مع عتبات ثقة قابلة للضبط، مما يقلل بشكل كبير من الحاجة إلى التدخل البشري.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محرر في مكتبة ضخمة وفوضوية، حيث تُكتب آلاف الكتب الجديدة يومياً بواسطة أسطول من الروبوتات فائقة الذكاء. هذه الروبوتات، المعروفة باسم النماذج اللغوية الكبيرة (LLMs)، يمكنها كتابة القصص، والإجابة على الأسئلة، وتلخيص الأفكار المعقدة بسرعة مذهلة. لكن هنا تكمن المشكلة: كيف تعرف أي روبوت كتب أفضل قصة؟ في الأيام الخوالي، كنت ستحتاج إلى فريق من أمناء المكتبة البشر لقراءة كل صفحة، والمقارنة بينها، والجدال حول من هو الأفضل. هذا يستغرق وقتاً طويلاً، ويكلف ثروة، وقد يختلف أمناء مكتبات مختلفون حول ما يعنيه "الجيد" أصلاً. هذه هي المشكلة التي يحاول العلماء في مجال الذكاء الاصطناعي حلها: ابتكار طريقة لتقييم كتابة الروبوتات تكون سريعة، وعادلة، ولا تتطلب من إنسان قراءة كل كلمة. وللقيام بذلك، يستخدمون بعض الحيل الذكية. أولاً، يطلبون من الروبوتات تقييم بعضها البعض، مثل لجنة من النقاد. ثانياً، يستخدمون نظام تسجيل مستوحى من الشطرنج، يسمى تصنيف "إيلو" (Elo rating)، والذي يرتب اللاعبين بناءً على من يهزم من في المواجهات المباشرة. وأخيراً، ينظرون في مدى توافق أحكام الروبوتات مع الخبراء البشريين الفعليين لمعرفة ما إذا كان النظام يعمل.
تقدم هذه الورقة البحثية طريقة جديدة وقابلة للتوسع لتقييم جودة النصوص التي تولدها هذه الروبوتات الذكية. فبدلاً من مطالبة روبوت واحد بإعطاء درجة (والتي قد تكون منحازة أو غير متسقة)، وضع المؤلفون دورة بطولة ضخمة. إنهم يأخذون مجموعة من المخرجات النصية المختلفة — مثل ملخصات الأبحاث العلمية — ويجعلون نماذج ذكاء اصطناعي مختلفة تخوض مباريات "رأس برأس" ضد بعضها البعض. في كل مباراة، يُعرض نصان على حكم ذكاء اصطناعي، والذي يجب عليه تحديد أيهما أفضل بناءً على قواعد محددة. وللتأكد من أن الحكم لا يختار فقط النص الذي ظهر أخيراً أو النص الأكثر إسهاباً، يقوم النظام بقلب ترتيب النصوص ويستخدم عدة نماذج مختلفة من الذكاء الاصطناعي للتصويت على الفائز.
بمجرد انتهاء جميع المباريات، يتم تغذية النتائج في نظام تصنيف "إيلو". فكر في هذا الأمر كلوحة صدارة في لعبة الشطرنج: إذا فاز نص ما ضد خصم قوي، فإنه يكسب الكثير من النقاط؛ وإذا خسر، فإنه يفقد نقاطاً. ومع مرور الوقت، يخلق هذا قائمة مرتبة واضحة من النص "الأفضل" إلى "الأسوأ". اختبر المؤلفون ذلك بجعل نماذج الذكاء الاصطناعي تولد "ملفات كفاءة" (ملخصات لما يجيده الباحث) بناءً على ملخصات علمية. ثم قارنوا ترتيبات الذكاء الاصطناعي بالترتيبات التي وضعها 20 خبيراً بشرياً. وتشير النتائج إلى أنه عندما تصوت نماذج متعددة من الذكاء الاصطناعي معاً، فإن ترتيباتها تتوافق بشكل مثير للدهشة مع الخبراء البشريين. في الواقع، كان استخدام التصويت بالأغلبية البسيطة (حيث يحتاج الذكاء الاصطناعي فقط إلى اتفاق بنسبة 50% لإعلان فائز) أفضل من المطالبة بالإجماع التام، الذي أدى غالباً إلى الكثير من حالات "التعادل" وعدم وجود فائز واضح. توضح الدراسة أن هذه الطة يمكن أن تقلل بشكل كبير من الحاجة إلى قيام البشر بالعمل الشاق، مما يوفر طريقة آلية موثوقة لفرز كميات هائلة من المحتوى الذي يولده الذكاء الاصطناعي. ومع ذلك، يشير المؤلفون إلى أن هذه العملية لا تزال مكلفة حوسبياً، لأنها تتطلب الكثير من المقارنات، وأنها تعمل بشكل أفضل عند استخدام نماذج مختلفة من الذكاء الاصطناعي لموازنة عيوب وتحيزات بعضها البعض.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.