Evalet: Evaluating Large Language Models through Functional Fragmentation
تقدم الورقة البحثية Evalet، وهو نظام تفاعلي يستخدم التجزئة الوظيفية لتفكيك المخرجات المولدة بواسطة النماذج اللغوية الكبيرة إلى مكونات بلاغية رئيسية، مما يمكّن الممارسين من تجاوز الدرجات الشمولية الغامضة وتحديد عدم توافق التقييم المحدد من خلال تحليل نوعي دقيق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت مساعداً ذكياً جداً، ولكنه متحمس بشكل مفرط، ليقوم بتصحيح مجموعة من 100 مقال كتبها روبوت.
الطريقة القديمة (التقييم الشمولي):
يسلمك مساعدك تقريراً دراسياً يقول فيه: "المقال رقم 42: الدرجة 3 من 5. السبب: مفردات جيدة، لكنه غريب بعض الشيء."
تنظر إلى المقال، فترى الجزء الغريب، ولكنك تلاحظ أيضاً فقرة عبقرية فاتتك. تنظر إلى المقال رقم 43، ووجدت أنه حصل أيضاً على "3 من 5" لنفس السبب الغامض. هل هما غريبان بنفس الطريقة؟ هل ارتكب الروبوت نفس الخطأ مرتين؟ ليس لديك أدنى فكرة. عليك قراءة الـ 100 مقال بنفسك لتعرف ما الذي يحدث فعلياً. الدرجة "3 من 5" تشبه صورة ضبابية؛ تخبرك أن هناك شيئاً ما، لكنها لا تخبرك "ما هو".
الط الطريقة الجديدة (Evalet والتجزئة الوظيفية):
يقول الباحثون وراء هذه الورقة البحثية، Evalet: "توقفوا عن إعطائنا صوراً ضبابية. دعونا نقطع المقالات إلى قطع أحجية (Puzzle)".
بدلاً من مجرد إعطاء درجة، يعمل Evalet مثل مجهر فائق القوة. يأخذ كل جملة أو عبارة في مخرجات الروبوت، ويقطعها، ثم يسأل: "ما الذي يفعله هذا الجزء تحديداً؟"
إليك كيف يعمل ذلك، باستخدام بعض التشبيهات الإبداعية:
1. تسمية "الوظيفة" (الوصف الوظيفي)
تخيل أن الروبوت كتب قصة عن الخلايا التائية (جنود الجسم) وهم يقاتلون الجراثيم.
- الطريقة القديمة: يقول المساعد: "هذا جيد للأطفال".
- Evalet: يقوم Evalet بتقطيع النص وتسمية القطع:
- القطعة أ: "الخلا خلايا تائية هي جنود صغار." -> التسمية: تجسيد (Personification) (جيد للتفاعل).
- القطعة ب: "إطلاق النار ببنادق مجهرية." -> التسمية: صور حربية (سيء لملاءمة الفئة العمرية).
- القطعة ج: "التشجيع على الجنود الآخرين." -> التسمية: استعارة العمل الجماعي (جيد للتفاعل).
فجأة، أنت لا ترى مجرد "3/5". بل ترى قائمة بالمكونات. تدرك أن القصة رائعة في كونها ممتعة (الجنود)، لكنها استخدمت بالخطأ استعارات حربية مخيفة قد تزعج طفلاً في الخامسة من عمره.
2. "الخريطة" (الحي السكني)
لا يكتفي Evalet بسرد هذه القطع فحسب، بل يضعها على خريطة ثنائية الأبعاد.
- تخيل خريطة لمدينة.
- جميع قطع "الصور الحربية" من كل المقالات يتم تجميعها معاً في "حي الحرب".
- جميع "النكات المضحكة" موجودة في "حي الكوميديا".
- النقاط الخضراء تعني أن القطعة كانت جيدة. الصلبان الحمراء تعني أنها كانت سيئة.
إذا رأيت تجمعاً ضخماً من الصلبان الحمراء في "حي الحرب"، ستعرف فوراً: "مهلاً، الروبوت مهووس باستعارات الحرب! نحتاج لإخباره بالتوقف". لست بحاجة لقراءة 100 مقال للعثور على هذا النمط؛ فالخريطة تظهره لك في ثوانٍ.
3. "حلقة التغذية الراجعة" (تعليم المساعد)
في النظام القديم، إذا اختلفت مع الدرجة، كنت تجادل المساعد فقط.
في Evalet، يمكنك تعليم المساعد.
- ترى قطعة مصنفة كـ "صور حربية" وتعتقد أنها في الواقع جيدة تماماً.
- تنقر على زر لتقول: "لا، هذا في الواقع مثال إيجابي لهذه المهمة".
- تنقر على قطعة أخرى هي "صور حربية" ولكنها مخيفة جداً، وتحددها كـ مثال سلبي.
- يقوم النظام فوراً بإعادة رسم الخريطة. "حي الحرب" يتقلص أو يتغير لونه. أنت في الأساس تعطي الروبوت قواعد جديدة بناءً على أمثلة حقيقية، وليس مجرد تعليمات مجردة.
لماذا يهم هذا؟
اختبرت الورقة البحثية هذا مع أشخاص حقيقيين (مطورين وباحثين).
- بدون Evalet: كان الناس يشعرون بالارتباك. لم يثقوا في الدرجات. انتهى بهم الأمر بقراءة المقالات يدوياً على أي حال، مما أضاع الوقت.
- مع Evalet: وجد الناس 48% من المشكلات أكثر. عرفوا بالضبط لماذا كانت الدرجة منخفضة. وثقوا في النظام أكثر لأنهم استطاعوا رؤية "المكونات" وراء الدرجة.
الصورة الكبيرة
فكر في Evalet كالانتقال من تقييم لوحة برقم واحد فقط (مثل "8/10") إلى تقديم نقد للفنان يقول:
"استخدامك للون الأزرق رائع (9/10)، لكن ضربات فرشاتك في الزاوية فوضوية (2/10)، والموضوع المختار مظلم قليلاً بالنسبة لغرفة أطفال (1/10)."
إنه ينقل الحوار من "هل هذا جيد؟" (شعور غامض) إلى "إليك بالضبط ما الذي ينجح وما الذي لا ينجح" (بيانات قابلة للتنفيذ).
باختصار: يتوقف Evalet عن معاملة مخرجات الذكاء الاصطناعي كصندوق أسود يخرج منه رقم تقييم. بدلاً من ذلك، يفتح الصندوق، ويفرز المحتويات حسب ما تفعله، ويقدم لك خريطة حتى تتمكن من إصلاح سلوك الروبوت بدقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.