Prosa: Rubric-Based Evaluation of LLMs on Real User Chats in Brazilian Portuguese

ملخص تقني: Prosa – التقييم القائم على المعايير لنماذج اللغات الكبيرة (LLMs) عبر محادثات المستخدمين الحقيقية باللغة البرتغالية البرازيلية

بيان المشكلة
تواجه عملية التقييم التلقائي لتوليد اللغة مفتوحة النهايات تحديين رئيسيين. أولاً، مقاييس تداخل n-gram التقليدية (مثل BLEU وROUGE) ترتبط ارتباطاً ضعيفاً بالحكم البشري، وتفشل بشكل خاص في التمييز بين الأنظمة عالية الجودة. ثانياً، بينما حسنت نماذج "النموذج اللغوي كحكم" (LLM-as-a-judge) الارتباط مع الخبراء البشر، إلا أنها تعتمد على التقييم الشمولي، حيث يدمج "الحكم" عدة أبعاد للجودة في درجة واحدة أو تفضيل زوجي. ويرى المؤلفون أن هذا النهج الشمولي غامض وحساس للغاية للتحيزات المحددة لنموذج الحكم المختار. علاوة على ذلك، فإن المعايير المرجعية الحالية للغة البرتغالية البرازيلية تهيمن عليها الامتحانات الأكاديمية متعددة الخيارات أو المهام المترجمة من الإنجليزية، مما يفتقر إلى التقييم القائم على التفاعلات متعددة الأدوار الطبيعية للمستخدمين ضمن السياق الثقافي واللغوي المحدد للبرازيل.

المنهجية
يقدم البحث Prosa، وهو معيار وبروتوكول تقييم مصمم لمعالجة هذه الفجوات من خلال ثلاثة خيارات تصميمية أساسية:

1. بناء بيانات من العالم الحقيقي: يستمد Prosa مجموعة بياناته من مستودع WildChat، حيث قام بتصفية 3.2 مليون محادثة للوصول إلى 1,000 تفاعل عالي الجودة متعدد الأدوار باللغة البرتغالية البرازيلية. تستخدم سلسلة التصفية (الشكل 1) فحوصات قائمة على القواعد (تفرد عنوان IP، طول الـ tokens، وإزالة التكرار الدلالي) وفلاتر تعتمد على النماذج اللغوية الكبيرة (تصنيف الصعوبة، تعيين الموضوع، وكشف النوايا غير المنطقية) لضمان أن البيانات تعكس مهام مستخدم حقيقية، غير مكررة، وتتسم بالتحدي.
2. التقييم القائم على معايير مفككة: بدلاً من التقييم الشمولي، يستخدم Prosa نظام معايير ثنائي (نجاح/فشل). لكل محادثة، يقوم نموذج توليد (GPT-5.2) بإنتاج مجموعة من المعايير الثنائية الذرية بناءً على تاريخ المحادثة والاستجابات المرجعية. ثم يقوم نموذج حكم بتقييم كل استجابة مقابل هذه المعايير، مُصدراً حكماً بـ (نعم/لا) لكل معيار. الدرجة النهائية هي نسبة اتباع المتطلبات المفككة (DRFR)، والتي يتم قياسها من 0 إلى 100.
3. تصفية ما بعد التقييم متعددة الأحكام: تقوم سلسلة معالجة مبتكرة بتصفية المعايير المولدة قبل عملية التقييم لإزالة المعايير منخفضة الجودة. تعمل هذه السلسلة على التصنيف التجريبي لـ 16 نموذجاً مرشحاً تم تقييمهم بواسطة ثلاثة أحكام متميزين (GPT-4.1، وGemini 3 Flash، وSabiá-4). وهي تزيل المعايير التي تكون:
   • بديهية (Trivial): نجح فيها جميع المرشحين.
   • مستحيلة (Impossible): فشل فيها جميع المرشحين.
   • غير متوافقة (Misaligned): حيث يفشل المرشحون الأعلى تصنيفاً بينما ينجح المرشحون الأدنى تصنيفاً.
   • غير مستقرة (Unstable): حيث تتغير الأحكام عبر عمليات التشغيل المتكررة عند درجة حرارة (temperature) صفر.

المساهمات الرئيسية

• معيار Prosa: أول معيار محادثة برازيلي برتغالي حقيقي متعدد الأدوار يتم تقييمه عبر نظام "النموذج اللغوي كحكم" القائم على المعايير.
• رؤية منهجية: إثبات أن تفكيك الحكم إلى أحكام ثنائية ذرية هو أمر أكثر أهمية لاستقرار التصنيف من اختيار نموذج الحكم نفسه.
• سلسلة التصفية: آلية تصفية تلقائية للمعايير (post-hoc) تحسن بشكل كبير من القدرة التمييزية للتقييم دون الحاجة إلى نموذج حكم "رائد" (frontier model).
• كفاءة التكلفة: بروتوكول يسمح بتقييم عالي الدقة باستخدام نماذج أرخص (مثل Gemini 3 Flash بتكلفة ~2.1 دولار لكل مرشح) مع إعادة إنتاج التصنيفات التي يتم الحصول عليها بواسطة أحكام أكثر تكلفة.

النتائج
قام المؤلفون بتقييم 16 نموذجاً من أربع عائلات (OpenAI، وGoogle، وAlibaba، وMaritaca AI) باستخدام ثلاثة أحكام تحت ثلاثة بروتوكولات: التقييم الشمولي، والتقييم بالمعايير غير المفلترة، والتقييم بالمعايير المفلترة.

• استقرار التصنيف: في ظل التقييم الشمولي، اتفق الأحكام الثلاثة على 7 من أصل 16 مرتبة فقط (ارتباط سبيرمان 0.986). أما في ظل التقييم بالمعايير المفلترة، فقد حقق الأحكام اتفاقاً تاماً (16/16 مرتبة، ارتباط سبيرمان 1.000).
• القدرة التمييزية: زادت سلسلة التصفية من متوسط الفجوة في الدرجات بين النماذج المتجاورة بنسبة 47% (من 2.22 إلى 3.26 نقطة) ووسعت المدى من الأعلى إلى الأدنى من 33.3 إلى 48.9 نقطة.
• أداء النماذج: يظهر جدول المتصدر النهائي (الجدول 4) نموذج GPT-5.2 في المقدمة (88.6)، يليه عن قرب GPT-5 Mini وGemini 3 Pro. ومن الملاحظ أن النموذج مفتوح الأوزان Qwen3-235B (80.1) تفوق على GPT-4.1 وGemini 3 Flash، محتلاً المركز الرابع. كما جاء نموذج Maritaca AI المسمى Sabiá-4 في المركز التاسع (70.2)، مما يظهر تحسناً جيلياً كبياً عن Sabiá-3.1.
• التكلفة: تبلغ تكلفة تقييم مرشح جديد حوالي 2.1 دولار باستخدام Gemini 3 Flash، وهو أقل بمرتبة عشرية من المعايير المماثلة مثل Arena-Hard-Auto (20 دولاراً لكل مرشح).

الأهمية والادعاءات
يزعم البحث أن المحرك الرئيسي للتقييم الموثوق للنماذج اللغوية الكبيرة هو تفكيك الحكم إلى قرارات ثنائية ذرية وليس مدى تطور نموذج الحكم. ومن خلال الانتقال من التقييم الشمولي إلى التقييم بالمعايير المفلترة، يصبح التقييم ثابتاً بغض النظر عن النموذج المستخدم، مما يسمح للباحثين باستخدام نماذج أرخص وأسرع دون التضحية بدقة التصنيف.

يفترض المؤلفون أن هذه المنهجية تخفض العوائق أمام التقييم واسع النطاق وتوفر إشارات جودة دقيقة (أحكام لكل معيار) يمكن إعادة استخدامها في نمذجة المكافأة (reward modeling) بالإضافة إلى التقييم. ويخلصون إلى أنه بينما يعد هذا المعيار خاصاً باللغة البرتغالية البرازيلية، فإن الآلية الجوهرية لتقييم المعاي_المفككة والمفلترة هي على الأرجح قابلة للنقل إلى لغات أخرى وبيئات التقييم مفتوحة النهايات. يطلق المؤلفون المعيار، وكود التصفية، والمعايير لضمان قابلية التكرار وتوفير ظروف تقييم متطابقة للنماذج المستقبلية.