A Comparative Study of Controlled Text Generation Systems Using Level-Playing-Field Evaluation Principles
تقدم هذه الورقة إطار عمل لتقييم تكافؤ الفرص لمقارنة أنظمة توليد النصوص المتحكم بها بشكل عادل، كاشفةً أن التقييم المعياري غالباً ما يسفر عن نتائج أداء أسوأ بكثير مما تم الإبلاغ عنه في الأصل، ومسلطةً الضوء على الحاجة الملحة لممارسات تقييم قابلة للتكرار لتجنب الادعاءات المضللة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً يدعي فيه كل طباخ أنه يصنع "أفضل" بيتزا في المدينة. يقول أحد الطهاة إن بيتزاته هي الأفضل لأنه استخدم فرناً معيناً، ويقول آخر إن بيتزاته تفوز لأنها استخدمت نوعاً خاصاً من الدقيق، بينما يقول ثالث إن بيتزاته هي الأفضل لأنها حوكمت فقط بناءً على قائمة محددة من الإضافات.
المشكلة؟ لا يمكنك معرفة من يصنع البيتزا الأفضل حقاً لأن لا أحد منهم يستخدم نفس الفرن، أو نفس الدقيق، أو نفس متذوقي الطعام. إنهم جميعاً يلعبون بقواعد مختلفة.
هذه هي بالضبط المشكلة التي تواجه أنظمة توليد النصوص الموجه (CTG) في عالم الذكاء الاصطناعي. هذه الأنظمة هي نماذج ذكاء اصطناعي مصممة لكتابة نصوص تتبع قواعد محددة، مثل جعل النص يبدو سعيداً (العاطفة)، أو التحدث عن موضوع معين (الموضوع)، أو تضمين كلمات معينة (الكلمات المفتاحية). لسنوات طويلة، ادعى الباحثون أن ذكاءهم الاصطناعي هو "الأفضل"، لكنهم كانوا يختبرونه بطرق مختلفة، مما يجعل من المستحيل معرفة من هو الفائز حقاً.
الحل: مطبخ "ملعب التكافؤ"
قررت مؤلفتَا الورقة البحثية، ميشيلا لوراندي وأنييا بيلز، وضع حد لهذا الارتباك. لقد بنتا نظام تقييم يُسمى "ملعب التكافؤ" (LPF). فكر في هذا كإنشاء مطبخ واحد ضخم حيث يجب على كل طباخ أن:
- يستخدم نفس الفرن تماماً.
- يطبخ بنفس المكونات تماماً.
- يُحكَم عليه من قبل لجنة متذوقي الطعام نفسها تماماً.
لم تكتفيا باختيار طريقة واحدة لتذوق البيتزا؛ بل استخدمتا لجنة متنوعة من الحكام لضمان عدم انحياز أي حكم فردي للنتائج.
ما الذي فعلاه؟
جمع الباحثون 12 "طباخ ذكاء اصطناعي" مختلفاً (تقنيات) اشتهرت بالتحكم في النصوص. ووضعوها جميعاً تحت اختبار صارم باستخدام:
- أربعة "قوائم طعام" مختلفة (مجموعات بيانات): مجموعات مختلفة من المحفزات لبدء الكتابة.
- أربعة "طلبات" مختلفة (أنواع التحكم): كتابة نص سعيد، أو حزين، أو نص عن الرياضة، أو عن الأعمال، أو نص يجب أن يتضمن كلمات محددة.
- لجنة تحكيم عادلة: بدلاً من استخدام برنامج كمبيوتر واحد فقط لتقييم النص، استخدما ثلاثة برامج مختلفة وحسبتا متوسط درجاتها. وهذا يمنع النتتائج من أن تكون منحازة بسبب برنامج واحد غريب الأطوار.
النتائج الصادمة
عندما أعادوا تقييم هذه الأنظمة الشهيرة للذكاء الاصطناعي تحت هذه الظروف الصارمة والعادلة، كانت النتائج مفاجئة:
- "الأفضل" لم يكونوا دائماً هم الأفضل: في كثير من الحالات، الأنظمة التي ادعت في الأصل أنها الأفضل في الأداء سجلت درجات أقل بكثير مما أبلغت عنه سابقاً. اتضح أن بعض تلك الدرجات العالية كانت فقط لأن الباحثين الأصليين استخدموا "حكماً" يحب أسلوب بيتزا الخاص بهم.
- المتخصصون هزموا العموميين: النماذج التي تم تدريبها خصيصاً لهذه المهام ("الطهاة المتخصصين") تفوقت بشكل عام على نماذج اللغات الكبيرة الضخمة ذات الأغراض العامة (مثل Falcon أو LLaMa) التي تحاول القيام بكل شيء. كان المتخصصون أفضل في اتباع القواعد المحددة.
- فخ "الاثنين معاً": عندما طُلب منها اتباع قاعدتين في آن واحد (على سبيل المثال: كتابة نص عن "الرياضة" ويكون أيضاً "سعيداً")، تعثرت معظم الأنظمة بشكل كبير. الأمر يشبه مطالبة طباخ بصنع بيتزا تكون "حارة" و"حلوة" في نفس الوقت؛ فالنتائج غالباً ما تنهار.
لماذا يهم هذا؟
تخلص الورقة البحثية إلى أنه لفترة طويلة، كان مجال توليد النصوص بالذكاء الاصطناعي مليئاً بالادعاءات المضللة. ولأن الجميع استخدموا طرق اختبار مختلفة، لم نكن نعرف حقاً أي تقنية هي التي تعمل بالفعل.
من خلال استخدام نهج "ملعب التكافؤ" هذا، تُظهر المؤلفتان:
- التقييس أمر ملح: نحن بحاجة إلى طريقة واحدة عادلة لاختبار هذه الأنظمة، وإلا سنستمر في تصديق ادعاءات كاذبة حول مدى ذكاء الذكاء الاصطناعي الخاص بنا.
- الأداء غالباً ما يتم المبالغة فيه: بدون اختبار عادل، يمكن للنتائج المنشورة أن تجعل النظام يبدو أكثر قدرة مما هو عليه في الواقع.
باختصار، هذه الورقة هي دعوة لوقف "مسابقة الطبخ" حيث يستخدم الجميع قواعد مختلفة، والبدء في بطولة عادلة حيث يمكننا أخيراً رؤية من هو الطباخ الأفضل حقاً في المطبخ.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.