LLMORPH: Automated Metamorphic Testing of Large Language Models
تقدم هذه الورقة LLMORPH، وهي أداة اختبار تحولي مؤتمتة تقيم متانة النماذج اللغوية الكبيرة عبر مختلف مهام معالجة اللغات الطبيعية من خلال توليد مدخلات متابعة عبر علاقات تحولية للكشف عن عدم اتساق المخرجات دون الاعتماد على بيانات مصنفة بشرياً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً جداً، ولكنه غير متوقع تماماً، يسمى "LLM" (نموذج لغوي كبير). يمكن لهذا الروبوت كتابة القصص، والإجابة على الأسئلة، وترجمة اللغات. ولكن كيف تعرف ما إذا كان يقول الحقيقة أم أنه يختلق الأمور فقط؟
عادةً، لاختبار روبوت، تحتاج إلى "معلم" (خبير بشري) للتحقق من إجاباته. ولكن إذا كان لديك ملايين الأسئلة لتطرحها، فإن توظيف ملايين المعلمين سيكون مكلفاً وبطيئاً للغاية. هذه هي المشكلة الكبيرة: كيف تختبر روبوتاً بدون معلم؟
إليك LLMORPH، وهي أداة جديدة ابتكرها باحثون تعمل كـ "محقق منطقي" لهذه الروبوتات الذكية.
الفكرة الجوهرية: اختبار "المرآة السحرية"
بدلاً من سؤال: "هل هذه الإجابة صحيحة؟" (وهو ما يتطلب معلماً)، يسأل LLMORPH: "هل تبدو هذه الإجابة منطقية مقارنةً بنسخة معدلة قليلاً من السؤال؟"
تسمى هذه التقنية الاختبار التحولي (Metamorphic Testing). فكر فيها كاختبار المرآة السحرية:
- السؤال الأصلي: تسأل الروبوت: "ما هي الدائرة؟"
- إجابة الروبوت: "شكل مستدير".
- الالتواءة السحرية (التحويل): تأخذ نفس هذا السؤال وتعدله قليلاً، مثل إضافة مسافات إضافية بين الحروف أو إعادة صياغته.
- السؤال الجديد: "م ا هي ال د ا ئ ر ة ؟" (نفس المعنى، لكنه غير منظم).
- التحقق المنطقي: تسأل الروبوت السؤال المعدل.
- إجابة الروبوت: "لا أعرف".
استنتاج المحقق: إذا قدم الروبوت إجابة مثالية للسؤال النظيف، ولكنه ارتبك بسبب السؤال غير المنظم، فإن الروبوت معطل! لقد فشل في اختبار المنطق. لم تكن بحاجة إلى معلم ليخبرك بالإجابة؛ كنت بحاجة فقط لرؤية أن سلوك الروبوت غير متسق.
كيف يعمل LLMORPH (خط التجميع)
تخيل مصنعاً لخط التجميع حيث يكون الروبوت هو العامل:
- حاوية المدخلات: تضع فيها آلاف الأسئلة (مثل "ما هي عاصمة فرنسا؟" أو "هل هذه الجملة سعيدة أم حزينة؟"). لا تحتاج لمعرفة الإجابات مسبقاً.
- محطة الالتواء: تأخذ آلة كل سؤال وتطبق عليه "علاقة تحولية" (MR). وهذه مجرد قاعدة معقدة لتغيير السؤال.
- القاعدة 1: إضافة مسافات عشوائية.
- القاعدة 2: استبدال المترادفات (مثلاً، تغيير "سعيد" إلى "مبتهج").
- القاعدة 3: تغيير ترتيب الكلمات.
- التحقق المزدوج: يجيب الروبوت على كل من السؤال الأصلي والنسخة المعدلة.
- القاضي: يقارن LLMORPH بين الإجابتين.
- إذا كانت الإجابات متسقة (على سبيل المثال، كلاهما يقول "باريس")، فإن الاختبار يجتاز.
- إذا تعارضت الإجابات (على سبيل المثال، إحداهما تقول "باريس" والأخرى تقول "لا أعرف")، فإن الاختبار يفشل، وتقوم الأداة بتحديد الخطأ (Bug).
لماذا يعد هذا أمراً رائعاً؟
- لا يتطلب واجبات منزلية: لا تحتاج لقضاء سنوات في إنشاء "نموذج إجابة" (بيانات مصنفة). يمكنك اختبار الروبوت باستخدام أي نص تجده على الإنترنت.
- القدرة على التوسع: اختبر الباحثون ثلاثة روبوتات مشهورة (GPT-4 و LLAMA3 و HERMES 2) بأكثر من 560,000 اختبار. ووجدوا أن حتى أذكى الروبوتات ترتكب أخطاءً في حوالي 18% من المرات عندما تقوم بـ "التواء" مدخلاتها.
- إيجاد الأخطاء الخفية: أحياناً تعمل الروبوتات بشكل جيد في الأسئلة العادية، لكنها تتعطل عندما تصبح الأسئلة مخادعة. يكتشف LLMORPH هذه "الشقوق الخفية" التي قد تفوتها الاختبارات العادية.
"الأداة" نفسها
LLMORPH يشبه السكين السويسري للمطورين.
- إنه نموذجي (Modular): إذا كنت تريد اختبار نوع جديد من الأسئلة (مثل النصائح الطبية)، يمكنك ببسا- تغيير "بطاقة المطالبة" (التعليمات المعطاة للروبوت).
- إنه مرن: يمكنك إخباره باستخدام قواعد "التواء" مختلفة بناءً على ما تختبره.
- إنه مفتوح: الكود البرمجي مجاني لأي شخص لاستخدامه، بحيث يمكن للمجتمع إضافة المزيد من "قواعد الالتواء" للإمساك بمزيد من الأخطاء.
الخلاصة
LLMORPH هو وسيلة لاختبار قدرة الروبوتات الذكية عبر طرح نسخ مختلفة قليلاً من نفس المشكلة عليها. إذا ارتبك الروبوت أمام انعكاس صورته، فنحن نعلم أنه ليس موثوقاً كما اعتقدنا. إنها طريقة رخيصة وسريعة ومؤتمتة للتأكد من أن أصدقائنا من الذكاء الاصطناعي يقولون الحقيقة، دون الحاجة إلى إنسان ليقوم بتصحيح كل اختبار.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.