Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy
تكشف هذه الورقة أن النماذج اللغوية الكبيرة غالباً ما تظهر عدم استقرار ملحوظ في إجاباتها عند مواجهة إعادة صياغة تحافظ على المعنى، مما يثبت أن مقاييس الدقة القياسية يمكن أن تخفي مشكلات الموثوقية وأن استراتيجيات إعادة الصياغة الذاتية يمكن أن تستعيد المعرفة الكامنة بفعالية لتحسين الأداء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
وهم الروبوت المثالي
تخيل أنك تتحدث إلى صديق روبوت ذكي جداً قرأ كل كتاب تقريباً في المكتبة. تسأله سؤالاً بسيطاً، فيعطيك إجابة بارعة وصحيحة. تشعر بالثقة، أليس كذلك؟ ولكن ماذا لو طرحت السؤال نفسه تماماً مرة أخرى، ولكن باستخدام كلمات مختلفة قليلاً؟ هل سيعطيك الإجابة نفسها؟ هذا هو السؤال الكبير وراء دراسة جديدة من علماء الكمبيوتر في جامعة ميريلاند. إنهم يدرسون "نماذج اللغات الكبيرة" (LLMs)، وهي العقول الاصطناعية فائقة الذكاء التي تقف وراء أدوات مثل برامج الدردشة الآلية. هذه النماذج مشهورة بدقتها في الاختبارات، لكن هذه الدراسة تطرح سؤالاً مخادعاً: هل هي موثوقة حقاً، أم أنها مجرد جيدة في التخمين بناءً على كيفية صياغة السؤال؟ فكر في الأمر كطالب يحفظ الصياغة الدقيقة لاختبار تجريبي؛ إذا غيرت السؤال قليلاً، هل يظل الطالب يعرف الإجابة، أم يصاب بالارتباك؟ أراد الباحثون معرفة ما إذا كانت هذه النماذج تدرك العالم حقاً أم أنها مجرد تلعب لعبة "مطابقة الكلمات".
السؤال نفسه، الإجابة الخاطئة
قرر الباحثون خوض لعبة مع 13 نموذجاً مختلفاً للذكاء الاصطنا artificial، تتراوح بين النماذج الصغيرة مفتوحة المصدر والنماذج الضخمة والقوية التي تستخدمها شركات التكنولوجيا الكبرى. أخذوا أسئلة حول حقائق من العالم الحقيقي (مثل "كم عدد مباريات الشطرنج التي خسرها أندرسن في عام 1864؟") ومسائل رياضية، ثم طرحوا على النماذج نفس الأسئلة تماماً ولكن بعد إعادة كتابتها بعشرات الطرق المختلفة. لقد تأكدوا من أن الأسئلة الجديدة تعني الشيء ذاته تماماً، تماماً مثل قول "كيف حالك؟" مقابل "ما الأخبار؟" أو "كيف تجري الأمور؟".
إليك المنعطف المفاجئ الذي وجدوه: كانت نماذج الذكاء الاصطناعي غير متسقة في كثير من الأحيان. على الرغم من أن الأسئلة كانت تعني الشيء نفسه، إلا أن النماذج كانت أحياناً تصيب في الإجابة في المرة الأولى، ثم تخطئ عندما يُعاد صياغة السؤال. في الواقع، بالنسبة للعديد من الأسئلة، كانت النماذج تتأرجح بين الصواب والخطأ اعتماداً على الصياغة. وجدت الدراسة أن معدلات عدم التطابق — حيث يعطي النموذج إجابة مختلفة لنفس السؤال — يمكن أن تصل إلى أكثر من 23%. وهذا يعني أنه إذا سألت نموذجاً نفس السؤال 100 مرة بطرق مختلفة، فقد يعطيك إجابة مختلفة (وخاطئة) في حوالي ربع المرات، رغم أنه كان يعرف الإجابة الصحيحة طوال الوقت!
فجوة "المعرفة الخفية"
الجزء الأكثر إثارة للاهتمام في القصة هو ما يقوله هذا عن ماهية ما "يعرفه" الذكاء الاصطناعي فعلياً. اكتشف الباحثون أن النماذج غالباً ما تمتلك الإجابة الصحيحة مخبأة بداخلها. إذا سألت نفس السؤال بطرق عديدة ومختلفة، فسيتمكن النموذج في النهاية من الإجابة بشكل صحيح لمرة واحدة على الأقل. هذا يشير إلى أن المعرفة موجودة، لكن النموذج غير موثوق في استرجاعها.
لتصور ذلك، تخيل طالباً يؤدي اختباراً:
- الدقة القياسية: الطالب يجيب بشكل صحيح بنسبة 80% في المحاولة الأولى.
- القدرة الموثوقة: الطالب يجيب بشكل صحيح بنسبة 80% في كل مرة تسأله فيها، بغض النظر عن طريقة صياغتك للسؤال.
- القدرة الكامنة: الطالب يجيب بشكل صحيح مرة واحدة على الأقل إذا سألته بـ 10 طرق مختلفة.
وجدت الدراسة فجوة كبيرة بين "القدرة الموثوقة" و"القدرة الكامنة". فالنماذج غالباً ما تعرف الإجابة (الكامنة) لكنها تفشل في إظهارها باستمرار (الموثوقة). في بعض الحالات، كان بإمكان النماذج الإجابة على 30% إضافية من الأس تقدم بشكل صحيح إذا سألتها بطريقة مختلفة، لكنها فشلت في القيام بذلك في الاختبار القياسي. هذا يعني أن درجات "الدقة" القياسية التي نراها في لوحات الصدارة قد تخفي الكثير من عدم الاستقرار. النماذج ليست غبية بالضرورة؛ إنها فقط هشة. فهي تعتمد على أنماط كلمات محددة بدلاً من فهم عميق ورصين.
"التقلب" و"الإصلاح"
نظر الباحثون أيضاً في شيء يسمى "معدلات التقلب". وهذا يحدث عندما يجيب النموذج على سؤال بشكل صحيح في المرة الأولى، ثم يخطئ فيه عند إعادة صياغته. أو، وهو الأمر الأكثر إرباكاً، أن يخطئ في السؤال في المرة الأولى، ثم يصيب عند إعادة صياغته. سلوك "التقلب" هذا يظهر أن عقل النموذج متذبذب. إنه يشبه البوصلة التي تشير إلى الشمال عندما تمسكها بطريقة معينة، ولكنها تشير إلى الشرق عندما تميلها قليلاً.
ومع ذلك، كانت هناك بارقة أمل. جرب الباحثون حيلة بسيطة تسمى "إعادة الصياغة الذاتية" (Self-Paraphrasing). فبدلاً من مجرد طرح سؤال واحد على النموذج، طلبوا منه أولاً إعادة كتابة السؤال بكلماته الخاصة، ثم الإجابة بناءً على تلك النسخ الجديدة. إنه يشبه طلب إعادة قراءة السؤال في ذهن الطالب قبل الإجابة. ساعدت هذه الخطوة البسيطة النماذج على سد الفجوة، مما أدى إلى تحسين أدائها من خلال مساعدتها على الوصول إلى تلك المعرفة الكامنة والخفية.
ماذا يعني هذا للمستقبل
الخلاصة الرئيسية من هذه الورقة البحثية هي أن درجات الدقة القياسية يمكن أن تكون مضللة. مجرد حصول النموذج على درجة عالية في اختبار ما لا يعني أنه موثوق حقاً في العالم الحقيقي. في الحياة الواقعية، يطرح الناس الأسئلة بطرق غريبة ومختلفة، وإذا لم يتمكن الذك_اء الاصطناعي من التعامل مع ذلك، فهو ليس جاهزاً للاستخدام الفعلي. تشير الدراسة إلى أننا بحاجة إلى التوقف عن مجرد النظر إلى "كم عدد الأسئلة التي أجاب عليها بشكل صحيح؟" والبدء في السؤال "ما مدى اتساقه؟".
يقترح المؤلفون أنه لكي يكون الذكاء الاصطناعي جديراً بالثقة حقاً، فإنه يحتاج إلى الاختبار بناءً على قدرته على البقاء متسقاً عبر الصياغات المختلفة. وإلى أن يحدث ذلك، فقد نكون نبالغ في تقدير مدى ذكاء هذه الروبوتات حقاً. قد تكون بارعة في حفظ النص، لكنها لا تزال بحاجة إلى تعلم كيفية الارتجال دون أن تفقد مسارها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.