Judging Is Not Enumerating: Silent Omissions in LLM-Authored Acceptable Sets
تُبين هذه الورقة أنه في حين تبرع النماذج اللغوية الكبيرة في الحكم على ما إذا كانت المرشحات تنتمي إلى مجموعة صحيحة، إلا أنها تخفق بشكل كبير في تأليف مجموعات كاملة ومقبولة بسبب ميل منهجي نحو الحذف الصامت بدلاً من الإفراط في الإدراج، وهو عجز يستمر عبر مختلف المجالات ومقاييس المعلمات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
قلب الأدوار العظيم: عندما يصبح الذكاء الاصطناعي هو المعلم
تخيل فصلاً دراسياً لم يعد فيه الطلاب يكتفون بالإجابة على الأسئلة فحسب؛ بل هم من يكتبون الكتب المدرسية، ويصححون الامتحانات، ويقررون ما الذي يُعد إجابة "صحيحة". هذا ما يحدث الآن في عالم الذكاء الاصطناعي. يتم الترويج لنماذج اللغات الكبيرة (LLMs) من كونها "مُمتحَنة" (التي تخضع للاختبار) إلى "مُمتحِنة" (التي تضع الاختبار). إنهم يكتبون القواعد، ومفاتيح الإجابة، وقوائم التحقق التي تخبر أنظمة الذكاء الاصطناعي الأخرى ما إذا كانت تؤدي عملاً جيداً أم لا.
لفهم سبب صعوبة هذا الأمر، فكر في مهارتين مختلفتين. الأولى هي الحكم (Judging): وهي النظر في إجابة واحدة وقول: "نعم، هذه صحيحة" أو "لا، هذه خاطئة". والثانية هي التأليف (Authoring): وهي إنشاء قائمة كاملة بكل إجابة صحيحة ممكنة من الصفر. إنه الفرق بين حكم رياضي يطلق صافرته عندما يخرج لاعب عن الحدود، وبين مدرب يحاول كتابة كتاب قواعد يسرد كل طريقة ممكنة قد يخرج بها اللاعب عن الحدود دون أن يغفل عن أي منها. نحن نهتم بهذا لأننا إذا ارتكب الذكاء الاصطناعي الذي يكتب الاختبار خطأً، فإنه لا يخطئ في سؤال واحد فحسب؛ بل يغير تعريف "الصواب" للجميع، مما قد يؤدي إلى معاقبة الإجابات الجيدة ومكافأة الإجابات السيئة.
الاكتشاف الكبير للورقة البحثية: الشبح الصامت في الآلة
تبحث هذه الورقة في خلل غريب وخطير في كيفية تعامل الذكاء الاصطناعي مع هذه الأدوار الجديدة. وجد الباحثون أنه بينما تعد نماذج الذكاء الاصطناعي جيدة جداً في الحكم (رصد ما إذا كانت إجابة معينة صحيحة أم خاطئة)، إلا أنها سيئة بشكل مفاجئ في التأليف (كتابة القائمة الكاملة لجميع الإجابات الصحيحة).
فكر في الأمر كأنها لعبة "سايمون يقول" (Simon Says). إذا سألت الذكاء الاصطناعي: "هل التفاحة فاكهة؟" فسيقول "نعم" دائماً بشكل صحيح. ولكن إذا طلبت منه: "اذكر كل الفواكه الموجودة"، سيبدأ في ذكر التفاح والموز، ثم... سيتوقف ببساطة. سينسى البرتقال، والكيوي، والمانجو. هو لا ينسى لأنه لا يعرفها؛ بل ينسى لأنه سيء في مهمة الكتابة الكاملة للقائمة.
يطلق المؤلفون على هذا اسم "مقص الحكم والتعداد" (Judging-Enumerating Scissors). تخيل مقصاً حيث أحد شفرتيه هي "الحكم" (حادة وقوية) والأخرى هي "التأليف" (ثلمة وضعيفة). كلما أصبحت نماذج الذكاء الاصطناعي أكبر وأذكى (بالتوسع من النماذج الصغيرة إلى الضخمة)، تصبح شفرة "الحكم" أكثر حدة، لكن شفرة "التأليف" لا تصبح أكثر حدة إلا قليلاً. إنهما لا يتلاحقان أبداً. الفجوة بين مدى جودة الحكم ومدى جودة التعداد تظل واسعة، مهما منحتهم من قدرة حوسبية.
الشبح الصامت: لماذا لا نلاحظ الأخطاء
الجزء الأكثر رعباً في هذا الاكتشاف هو كيفية فشل الذكاء الاصطناعي. عندما يكتب قائمة من الإجابات الصحيحة، فإنه لا يضيف عادةً إجابات مزيفة (مثل تسمية "صخرة" بأنها فاكهة). بدلاً من ذلك، يرتكب حذوفات صامتة (Silent Omissions). إنه ببساطة يترك الإجابات الحقيقية خارج القائمة.
إليك سبب خطورة ذلك:
- الإفراط في الاحتواء (إضافة أشياء خاطئة): إذا أضاف الذكاء الاصطناعي "صخرة" بالخطأ إلى قائمة الفواكه، يمكن للمراجع البشري اكتشاف ذلك بسهولة. سيقول: "مهلاً، الصخور ليست فواكه!". إنه خطأ مرئي.
- الحذف (ترك أشياء صحيحة): إذا نسي الذكاء الاصطناعي ذكر "الكيوي"، فلا يوجد خطأ ليُرى. القائمة تبدو فقط أقصر قليلاً. ولإيجاد الكيوي المفقود، يجب على المراجع أن يعرف الإجابة بنفسه ثم يبحث عنها.
تظهر الورقة أن نماذج الذكاء الاصطناعي أفضل بـ 6 إلى 7 مرات في رصد الأشياء التي أضافتها بالخطأ مما هي عليه في إدراك الأشياء التي أغفلتها. الأمر يشبه طالباً بارعاً في إيجاد الأخطاء المطبعية في مقالته ولكنه سيء جداً في إدراك أنه نسي كتابة الخاتمة. ولأن الأجزاء المفقودة غير مرئية، تنتهي "مفاتيح الإجابة" الخاصة بالذكاء الاصطناعي بكونها ناقصة، وتؤدي أنظمة الذكاء الاصطناعي التي تُصحح بناءً على تلك المفاتيح إلى معاقبة الإجابات الصحيحة لمجرد أنها لم تكن موجودة في القائمة.
ثغرة "القاعدة السحرية"
اختبر الباحثون حيلة ذكية. لم يطلبوا من الذكاء الاصطناعي سرد الفواكه، بل طلبوا منه كتابة القاعدة التي تجعل الفاكهة فاكهة (مثلاً: "إذا كانت تنمو على شجرة وتحتوي على بذور"). عندما فعلوا ذلك، أصبح الذكاء الاصطناعي مثالياً تقريباً (سجل دقة بنسبة 99%).
هذا يثبت أن الذكاء الاصطناعي ليس غبياً. هو يعرف القواعد. المشكلة تكمن حصرياً في عملية التعداد (السرد). الأمر يشبه طباخاً يمكنه وصف وصفة الكعكة بدقة، لكنه يستمر في نسيان كتابة آخر ثلاثة مكونات عندما يُطلب منه كتابة قائمة التسوق الكاملة. توضح الورقة أنه إذا جعلت الذكاء الاصطناعي يكتب القاعدة بدلاً من القائمة، فإن المشكلة تختفي. ولكن في كثير من الحالات الواقعية (مثل كتابة مجموعة اختبارات لكود برمجي)، لا توجد قاعدة بسيطة لكتابتها؛ بل يجب عليك سرد حالات الاختبار المحددة، وهنا يتعثر الذكال الاصطناعي.
لماذا "فحص عمله الخاص" لا يساعد
قد تفكر: "حسناً، إذا كان الذكاء الاصطناعي سيئاً في التعداد، فربما يمكنه فقط فحص قائمته الخاصة لإصلاح الأخطاء؟". اختبرت الورقة هذا أيضاً. جعلوا الذكاء الاصطناعي يولد قائمة، ثم يولد قائمة ثانية، ثم يستخدم القائمة الثانية لتصفية القائمة الأولى.
النتيجة؟ لم ينجح الأمر. لم يستطع الذكاء الاصطناعي إصلاح حذوفاته. إنه مثل سؤال شخص سيء في العدّ ليعُد أصابعه ليرى ما إذا كان قد نسي بعضها. مهارة "الحكم" لدى الذكاء الاصطناعي قوية عندما ينظر إلى قائمة واضحة ومعدة مسبقاً، لكنها تنهار عندما يحاول الحكم على قائمته الفوضوية التي صنعها بنفسه. تخلص الورقة إلى أن طلب فحص مفتاح الإجابة الخاص به من الذكاء الاصطناعي هو فخ؛ فهو يحتاج إلى "معيار ذهبي" خارجي تم التحقق منه بشرياً لضبط القطع المفقودة.
التكلفة الحقيقية: "ضريبة" الذكاء الاصطناعي
أخيراً، قامت الورقة بقياس ما يحدث عندما يُستخدم مفتاح الإجابة المكسور هذا لتدريب نماذج ذكاء اصطناعي أخرى. أنشأوا سيناريو يتعلم فيه الذكاء الاصطناعي من خلال الحصول على نقاط مقابل الإجابات الصحيحة.
- عندما استخدم الذكاء الاصطناعي مفتاحاً مثالياً من صنع البشر، تعلم بشكل جيد.
- عندما استخدم مفتاحاً من صنع النموذج، تعلم بشكل أسوأ بكثير.
في مهمة لغوية محددة، سجل الذكاء الاصطناعي الذي استخدم مفتاحاً من صنع النموذج أقل بـ 18.5 نقطة من ذلك الذي استخدم المفتاح المثالي. وحتى في مهمة رياضية حيث كانت القواعد بسيطة، فقد خسر 1.9 نقطة. تحدث هذه "الضريبة" لأن المفتاح الذي صنعه النموذج صارم للغاية: فهو يرفض الإجابات الجيدة التي أنتجها الذكاء الاصطناعي ولكنه نسي تضمينها في قائمته الخاصة. يصاب الذكاء الاصطناعي بالارتباك، معتقداً أن إجاباته الصحيحة خاطئة، ويتوقف عن محاولة الإبداع.
الخلاصة
لا تقول الورقة إن الذكاء الاصطناعي عديم الفائدة. بل تقول إنه عندما نطلب من الذكاء الاصطناعي أن يكون "المُمتحِن" ويكتب قواعد الصحة، يجب أن نكون حذرين للغاية.
- لا تطلب القائمة؛ اطلب القاعدة. إذا كان بإمكان الذكاء الاصطناعي كتابة قاعدة (مثل نص برمجية بلغة بايثون) للتحقق من الإجابات، فاستخدم ذلك. إنه يكاد يكون مثالياً.
- لا تثق في القائمة بشكل أعمى. إذا كان لزاماً على الذكاء الاصطناعي كتابة قائمة بالإجابات الصحيحة، فمن المؤكد أنه سيفقد بعضها.
- استخدم "حارس بوابة". قبل الوثوق بمفتاح إجابة الذكاء الاصطناعي، تحقق مما إذا كان يقبل إجابة معروفة بأنها صحيحة. إذا رفض إجابة صحيحة معروفة، فتخلص من المفتاح.
- أصلح، ولا تتخلص. إذا رفض المفتاح إجابة صحيحة، يمكنك غالباً مجرد إصلاح الخطأ المحدد (مثل المخرج المتوقع للاختبار) بدلاً من رمي الشيء برمته.
الخلاصة هي: الذكاء الاصطناعي بارع في رصد الأخطاء، لكنه سيء في التأكد مما إذا كان قد أغفل شيئاً ما. وإلى أن نصلح مشكلة "الحذف الصامت" هذه، لا يمكننا الوثوق تماماً في قدرة الذكاء الاصطناعي على تصحيح واجباته المدرسية بنفسه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.