UNSPECIFIC: General Constraint Synthesis for Breaking Copy-and-Paste Shortcut in LLM Instruction Following

تخيل أنك تعلم روبوتاً كيفية كتابة القصص. تعطيه قائمة من القواعد، مثل "يجب أن يكون البطل شجاعاً" أو "يجب أن تنتهي القصة بعاصفة ممطرة". هذا ما يسمى بـ اتباع التعليمات (Instruction Following). في عالم الذكاء الاصطناعي، النماذج اللغوية الكبيرة (LLMs) هي هذه الروبوتات، ويبحث الباحثون باستمرار لمعرفة ما إذا كان بإمكانها اتباع قوائم طويلة ومعقدة من القواعد دون أن ترتبك أو تبتدع أشياء من خيالها.

لكن هنا يكمن الجزء الصعب: كيف تختبر ما إذا كان الروبوت "يفكر" حقاً في القواعد، أم أنه يتخذ مجرد طريق مختصر؟ أحياناً، يكون الاختبار نفسه معيباً. إذا طلبت من روبوت كتابة قصة بناءً على مثال محدد قرأه للتو، فقد يقوم ببساطة بنسخ ولصق تفاصيل المثال في قصته الخاصة. الأمر يشبه طالباً لم يكتب مقالاً عن "وقت ساعد فيه صديقه"، بل اكتفى بنسخ فقرة من واجب صديقه الذي يقول: "ساعدت صديقي في حمل البقالة". يرى المعلم كلمات "ساعدت" و"صديق" فيفكر: "عمل رائع!"، لكن الطالب لم يقم بالعمل الفعلي. تتحدث هذه الورقة البحثية عن إصلاح هذا الطريق المختصر لنرى ما إذا كانت الروبوتات ذكية حقاً أم أنها فقط جيدة جداً في النسخ واللصق.

---

اختصار "النسخ واللصق" العظيم

تعرف على UNSPECIFIC، وهو إطار عمل جديد مصمم للإيقاع بنماذج الذكاء الاصطناعي عندما تحاول اتخاذ الطريق السهل. لاحظ الباحثون من جامعة ماساتشوستس، أمهرست، مشكلة رئيسية في كيفية اختبارنا الحالي للذكاء الاصطناعي. عادةً، لإنشاء اختبار، نأخذ مقالاً حقيقياً (مثل خبر إخباري) ونطلب من ذكاء اصطناعي تحويله إلى قائمة تعليمات. ثم نطلب من ذكاء اصطناعي آخر كتابة قصة جديدة تتبع تلك التعليمات.

المشكلة؟ غالباً ما يتم تبسيط الذكاء الاصطناعي الأول. فبدلاً من التفكير في قواعد عامة، يقوم ببساطة بالتقاط تفاصيل محددة من المقال الأصلي. على سبيل المثال، إذا كانت القصة الأصلية عن "جون وماري يتشاجران على الزبادي في متجر وول مارت"، فقد تكون التعليمات: "يجب أن يكون اسم الشخصيات جون وماري" و"يجب أن يتشاجرا في وول مارت". عندما يحصل الذكاء الاصطناعي الثاني على هذه التعليمات، لا يحتاج إلى الإبداع؛ فهو يكتفي بنسخ "جون" و"ماري" و"وول مارت" مباشرة في قصته. إنه "اختصار النسخ واللصق" الذي يجعل الذكاء الاصطناعي يبدو وكأنه يتبع التعليمات بدقة، بينما هو في الواقع يقلد فقط.

كيف يحدد UNSPECIFIC الاختصارات

لإيقاف ذلك، ابتكر فريق UNSPECIFIC خدعة سحرية مكونة من ثلاث خطوات لجعل الاختبارات عادلة وصعبة.

الخطوة 1: لعبة "الأرضية المشتركة"
بدلاً من استخدام قصة واحدة فقط لصياغة القواعد، يقوم الباحثون بتغذية الذكاء الاصطناعي بقصتين متشابهتين. تخيل أن لديك قصتين مختلفتين عن أشخاص يتجادلون. إحداهما عن جون وماري في متجر بقالة؛ والأخرى عن كريس وجولي في محطة وقود. إذا طلبت من الذكاء الاصطناعي إيجاد قواعد تنطبق على كلتا القصتين، فلن يتمكن من قول "يجب أن يكون الشخصيات هما جون وماري" لأن ذلك ينطبق على القصة الأولى فقط. بدلاً من ذلك، يجب عليه صياغة قاعدة عامة مثل: "يجب أن يتجادل الشخصيات الرئيسيون". هذا يجبر القواعد على أن تكون أكثر شمولاً وطبيعية، مثل طلبات البشر الحقيقيين، بدلاً من كونها تفصيلاً محدداً من نص واحد.

الخطوة 2: فلتر "السهولة المفرطة"
حتى مع القواعد العامة، قد تظل بعضها سهلة للغاية. ربما تكون القاعدة هي "يجب أن تحتوي القصة على بداية". حسناً، كل القصص لها بداية! يحقق الذكاء الاصطناعي هذا دون بذل أي مجهود. يتحقق UNSPECIC من ذلك بجعل الذكاء الاصطناعي يكتب "قصة أساسية" قبل أن يرى القواعد. إذا حقق الذكاء الاصطناعي قاعدة ما بمجرد كتابة قصة طبيعية، يتم تصنيف تلك القاعدة على أنها "سهلة للغاية". يقوم النظام بعد ذلك باستبدال تلك القاعدة السهلة بأخرى أصعب، مثل "يجب أن تبدأ القصة باستيقاظ شخصية على صوت غريب"، مما يجبر الذكاء الاصطناعي على التفكير فعلياً.

الخطوة 3: "اختبار الملخص"
هذا هو الجزء الأكثر ذكاءً. بعد أن يكتب الذكاء الاصطناعي قصته، يطلب منه الباحثون تلخيص القصة في فقرة قصيرة — حوالي 25% من طول القصة الأصلية. إذا حقق الذكاء الاصطناعي القواعد فقط عبر إضافة جمل عشوائية في النهاية (مثل "وبالمناسبة، القصة لها نهاية سعيدة")، فسيتم حذف هذه التفاصيل في الملخص. إذا ظلت القاعدة محققة في الملخص، فهذا يعني أن الذكاء الاصطناعي قد دمج القاعدة بالفعل في جوهر القصة. أما إذا اختفت القاعدة، فهذا يعني أن الذكاء الاصطناعي كان يستخدم مجرد اختصار بتفاصيل سطحية.

ماذا وجدوا؟

عندما وضعوا هذا النظام الجديد قيد الاختبار، كانت النتائج كاشفة. وجدوا أن العديد من نماذج الذكاء الاصطناعي كانت بالفعل تسلك طريق النسخ واللصق المختصر.

• قفزة الصعوبة: عند استخدام طريقة UNSPECIFIC الجديدة، انخفض معدل تحقيق التعليمات لنموذج قوي يسمى GPT-5 Mini من 89.7% (تحت خط الأساس للمقال المنفرد القياسي) إلى 78.2%. هذا لا يعني أن الذكاء الاصطناعي أصبح أسوأ؛ بل يعني أن الاختبار كشفه أخيراً عندما لم يكن يبذل جهداً كافياً.
• فجوة النسخ واللصق: اكتشف الباحثون أن جزءاً كبيراً من "النجاح" في الاختبارات السابقة لم يكن دقيقاً تماماً. فعندما نظروا في الملخصات، وجدوا أن العديد من النماذج التي بدت وكأنها تتبع التعليمات بشكل مثالي، فشلت في الواقع في "اختبار السرد الجوهري". لقد حققت القواعد على السطح فقط، وليس في قلب القصة.
• الطبيعية هي الفائزة: شعرت القيود الجديدة بأنها تشبه طلبات البشر الحقيقيين بكثير. في الواقع، تحسنت الفجوة بين تقييم البشر لمدى طبيعية هذه التعليمات الجديدة مقابل القديمة بنسبة 30%.

تشير الورقة البحثية إلى أن مجرد جعل التعليمات أصعب ليس كافياً؛ بل يجب أن نتأكد من أن التعليمات عامة بما يكفي بحيث لا يمكن للذكاء الاصطناعي مجرد نسخ ولصق الإجابة. من خلال استخدام طريقة "القصتين" و"اختبار الملخص"، يوفر UNSPECIFIC صورة أوضح لما إذا كان الذكاء الاصطناعي يفهم التعليمات حقاً أم أنه يلعب فقط لعبة "البحث عن الكلمات المتطابقة".

في النهاية، لا يهدف UNSPECIC فقط إلى جعل الذكاء الاصطناعي يعمل بجهد أكبر؛ بل يتعلق بالتأكد من معرفتنا بـ كيفية عملهم. إنه يمنع النماذج من اتخاذ الطرق المختصرة ويجبرها على القيام بالكتابة فعلياً، مما يضمن أنه عندما نقول إن الذكاء الاصطنا_ي "يتبع التعليمات"، فإن ذلك يعني حقاً أنه يفهم ما يفعله.