ProactBench: Beyond What The User Asked For
يقدم ProactBench معياراً مرجعياً جديداً لتقييم المبادرة الحوارية —وهي قدرة النماذج اللغوية الكبيرة على تحديد الاحتياجات الضمنية للمستخدم والعمل بناءً عليها— وذلك من خلال تفكيكها إلى مراحل: الناشئة، والحرجة، والاستردادية، وإثبات أن أداء مرحلة الاسترداد يمثل إشارة تقييم متميزة وصعبة لا تلتقطها المعايير المرجعية الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تتحدث إلى صديق لك، وهو مساعد خبير، فتقول له: "سأتوجه إلى المطار خلال ساعة، وقد أدركت للتو أنني نسيت شاحني".
المساعد الاستجابي (وهو نوع معظم أنظمة الذكاء الاصطناعي اليوم) سيقول: "حسناً، لقد دونت ذلك. حظاً موفقاً في رحلتك!". لقد أجاب على طلبك بشكل مثالي، لكنه أغفل حقيقة أنك على وشك البقاء بدون طاقة.
أما المساعد المبادر فسيقول: "بما أنك ستغادر خلال ساعة، فلن يكون لديك وقت لشراء واحد جديد. هل لديك بطارية متنقلة في حقيبتك؟ أيضاً، رحلتك في الساعة السادسة مساءً، لذا إذا فاتك موعد البوابة، فستحتاج للاتصال بشركة الطيران فوراً. إليك رقمهم".
هذه الورقة البحثية، ProactBench، هي اختبار جديد صُمم لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي أن يكون ذلك النوع الثاني من الأصدقاء. وهي تسأل: هل يمكن للذكاء الاصطناعي أن يلاحظ ما لم تقله ويساعدك قبل أن تطلب ذلك حتى؟
اللحظات الثلاث للمبادرة
أدرك المؤلفون أن المبادرة ليست مجرد مهارة واحدة؛ بل تحدث في أوقات مختلفة من المحادثة. وقد قسموها إلى ثلاثة "محفزات"، مثل نقاط التفتيش في ألعاب الفيديو:
الناشئة (الدليل المبكر):
- السيناريو: تذكر بشكل عابر أن مديرك خارج المكتب.
- الحركة المبادرة: يدرك الذكاء الاصطناعي: "أوه، إذا كان المدير خارج المكتب، فلا يمكن لأحد الموافقة على هذا الطلب العاجل الآن"، ويقترح حلاً بديلاً.
- الاختبار: هل استطاع الذكاء الاصطناعي ربط تفصيل صغير واحد بمشكلة خفية؟
الحرجة (حل الألغاز):
- السيناريو: عبر عدة جولات، تذكر أن ميزانيتك محدودة، وحقيبتك ثقيلة، ورحلتك ستغادر في وقت مبكر من الغد.
- الحركة المبادرة: يجمع الذكاء الاصطناعي هذه القرائن الثلاث معاً ويقول: "بما أنك تملك ميزانية محدودة وحقيبة ثقيلة، يجب عليك استقلال الحافلة بدلاً من سيارة الأجرة، وعليك الاستيقظ في الساعة 4 صباحاً لتلحق بها".
- الاختبار: هل استطاع الذكاء الاصطناعي دمج تفاصيل متفرقة لتشكيل استنتاج جديد ومفيد؟
الاستدراكية (لحظة "مهلاً، شيء آخر"):
- السيناريو: تقول: "حسناً، الخطة وضعت. لقد انتهيت من كل شيء!".
- الحركة المبادرة: الذكاء الاصطناعي العادي يقول: "رائع! أتمنى لك وقتاً ممتعاً". أما الذكاء الاصطناعي المبادر فيقول: "رائع! شيء واحد فقط: بما أنك تضع تلك المعدات الثقيلة في سيارتك، تذكر أن تضع جهاز العرض (البروجيكتور) في النهاية ليكون أول ما تخرجه عند وصولك".
- الاختبار: هذا هو الجزء الأصعب. هل أضاف الذكاء الاصطناعي قيمة بعد انتهاء المهمة تقنياً، دون أن يكون مزعجاً؟
كيف اختبروا ذلك (الخلطة السرية)
للتأكد من أن الذكاء الاصطناعي لا يقوم بمجرد التخمين أو قراءة إجابات الاختبار، قام الباحثون ببناء نظام "الوكلاء الثلاثة"، مثل مسرحية بها ثلاثة ممثلين:
- المخرج (المخطط): هذا الذكاء الاصطناعي يكتب السيناريو ويقرر متى يختبر المساعد. هو يعرف الهدف السري و"نموذج التقييم" (ورقة الدرجات)، لكنه لا يخبر المساعد به أبداً.
- الممثل (وكيل المستخدم): هذا الذكاء الاصطناعي يلعب دور الإنسان. هو يتبع تعليمات المخرج ولكنه يتحدث بشكل طبيعي، مستخدماً شخصيات مختلفة (ثرثار، غاضب، دقيق، إلخ).
- المؤدي (نموذج المساعد): هذا هو الذكاء الاصطناعي الذي يتم اختباره. هو لا يرى سوى المحادثة فقط. ليس لديه أدنى فكرة أنه يخضع للتقييم، ولا يعرف ما هو الهدف السري، ولا يعرف حقيقة "المستخدم".
هذا الإعداد يمنع الذكاء الاصطناعي من "الغش" عن طريق حفظ أسئلة الاختبار أو مجرد محاولة الظهور بمظهر لطيف.
ماذا وجدوا
اختبر الباحثون 16 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي (الأذكى المتاحة حالياً) في 198 محادثة. وإليكم المفاجأة الكبرى:
- الفجوة الاستجابية: معظم النماذج بارعة في الإجابة على الأسئلة المباشرة. إنهم مثل طلاب ممتازين يحصلون على درجة 'A' في الاختبار إذا طرح المعلم السؤال بدقة.
- الفجوة المبادرة: عندما جاء الأمر إلى مرحلة الاستدراك (لحظة "مهلاً، شيء آخر")، فشلت جميع النماذج تقريباً فشلاً ذريعاً. حتى أذكى ذكاء اصطناعي نجح في حوالي 37% من الحالات فقط.
- الانفصال: كون الذكاء الاصطناعي بارعاً في البرمجة أو الرياضيات أو المنطق (اختبارات الذكاء الاصطناعي القياسية) لم يكن يتنبأ بمن سيكون بارعاً في المبادرة. يمكنك أن تملك عبقرياً في البرمجة ولكنه سيء جداً في توقع احتياجاتك.
حكم البشر
طلب الباحثون من بشر حقيقيين تقييم إجابات الذكاء الاصطناعي.
- هل يحبه الناس؟ نعم! عندما كان الذكاء الاصطناعي مبادراً، فضله البشر بنسبة 80% على الاستجابات التقليدية "المهذبة لكن الفارغة".
- هل هو مجرد "تابع مطيع"؟ لا. فقد عاقب الاختبار الذكاء الاصطناعي الذي يكتفي بالموافقة على كل شيء أو يقدم نصائح عامة. كان على الذكاء الاصطناعي استخدام تفاصيل محددة من المحادثة ليكون مفيداً.
الخلاصة
يُظهر ProactBench أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً في اتباع الأوامر، إلا أنه لا يزال يتعلم كيف يكون شريكاً مفيداً. إنه حالياً جيد جداً في فعل ما يُطلب منه، لكنه يعاني في ملاحظة ما تحتاجه قبل أن تنطق به. يشير المؤلفون إلى أن هذا ليس مجرد نقص في الذكاء؛ بل هو اختلاف في "السياسة" أو السلوك. أفضل نماذج الذكاء الاصطناعي تتعلم لتكون أكثر شبهاً بصديق مراعٍ يتوقع احتياجاتك، بدلاً من مجرد آلة حاسبة سريعة جداً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.