$\tau$-Rec-Books: A Disclosure-Controlled Benchmark for Requirement Elicitation in Agentic Recommender Systems

تخيل أنك تدخل مكتبة حيث يعرف أمين المكتبة كل كتاب في المبنى، لكن لا يمكنك ببساطة تسليمه قائمة بما تريده. بدلاً من ذلك، يجب أن تجري حواراً معه. قد تبدأ بالقول إنك تريد رواية من الخيال العلمي، ولكن بينما يقترح أمين المكتبة عناوين، تدرك أنك تحتاج أيضاً إلى قصة تدور أحداثها قبل عام 2000، أو ربما واحدة مكتوبة بلغة محددة. التحدي الذي يواجه الذكاء الاصطناعي الذي يعمل كأمين لهذه المكتبة لا يكمن فقط في العثور على كتب تطابق قائمة من الحقائق، بل في معرفة ماهية تلك الحقائق في المقام الأول. فالناس الحقيقيون نادراً ما يذكرون كل متطلباتهم في بداية المحادثة؛ بل غالباً ما يكشفون عن احتياجاتهم الحقيقية فقط بعد رؤية اقتراح ما، أو قد يترددون في ذكر ما يبحثون عنه بالضبط حتى تأتي اللحظة المناسبة. إذا خمن الذكاء الاصطناعي مبكراً جداً، فقد يوصي بكتاب يفتقر إلى متطلب خفي، مما يسبب الإحباط للمستخدم. وإذا انتظر طويلاً أو فشل في طرح الأسئلة الصحيحة، فإنه يهدر الوقت. السؤال الجوهري الذي يحاول الباحثون الإجابة عليه هو مدى قدرة هؤلاء المساعدين الرقميين على خوض عملية الاكتشاف الدقيقة هذه، خاصة عندما يحتفظ المستخدم بالمعلومات لنفسه.

ولاستقصاء ذلك، أنشأ فريق من الباحثين تجربة منضبطة تسمى "معيار قياس" (benchmark)، وهي في الأساس اختبار معياري مصمم لقياس الأداء تحت ظروف محددة. لقد بنوا فهرساً رقمياً يحتوي على 20,000 كتاب حقيقي من قاعدة بيانات عامة، مع تفاصيل كاملة مثل النوع، واللغة، وبلد المنشأ، وسنة النشر. ثم صمموا 450 مهمة محددة، تمثل كل منها طلباً فريداً لكتاب ما. وكان الجزء الذكي في تصميمهم هو أنهم أبقوا الطلب الفعلي لكل مهمة متطابقاً تماماً، لكنهم غيروا القواعد المتعلقة بالوقت الذي يُسمح فيه للمستخدم بالكشف عن التفاصيل. في أحد السيناريوهات، المسمى "المتطوع" (volunteer)، أخبر المستخدم الذكاء الاصطناعي بكل ما يريده منذ البداية. وفي سيناريو ثانٍ، المسمى "المختلط" (mixed)، ذكر المستخدم تفصيلاً واحداً مع إبقاء التفاصيل الأخرى مخفية، ولا يكشف عنها إلا إذا طرح الذكاء الاصطناعي السؤال الصحيح. وفي السيناريو الثالث والأكثر صعوبة، المسمى "المخفي" (hidden)، رفض المستخدم ذكر متطلبات معينة بالكامل، مما أجبر الذكاء الاصطناعي على التخمين عبر اقتراح كتب ومراقبة ما إذا كان المستخدم سيقبلها أو يرفضها. استخدم الباحثون مستخدماً محاكياً، وهو برنامج حاسوبي يتبع قواعد صارمة، للتفاعل مع أربعة وكلاء ذكاء اصطناعي مختلفين لمعرفة كيفية أدائهم.

كشفت النتับ حقيقة صارخة حول كيفية تعامل هذه الأنظمة مع المعلومات. عندما تطوع المستخدم بذكر جميع التفاصيل فوراً، كان وكلاء الذكاء الاصطناعي ناجحين بشكل ملحوظ، حيث وجدوا الكتاب الصحيح في كل محاولة تقريباً. ومع ذلك، بمجرد أن أدخل الباحثون الحاجة إلى طرح الأسئلة، انخفض معدل النجاح بشكل كبير. فعندما كشف المستخدم عن بعض التفاصيل فقط عند سؤاله، نجح الوكلاء في حوالي ثلاثة أرباع الحالات. وأصبح الوضع أكثر سوءاً عندما أخفى المستخدم بعض المتطلبات تماماً؛ ففي هذه الحالات، نجح وكلاء الذكاء الاصطناعي في أقل من ثلث الحالات. أظهرت الدراسة أن الصعوبة لم تكن في حجم مجموعة الكتب أو الأدوات المحددة التي استخدمها الذكاء الاصطناعي للبحث، بل في توقيت الحصول على المعلومة. فقد عانى الوكلاء أكثر عندما فشلوا في طرح الأسئلة قبل تقديم التوصية. وعندما تم توجيه الوكلاء صراحةً لطرح الأسئلة، تحسن أداؤهم في المهام "المختلطة" بشكل كبير، ليصل إلى نفس المستويات العالية كما في حالة تقديم جميع المعلومات مسبقاً.

كما اكتشف الباحثون أن أكبر الإخفاقات في سيناريوهات "المخفي" جاءت من خطأ محدد: وهو أن الوكلاء كانوا يوصون بكتاب لم يسبق لهم في الواقع اقتراحه على المستخدم للحصول على حكم بشأنه أولاً. فبدلاً من اختبار أفكارهم، كانوا يلتزمون بإجابة نهائية بسرعة كبيرة. وعندما أُجبر الوكلاء على اقتراح كتاب والانتظار للحصول على "نعم" أو "لا" قبل تقديم توصية نهائية، كان أداؤهم أفضل، رغم أنهم لم يصلوا إلى درجة الكمال. كما قارنت الدراسة بين طريقتين يمكن للذكاء الاصطناعي من خلالهما البحث في الفهرس: إحدى الطريقتين تشبه كتابة كلمات رئيسية في شريط البحث، بينما كانت الأخرى عبارة عن مرشح (فلتر) مهيكل يسمح للذكاء الاصطناعي بتضييق النتائج عبر فئات محددة مثل السنة أو البلد. ساعدت طريقة البحث المهيكلة الوكلاء في العثور على الكتاب الصحيح في كثير من الأحيان، لكنها لم تستطع التغلب على المشكلة الجوهرية المتمثلة في عدم معرفة ما يريده المستخدم.

في النهاية، يوضح هذا العمل أن قدرة الذكاء الاصطناعي على إجراء محادثة ناجحة لا تتعلق فقط بامتلاك الوصول إلى قاعدة بيانات ضخمة من المعلومات، بل تتعلق باستراتيجية الاكتشاف. تثبت الدراسة أنه عندما تكون المتطلبات مخفية، يواجه حتى وكلاء الذكاء الاصطناعي المتقدمون صعوبة في العثور على الإجابة الصحيحة دون عملية واضحة للسؤال والتحقق. ووجد الباحثون أنه إذا طُلب من الوكيل طرح الأسئلة، فإنه يستطيع حل معظم المشكلات التي يكون فيها المستخدم مستعداً للإجابة. ومع ذلك، عندما يرفض المستخدم ذكر متطلب ما ويكتفي بالحكم على الاقتراحات، لا يزال الوكلاء يرتكبون أخطاءً جسيمة، وغالباً ما يوصون بكتب تفشل في تلبية قواعده غير المعلنة. لقد أطلق الفريق جميع بياناتهم، وفهرس الكتب، والشيفرة البرمجية التي استخدموها، مما يسمح لعلماء آخرين بتكرار التجربة والبناء على هذه النتائج. ويشير عملهم إلى أنه لكي يصبح الذكاء الاصطناعي شريكاً حوارياً فعالاً حقاً في مجال التوصيات، يجب أن يتعلم أن يعامل صمت المستخدم أو رفضه للإجابة ليس كنهاية مسدودة، بل كإشارة إلى وجود متطلب خفي، مما يتطلب نهجاً أكثر دقة ومنهجية للاستبعاد والاكتشاف.