ShopEase: A Generative AI-Based Multi-Agent Framework for Intelligent Enterprise Customer Support Using Hybrid Retrieval-Augmented Generation
تقدم هذه الورقة ShopEase، وهو إطار عمل للذكاء الاصطنا Generative متعدد الوكلاء لدعم العملاء في المؤسسات، والذي يستفيد من نموذج LLaMA 3.2 المحلي والاسترجاع الهجين، مبرهناً من خلال التقييم على 2,632 استعلاماً أن الاسترجاع الكثيف باستخدام FAISS يتفوق على أساليب الاسترجاع الهجين المتفرقة وإعادة الترتيب من حيث الدقة مع تجنب عقوبات زمن الاستجابة المرتبطة بإعادة ترتيب المشفر المتقاطع (cross-encoder reranking).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الأعمال الحديث، يعني الحفاظ على رضا العميل غالبًا الإجابة على أسئلتهم بسرعة ودقة. فعندما يشتري شخص ما شيئًا عبر الإنترنت ثم يحتاج إلى معرفة معلومات حول استرداد الأموال، أو تأخر الشحن، أو منتج تالف، فإنه يتوقع إجابة فورية. لعقود من الزمن، حاولت الشركات أتمتة ذلك باستخدام برامج الدردشة الآلية (Chatbots)، وهي برامج حاسوبية مصممة للدردشة مثل البشر. تعمل هذه البرامج بشكل جيد في الأسئلة البسيطة والمتكررة، لكنها غالبًا ما تتعثر عندما يصبح الموقف معقدًا. إذا سأل العميل عن سياسة محددة مع ذكر طلب سابق أو مشكلة فريدة في الوقت ذاته، فقد يفقد البرنامج الأساسي مساره لأنه لا يستطيع تذكر المحادثة أو العثور على كتاب القواعد الصحيح. ولحل هذه المشكلة، يعمل الباحثون الآن على بناء أنظمة تعمل كفريق من المتخصصين بدلاً من مجرد روبوت واحد. تستخدم هذه الأنظمة الجديدة طريقة تسمى "التوليد المعزز بالاسترجاع" (Retrieval-Augmented Generation)، وهي طريقة معقدة تعني أن الكمبيوتر يبحث عن الحقائق في قاعدة بيانات قبل أن يتحدث، مما يضمن أن إجابته مبنية على قواعد الشركة الحقيقية بدلاً من مجرد التخمين. كما يستخدمون "وكلاء" متعددين (Agents)، أو برامج صغيرة تتولى مهام مختلفة، مثل وكيل يتذكر هوية العميل، وآخر يستخرج السياسة الصحيحة، وثالث يقرر ما إذا كان هناك حاجة لتدخل بشري.
قام فريق من الباحثين في المعهد الهندي للتكنولوجيا في "خاراجبور" ببناء نظام جديد يسمى "ShopEase" لاختبار مدى نجاح نهج الفريق هذا في دعم العملاء للمؤسسات. كان هدفهم هو إنشاء إطار عمل يمكنه التعامل مع الرحلة الكاملة لاستفسار العميل، بدءًا من لحظة طرح السؤال وصولًا إلى الإجابة النهائية، مع معرفة متى يتم تمرير المهمة إلى موظف بشري. تم تصميم النظام من ستة أجزاء متميزة تعمل معًا. أولاً، يقوم "حارس" بفحص السؤال الوارد للتأكد من أنه آمن وواضح. بعد ذلك، يقوم "وكيل" بتحديد ما يريده العميل بالفعل. وتقوم وكلاء آخرون باستدعاء التاريخ الشخصي للعميل من قاعدة بيانات واسترجاع تفاصيل من المحادثات السابقة. ثم يقوم فريق استرجاع مركزي بالبحث عبر آلاف وثائق السياسات للعثور على القواعد المحددة التي تنطبق على الموقف. وإذا شعر النظام أن المشكلة معقدة للغاية أو تنطوي على مخاطر، يقوم "وكيل تصعيد" بتسليم الحالة إلى إنسان. وأخيرًا، يقوم "مشرف" بتنسيق كل هذه الخطوات والتأكد من مراجعة الاستجابة النهائية قبل إرسالها إلى العميل.
ولمعرفة ما إذا كان هذا التصميم فعالًا حقًا، اختبر الباحثون النظام على مجموعة كبيرة مكونة من 2,632 سؤالًا حقيقيًا من أسئلة العملاء التي تم عزلها خصيصًا لهذه التجربة. غطت هذه الأسئلة ست فئات شائعة: استرداد الأموال، المرتجعات، مشاكل الشحن، الإلغاءات، المنتجات التالفة، ومجموعة من الأسئلة التي لم تندرج تحت أي فئة واضحة. أراد الفريق معرفة أي طريقة لإيجاد وثيقة السياسة الصحيحة هي الأفضل. لقد جربوا ست استراتيجيات بحث مختلفة؛ اعتمد بعضها فقط على مطابقة الكلمات الدقيقة، بينما استخدم البعض الآخر طريقة تفهم المعنى وراء الكلمات، حتى لو كانت المفردات مختلفة. كما اختبروا تركيبات من هذه الطرق وأضافوا خطوة تتمثل في إجراء فحص ثانٍ أكثر دقة على النتائج الأولى لمعرفة ما إذا كان ذلك سيحسن الإجابة النهائية.
أظهرت النتائج أن فهم معنى السؤال كان أكثر أهمية بكثير من مطابقة الكلمات الدقيقة. حقق النظام الذي اعتمد كليًا على إيجاد وثائق ذات معانٍ متشابهة أعلى معدل نجاح، حيث حدد فئة السياسة الصحيحة لـ 85.37 بالمائة من الأسئلة بشكل صحيح. وكان هذا أفضل بكثير من النظام الذي بحث فقط عن الكلمات المتطابقة، والذي أصاب في الإجابة لـ 55.74 بالمائة فقط من الحالات. ومن المثير للاهتمام أن إضافة خطوة الفحص الدقيق الإضافية تلك لم تساعد؛ بل جعلت النظام أبطأ دون أن تجعله أكثر دقة. وجد الباحثون أن الوقت المستغرق للحصول على إجابة زاد بشكل ملحوظ عند إضافة طبقة المعالجة الإضافية هذه، ومع ذلك لم يرتفع عدد الإجابات الصحيحة. يشير هذا إلى أنه بالنسبة لهذا النوع من المهام، فإن البحث السريع القائم على المعنى أكثر فعالية من العملية متعددة الخطوات والأبطأ.
عندما نظر الباحثون عن كثب في المواضع التي نجح فيها النظام والمواضع التي فشل فيها، ظهر نمط واضح. كان النظام جيدًا جدًا في التعامل مع الأسئلة المتعلقة بالشحن والإلغاء والمرتجعات، حيث حصل غالبًا على الإجابة الصحيحة لأكثر من 90 بالمائة من المرات. ومع ذلك، عانى بشكل كبير مع الأسئلة التي لا تندرج بوضًا تحت فئة معروفة. فعندما طرح عميل سؤالًا غامضًا لا يطابق أي سياسة محددة، كان النظام غالبًا ما يخمن ويصنف السؤال ضمن فئة معروفة على أي حال، بدلًا من الاعتراف بأنه لا يعرف الإجابة. كان هذا هو المصدر الرئيسي للأخطاء. كما واجه النظام صعوبة في التمييز بين استرداد الأموال والمرتجعات، حيث تستخدم هاتان العمليتان لغة متشابهة، مما أدى إلى بعض الارتباك. ورغم هذه الهفوات، أثبتت الدراسة أن نظام الوكلاء المتعددين يمكنه بنجًا الجمع بين تاريخ العميل، وذاكرة المحادثة، واسترجاع السياسات في سير عمل واحد منسق.
اختبر الباحثون أيضًا ما يحدث عند إزالة أجزاء معينة من النظام لمعرفة مدى أهمية كل قطعة. وجدوا أن إزالة الجزء الذي يتذكر التفاصيل الشخصية للعميل تسبب أكبر انخفاض في مدى شعور الإجابات بالتخصيص. وقد أكد هذا أن معرفة من هو العميل أمر لا يقل أهمية عن معرفة القواعد. كما أدت إزالة الجزء الذي يعالج تاريخ المحادثة إلى تراجع جودة الإجابات، وإن كان بدرجة أقل من فقدان بيانات العميل. أما الجزء المسؤول عن تسليم الحالات للبشر فقد كان له تأثير أقل على جودة الإجابات الآلية، وهو أمر منطقي لأن مهمته الأساسية هي التدخل عندما لا يستطيع الجهاز حل المشكلة، وليس تحسين أداء الجهاز نفسه.
في النهاية، أثبت نظام "ShopEase" أن النهج القائم على الفريق يعمل بشكل جيد لدعم المؤسسات، بشرط استخدام الأدوات المناسبة. أظهرت الدراسة أن الاسترجاع الكثيف (Dense Retrieval)، الذي يفهم معنى الكلمات، يتفوق على مطابقة الكلمات المفتاحية البسيطة لهذا النوع من العمل. كما كشفت أن إضافة خطوات إعادة التحقق المعقدة يمكن أن تبطئ العمل دون إضافة قيمة. ورغم أن النظام ليس مثاليًا، خاصة عند التعامل مع الأسئلة الغامضة أو الخارجة عن النطاق، إلا أنه يوفر أساسًا متينًا لمستقبل خدمة العملاء. يقترح الباحثون أن التحسينات المستقبلية يجب أن تركز على طرق أفضل للكشف عن متى يكون السؤال خارج نطاق معرفة النظام، وعلى توسيع مكتبة السياسات لتغطية سيناريوهات أكثر تنوعًا. أما الآن، فإن هذا العمل يوفر خارطة طريق واضحة لبناء أنظمة دعم ذكية، سريعة، دقيقة، وجاهزة لتسليم المهمة إلى إنسان عندما يتطلب الموقف ذلك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.