HIERA: Hierarchical Multi-Agent Relevance Assessment for Content Discovery Systems

تخيل أنك تحاول العثور على الفيلم المثالي لمشاهدته أو الأداة الدقيقة التي تحتاجها لمشروع منزلي. تكتب بضع كلمات في شريط البحث، ويجب على الكمبيوتر أن يخمن ما تعنيه حقاً. هذا هو عالم "اكتشاف المحتوى"، حيث تعمل الخوارزميات كمكتبيين رقميين أو مساعدي تسوق. ولكن إليك الجزء الصعب: الحواسيب لا تملك الحدس البشري. فهي تجد صعوبة في فهم أن "لمسة الزئبق المعدني" قد تعني في الواقع "اللون الرمادي" بالنسبة للإنسان، أو أن "خزانة ذات 7 أدراج" تلبي الحاجة لـ "خزانة رمادية" حتى لو لم تتطابق الكلمات تماماً.

ولإصلاح ذلك، يقوم العلماء بتعليم الحواسيب استخدام "نماذج اللغات الكبيرة" (LLMs) — وهي عقول ذكاء اصطناعي فائقة الذكاء يمكنها القراءة والكتابة مثل البشر. والهدف هو جعل هذه الأنظمة من الذكاء الاصطناعي تقيم مدى صلة نتيجة البحث، تماماً كما يفعل الإنسان. ومع ذلك، فإن مطالبة عقل واحد من الذكاء الاصطناعي بالقيام بذلك دفعة واحدة يشبه مطالبة شخص واحد بأن يكون خبيراً في الألوان، وناقداً للأسلوب، وحلالاً للألغاز المنطقية في آن واحد. غالباً ما يصاب هؤلاء بالارتباك، أو يغفلون عن الروابط، أو يقدمون إجابة "جيدة بما يكفي" لكنها ليست دقيقة تماماً. تسأل هذه الورقة سؤالاً بسيطاً ولكنه قوي: ماذا لو لم نعتمد على عقل واحد ضخم، بل قمنا بدلاً من ذلك ببناء فريق صغير ومنظم من المتخصصين الذين يتحدثون مع بعضهم البعض لحل اللغز؟

يقترح مؤلفو هذه الورقة، العاملون في أمازون، نظاماً جديداً يسمى HIERA (التقييم الهرمي لتعدد الوكلاء في الصلة). فكر في HIERA ليس كـ محقق خارق واحد، بل كوكالة تحريات تدار بشكل جيد ولديها تسلسل قيادي صارم. في نظامهم، لا يوجد مجرد وكيل واحد يقوم بكل العمل. بدلاً من ذلك، لديهم "قاضٍ" يقرر ما إذا كانت القضية معقدة، و"محلل استعلام" يستنتج ما يريده المستخدم حقاً، و"محلل عناصر" يدرس المنتج أو الفيلم بالتفصيل، و"محلل علاقات" يعمل كقائد للفريق، يربط النقاط بين رغبة المستخدم وواقع العنصر.

تجد الورقة أن نهج الفريق المنظم هذا أفضل بكثير من الطرق القديمة. فعندما اختبروا HIERA على خمس مجموعات بيانات مختلفة — تتراوح من عمليات البحث عن الأفلام إلى منتجات تحسين المنازل — تفوق النظام على 11 طريقة أخرى. على سبيل المثال، في مجموعة بيانات تسمى EVS (البحث عن فيديوهات الترفيه)، حسّن HIERA الدقة بنسبة هائلة بلغت 38% مقارنة بأفضل طريقة سابقة. وفي مجموعة بيانات "هوم ديبوت" (Home Depot)، تحسن بنسبة 10.2%.

والأهم من ذلك، أثبت الباحثون أن السحر لم يكن مجرد امتلاك المزيد من الوكلاء أو المزيد من المعلومات. فقد أجروا تجارب حيث أعطوا نفس الوكلاء ونفس المعرفة الخارجية لنظام يعمل فيه الجميع بمفردهم ويصوتون فقط على الإجابة في النهاية. ذلك الفريق "المسطح" كان أداؤه أسوأ بكثير. في الواقع، عندما أضافوا المعرفة الخارجية إلى الطرق القديمة غير المنسقة، أصبحت تلك الطرق أسوأ في الواقع. وهذا يشير إلى أن "الخلطة السرية" هي الهيكلية الهرمية: الطريقة المحددة التي يتواصل بها الوكلاء مع بعضهم البعض، حيث يقوم "محلل العلاقات" بتركيب النتائج في قصة متماسكة قبل أن يتخذ "القاضي" القرار النهائي.

تظهر الورقة أنه بالنسبة للمهام المعقدة التي تتطلب فهم الأسلوب، واللون، والوظيفة، والقصد في آن واحد، فإن الفريق المنظم الذي ينسق أفكاره يتفوق بمراحل على مجموعة من الأفراد الذين يصرخون بآرائهم أو عقل واحد يحاول القيام بكل شيء في وقت واحد. وبينما يستغرق النظام وقتاً أطول قليلاً للتشغيل (حوالي 35 ثانية لكل بحث مقارنة بأقل من ثانية للطرق البسيطة)، إلا أنه لا يزال أسرع بـ 50 مرة من الخبير البشري ويوفر إجابات أكثر موثوقية. ويخلص المؤلفون إلى أنه إذا كنت ترغب في بناء نظام بحث ذكي، فإن الاستثمار في هيكل تنسيق جيد هو أهم من مجرد إضافة حواسيب أقوى أو المزيد من البيانات.