Designing Reliable LLM-as-a-judge Measurement Systems for Multi-turn Business Agents
تقدم هذه الورقة إطار عمل عملياً وقابلاً للصيانة لتقييم وكلاء الأعمال متعددي الأدوار، يدمج بين حكام النماذج اللغوية الكبيرة (LLM) ذوي التصميم التركيبي، ومحاكاة المستخدم الحافظة للقصد، والحوكمة القائمة على التدخل البشري، لضمان قياس موثوق وقابل للتنفيذ لأداء الوكلاء وفجوات المعرفة التجارية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في الاقتصاد الرقمي الحديث، تعتمد الشركات بشكل متزايد على الذكاء الاصطناعي للتعامل مع المحادثات المعقدة مع العملاء. هذه ليست مجرد تبادلات بسيطة لمرة واحدة حيث يجيب الروبوت على سؤال واحد ثم يختفي، بل هي حوارات متعددة الأدوار حيث قد يستفسر العميل عن منتج، ثم يطلب التحقق من السعر، ويتأكد من عنوان، ثم يشكو من تأخر في الشحن، كل ذلك في سياق واحد. ولضمان عمل هؤلاء المساعدين الرقميين بشكل صحيح، تحتاج الشركات إلى وسيلة لتقييم أدائهم. لسنوات طويلة، استخدم الباحثون طريقة تسمى "النموذج اللغوي الكبير كحكم" (LLM-as-a-judge)، حيث يقوم نموذج ذكاء اصطناعي بتقييم الإجابات التي يقدمها نموذج آخر. وقد أصبح هذا النهج معيارًا لاختبار المهام البسيطة، لكنه يواجه صعوبة عندما تكون المحادثة طويلة، وتتغير القواعد من شركة إلى أخرى، وتعتمد الإجابة الصحيحة على حقائق محددة قد لا يعرفها الذكاء الاصطناعي. ويتمثل التحدي الجوهري في أن المحادثة قد تفشل لسببين مختلفين تمامًا: إما أن الذكاء الاصطناعي مرتبك للغاية لدرجة تمنعه من فهم العميل، أو أن الشركة فشلت ببساطة في تزويد الذكاء الاصطناعي بالمعلومات اللازمة للقيام بعمله. ويعد التمييز بين هذين النوعين من الفشل أمرًا بالغ الأهمية، لأن إصلاح ذكاء اصطناعي مرتبك يتطلب حلاً مختلفًا عن مطالبة الشركة بتحديث بياناتها.
لقد طور فريق من الباحثين في "ميتا" نظامًا جديدًا وشاملًا مصممًا لحل هذه المشكلة تحديدًا. فبدلاً من التعامل مع تقييم هؤلاء الوكلاء كمجرد تمرين لكتابة الأوامر (prompts)، بنوا نظام قياس كامل يحاكي تعقيدات العالم الحقيقي. يجمع نهجهم بين أربعة أجزاء متميزة: تعريف واضح لما يعنيه النجاح لعمل تجاري محدد، ومجموعة من أحكام الذكاء الاصطناعي المتخصصة التي تتحقق من جوانب مختلفة للمحادثة، ومستخدم محاكي يمكنه التفاعل مع الوكيل لاختبار حدود قدراته، وعملية مراجعة بشرية تتحقق باستمرار من دقة النظام بأكمله. ووجد الباحثون أنه من خلال ربط هذه الأجزاء في حلقة واحدة ذاتية التصحيح، استطاعوا قياس ما إذا كان الوكيل قد فشل بسبب قيوده الخاصة أو بسبب نقص البيانات التجارية بشكل موثوق. ومع مرور الوقت، سمح هذا النظام لكل من المراجعين البشريين وأحكام الذكاء الاصطناعي بالتحسن معًا، مما خلق صورة أكثر دقة للأداء مما يمكن لأي منهما تحقيقه بمفرده.
بدأ الباحثون بالإقرار بأنه لا توجد إجابة "صحيحة" واحدة لكل محادثة. في الاختبار القياسي، قد يتم تقييم نموذج بناءً على قائمة ثابتة من الإجابات الصحيحة والخاطئة. ولكن في بيئة عمل حقيقية، فإن عبارة مثل "نحن نشحن إلى ذلك العنوان في غضن ثلاثة أيام" تكون صحيحة فقط إذا كانت الشركة تمتلك بالفعل سياسة شحن كهذه. فإذا كانت بيانات الشركة مفقودة، فلن يعرف الذكاء الاصطناعي الإجابة، وسيكون وصف ذلك بالفشل أمرًا غير عادل. أدرك الفريق أنه لتقييم هؤلاء الوكلاء بإنصاف، كان عليهم أولاً تحديد هدف المحادثة بوضوح. فقد أنشأوا مواصفات تفكك كل تفاعل إلى حالات نهائية محددة. وبدلاً من مجرد قول "جيد" أو "سيئ"، يصنف النظام النتيجة إلى سبعة احتمالات متميزة. تتراوح هذه الاحتمالات من الحل الكامل حيث تُحل مشكلة العميل، إلى الحلول الجزئية، أو الحالات التي كانت فيها المحادثة غير صالحة ولكن تم التعامل معها بشكل جيد. ومن الأهمية بمكان أن النظام يفصل بين حالات الفشل الناتجة عن عدم قدرة الذكاء الاصطناعي على الفهم (فجوة النموذج) وبين حالات الفشل الناتجة عن نقص الحقائق التجارية (فجوة المعرفة). وهذا التمييز حيوي لأنه يخبر الشركة بالضبط من الذي يحتاج إلى إصلاح المشكلة: هل هم المهندسون الذين يبنون الذكاء الاصطناعي أم فريق العمل الذي يقوم بتحديث بياناتهم.
ولاختبار هؤلاء الوكلاء دون الحاجة إلى آلاف العملاء الحقيقيين لتجربتهم، قام الباحثون ببناء مستخدم محاكي. هذا البرنامج هو ذكاء اصطناعي مصمم ليعمل كعميل بشري، ولكن مع قواعد صارمة لضمان بقائه مخلصًا للمهمة الأصلية. للمحاكي وضعان: في الوضع الأول، يقوم بإعادة عرض المحادثات التاريخية، حيث يأخذ المقاصد والحقائق الدقيقة من دردشة عميل حقيقي ويغذي بها الوكيل الجديد ليرى كيف يتفاعل. وفي الوضع الآخر، يتبع مجموعة من التعليمات لإنشاء سيناريوهات جديدة، مثل عميل مرتبك أو شخص يحاول الاحتيال على النظام. والمفتاح في هذا المحاكي هو أنه يخضع للتدقيق لضمان عدم قيامه بتغيير هدف العميل الأصلي عن طريق الخطأ. فإذا اخترع المحاكي طلبًا جديدًا لم يطلبه العميل الحقيقي أبدًا، فسيؤدي ذلك إلى إعطاء قراءة خاطئة لأداء الوكيل. وقد تحقق الباحثون من أن هذا المستخدم المحاكي يمكنه الحفاظ على المهمة الأصلية مع التكيف مع استجابات الوكيل المتغيرة، مما يجعله أداة موثوقة للاختبار قبل الإطلاق.
بمجرد إنشاء المحادثات، تم تقييمها من قبل فريق من أحكام الذكاء الاصطناعي المتخصصة. فبدلاً من الاعتماد على ذكاء اصطناعي واحد ضخم لإعطاء درجة واحدة، يستخدم النظام العديد من الأحكام الصغيرة والمركزة. يتحقق أحد الأحكام مما إذا كان الذكاء الاصطناعي قد اختلق حقائق، ويتحقق آخر مما إذا كان قد اتبع إجراءات الشركة المحددة، بينما يتحقق ثالث مما إذا كان قد تعامل مع قصد العميل بشكل صحيح. ثم يتم دمج هذه الفحوصات الفردية باستخدام مجموعة واضحة من القواعد لتشكيل حكم نهائي. يسمح هذا الهيكل للنظام بالشفافية؛ فإذا تم وسم محادثة ما بأنها فاشلة، يمكن للنظام الإشارة إلى دليل محدد تسبب في ذلك، مثل قائمة أسعار مفقودة أو تعليمات يساء فهمها. كما بنى الباحثون طبقة من الإشراف البشري، حيث يقوم مراجع بشري بفحص عينة من المحادثات بشكل مستقل، دون رؤية ما قرره أحكام الذكاء الاصطناعي. وإذا اختلف الإنسان والذكاء الاصطناعي، يتدخل خبير رفيع المستوى لاتخاذ القرار النهائي. هذه العملية لا تنتج مجرد تسمية أو تصنيف، بل تخلق حلقة تغذية راجعة؛ حيث يتم تحليل حالات الخلاف لمعرفة ما إذا كان المراجع البشري قد ارتكب خطأً، أو إذا كانت الإرشادات غير واضحة، أو إذا كان الحكم الآلي يحتاج إلى إعادة تدريب.
أظهرت نتائج هذا النظام، الذي تم اختباره على مدار عامين ونصف على وكلاء إنتاج حقيقيين، نمطًا واضحًا من التحسن. في البداية، لم تكن الأحكام الآلية أفضل بكثير من الصدفة في تحديد أنواع معينة من حالات الفشل. ومع ذلك، مع مرور النظام عبر دورات متكررة من التدقيق والتعديل، ارتفعت دقة أحكام الذكاء الاصطناعي بشكل ملحوظ. وفي أحد الأبعاد، تحسنت قدرة النظام على اكتشاف نقص المعرفة التجارية من درجة منخفضة إلى مستوى عالٍ من الدقة، لتتجاوز في النهاية أداء المراجعين البشريين في تلك المهمة المحددة. وعلى العكس من ذلك، في أبعاد أخرى، ظل المراجعون البشريون أكثر دقة قليلاً، لكن الفجوة بينهما ضاقت بمرور الوقت. وكان الاكتشاف الأهم هو أن سير العمل المشترك — حيث يعمل الإنسان والآلة معًا في حلقة تغذية راجعة مشتركة — أنتج النتائج الأكثر موثوقية. لم يستبدل النظام الحكم البشري، بل خلق شراكة حيث تولى الجهاز العمل الشاق المتمثل في التحقق من الحقائق، وركز البشر على التفاصيل الدقيقة والمعقدة، مع تعلم كلا الجانبين من أخطاء الآخر.
لقد لاحظ الباحثون بعناية أن هذه النتائج تستند إلى بيانات رصدية من بيئة الإنتاج الخاصة بهم، وليس إلى تجربة منضبطة ضد طريقة أخرى. ولم يدعوا أن نظامهم مثالي عالميًا أو أنه سيعمل بنفس الطريقة لكل شركة. كما أن المراجعين البشريين أنفسهم لم يكونوا معصومين من الخطأ، ووصل أداء النظام في النهاية إلى مرحلة الثبات، مما يعني أنه توقف عن التحسن بعد نقطة معينة. ومع ذلك، أظهرت الدراسة أن التعامل مع تقييم الذكاء الاصطناعي كنظام قياس مستمر، وليس كاختبار لمرة واحدة، يسمح بالتحسين المستمر. ومن خلال تحديد أهداف واضحة، واستخدام أحكام متخصصة، ومحاكاة المستخدمين بعناية، وإبقاء البشر في الحلقة لتصحيح الأخطاء، يمكن للشركات بناء طريقة موثوقة لقياس وكلائهم الرقميين. يضمن هذا النهج أنه عندما تفشل محادثة ما، تعرف الشركة بالضبط لماذا، ويمكنها اتخاذ الإجراء المناسب للإصلاح، سواء كان ذلك عبر تحديث قاعدة بيانات أو إعادة تدريب النموذج.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.