ExecRubrics: Executable Tool-Augmented Rubrics for Verifiable and Efficient Long-Form Evaluation

في عالم الذكاء الاصطناعي سريع التطور، أصبحت النماذج اللغوية الكبيرة أدوات قوية للكتابة، والتفكير، وحل المشكلات. ومع ذلك، ومع ازدياد قدرة هذه الأنظمة، برز تحدٍ كبير: كيف نعرف ما إذا كانت إجاباتها جيدة حقًا؟ حاليًا، يعتمد العديد من المطورين على أنظمة مؤتمتة تعمل كقضاة، حيث يقوم ذكاء اصطناعي بتقييم عمل ذكاء اصطناعي آخر. ورغم أن هذه الطريقة سريعة، إلا أنها غالبًا ما تعمل كصندوق أسود؛ فقد يمنح القاضي درجة عالية لاستجابة ما دون شرح السبب، أو قد يغفل عن أخطاء دقيقة لأن معايير "الجودة" غامضة. هذا النقص في الشفافية يعد أمرًا خطيرًا في المجالات عالية المخاطر مثل الرعاية الصحية أو التمويل، حيث يمكن لتعليمات واحدة يساء فهمها أن تؤدي إلى عواقب وخيمة. ولحل هذه المشكلة، حاول الباحثون منذ فترة طويلة استخدام "نماذج التقييم" (rubrics) — وهي قوائم مراجعة مفصلة للمعايير التي تفكك المهمة المعقدة إلى أجزاء أصغر يمكن إدارتها. ومع ذلك، فإن نماذج التقييم التقليدية تُكتب بلغة طبيعية، مما يتركها عرضة للتأويل. فعبارة مثل "كن مفيدًا" أو "تجنب الأخطاء الطبية" يمكن أن تعني أشياء مختلفة لمختلف القضاة، مما يعيد إدخال الذاتية التي كان من المفترض أن يقضي عليها النظام.

اقترح فريق من الباحثين في جامعة إموري وجامعة واترلو طريقًا جديدًا يسمى "ExecRubrics". فبدلاً من ترك معايير التقييم كجمل غامضة، قاموا بترجمتها إلى برامج حاسوبية مدمجة وقابلة للتنفيذ. تخيل نموذج التقييم ليس كفقرة نصية يتعين على الإنسان أو الآلة قراءتها وتفسيرها، بل كمجموعة دقيقة من التعليمات التي يمكن للحاسوب تشغيلها مباشرة. في هذا الإطار، تُكتب معايير الإجابة الجيدة ككود برمجي. ويمكن لهذا الكود التحقق من أشياء محددة، مثل ما إذا كانت الاستجابة تذكر تحذيرًا طبيًا معينًا، أو تتبع تنسيقًا محددًا، أو تتجنب أنواعًا معينة من الأخطاء المنطقية. ولأن المنطق مكتوب برمجياً، فهو حتمي (deterministic)، مما يعني أنه سينتج دائمًا نفس النتيجة لنفس المدخلات، وهذا يزيل التخمين والتباين الموجود في الحكم البشري أو حكم الصندوق الأسود. وقد اختبر الباحثون هذه الفكرة على ثلاثة معايير مختلفة، بما في ذلك مجموعة بيانات للنصائح الطبية وأخرى تركز على جودة الحجج. ووجدوا أن نماذج التقييم القابلة للتنفيذ هذه يمكنها ترتيب الاستجابات بشكل جيد مثل، وأحيانًا أفضل من، نماذج التقييم التقليدية القائمة على اللغة والتي تعتمد على قضاة من الذكاء الاصطناعي المكلفين. والأهم من ذلك، أن الطريقة الجديدة كانت أسرع بشكل هائل، حيث تعمل بسرعة تصل إلى 320 ضعفًا مقارنة بالنهج القياسي، مع توفير سجل واضح وقابل للفحص يوضح بالضبط سبب حصول الاستجابة على درجة معينة.

يكمن جوهر هذا العمل في تحويل "قصد" نموذج التقييم من وصف إلى عملية تشغيلية. في الإعداد القياسي، قد يقول نموذج التقييم: "يجب أن توصي بالرعاية العاجلة بشكل مناسب". ولتقييم ذلك، يجب على قاضٍ منفصل من الذكاء الاصطناعي قراءة الاستجابة وتحديد ما إذا كانت تستوفي هذا المعيار. وهذا القرار ذاتي ويمكن أن يختلف اعتمادًا على نموذج الذكاء الاصطناعي الذي يقوم بالتحكيم. ويستبدل نهج "ExecRubrics" هذه الخطوة؛ حيث استخدم الباحثون نماذج لغوية متقدمة لتحويل تلك التعليمات المكتوبة باللغة الطبيعية إلى برنامج بلغة بايثون (Python). هذا البرنامج لا يكتفي بقراءة النص فحسب، بل يفحصه بنشاط بحثًا عن أنماط محددة. فقد يبحث عن كلمات رئيسية متعلقة بحالات الطوارئ، أو يتحقق مما إذا كانت الاستجابة تقترح الاتصال بالطبيب، أو يتأكد من أنها تتجنب تقديم طمأنة كاذبة للأعراض الخطيرة. إذا احتوت الاستجة على العناصر الصحيحة، يمنح الكود نقاطًا؛ وإذا افتقدتها أو تضمنت نصائح خطيرة، فإنه يخصم نقاطًا. هذه العملية ليست محاكاة أو تخمينًا، بل هي تنفيذ مباشر للقواعد. وقد أظهر الباحثون أنه من خلال السماح لهذه البرامج باستخدام أدوات معالجة النصوص القياسية — وهي مكتبات يمكنها عد الكلمات، أو تحديد الأسماء، أو اكتشاف النفي — استطاعوا إنشاء مقيمين أكثر تطورًا. تعمل هذه الأدوات مثل عدسة مكبرة للكود، مما يسمح له برصد التفاصيل التي قد تغفل عنها عملية البحث البسيطة عن النص، مثل ما إذا كانت الاستجابة الطبية تتعامل بشكل صحيح مع حساسية المريض أو ما إذا كانت الحجة تقر بوجهة نظر معارضة.

عندما طبق الفريق هذه الطريقة على مجموعات بيانات من العالم الحقيقي، كانت النتائج مذهلة. ففي معيار للنصائح الطبية يسمى "HealthBench"، حققت نماذج التقييم القابلة للتنفيذ دقة تفضيل بلغت 53 بالمائة، وهو ما يطابق أداء أفضل النماذج المرجعية القائمة على اللغة الطبيعية. وفي مجموعة بيانات لجودة الحجج تسمى "ArgQuality"، وصلت نماذج التقييم القابلة للتنفيذ إلى دقة 92 بالمائة، متفوقة على الطرق التقليدية. وفي اختبار ثالث على مجموعة بيانات للمساعدة العامة تسمى "HelpSteer"، حققت دقة 78 بالمائة. تشير هذه الأرقام إلى أن المقيمين القائمين على الكود نجحوا في التمييز بين الاستجابات عالية الجودة ومنخفضة الجودة دون الحاجة إلى إنسان أو ذكاء اصطناعي منفصل لتفسير القواعد في كل مرة. وكانت سرعة النظام مبهرة بنفس القدر؛ فبينما استغرقت الطريقة التقليدية المتمثلة في استخدام قاضٍ من الذكاء الاصطناعي لتقييم كل معيار وقتًا كبيرًا، أكملت نماذج التقييم القابلة للتنفيذ المهام نفسها في جزء من الثانية. وفي بعض الحالات، كانت الطريقة الجديدة أسرع بـ 320 ضعفًا من الطريقة القديمة. وهذه السرعة، مقترنة بالقدرة على رؤية القاعدة التي تم تفعيلها بالضبط، تقدم بديلًا قويًا للمجالات التي تكون فيها الدقة والسرعة أمورًا بالغة الأهمية.

استكشف الباحثون أيضًا كيفية تعامل نماذج التقييم هذه مع المنطق المعقد الذي يتجاوز مجرد قوائم التحقق البسيطة. في نماذج التقييم التقليدية، غالبًا ما تُعامل المعايير كعناصر مستقلة تُجمع ببساطة معًا. ومع ذلك، فإن التقييم في العالم الحقيقي يتطلب غالبًا مزيدًا من الدقة، مثل التعامل مع الاستثناءات أو تطبيق العقوبات. ويمكن لنماذج التقييم القابلة للتنفيذ ترميز هذه التبعيات مباشرة. فعلى سبيل المثال، في استعلام طبي حول حساسية البنسلين، يمكن للكود تفعيل مسار محدد يكافئ اقتراح بدائل غير البنسلين وفي الوقت نفسه يعاقب على أي توصية بالأميكسيسيلين. هذا النوع من المنطق الشرطي يصعب التقاطه في قائمة مراجعة ثابتة، ولكنه طبيعي لبرنامج حاسوبي. وقد أظهرت الدراسة أنه من خلال دمج أدوات خارجية، يمكن لنماذج التقييم أن تصبح أكثر تعبيرًا، حيث تتحقق من أشياء مثل سهولة القراءة، أو النبرة العاطفية، أو وجود تحذيرات سلامة محددة. تشير هذه المرونة إلى أن النهج يمكن أن يتكيف مع الاحتياجات الفريدة لمختلف المجالات، من الرعاية الصحية إلى الاستدلال القانوني، دون فقدان الشفافية.

وعلى الرغم من هذه النجاحات، يوضح المؤلفون بحذر أن هذا ليس حلاً مثاليًا. فهم يشيرون إلى أنه بينما أصبح منطق التقييم صريحًا الآن، فإن نماذج التقييم نفسها يتم إنشاؤها بواسطة الذكاء الاصطناعي، مما يعني أنها قد تكون معيبة أو متحيزة إذا كانت التعليمات الأولية غير واضحة. هناك أيضًا خطر أنه إذا استُخدمت هذه النماذج لتدريب نماذج الذكاء الاصطناعي، فقد تتعلم النماذج "التلاعب" بالنظام من خلال تضمين كلمات رئيسية أو هياكل معينة تطلق درجة عالية دون تقديم إجابة جيدة بالفعل. ويؤكد الباحثون على ضرورة النظر إلى نماذج التقييم القابلة للتنفيذ كأداة لجعل التقييم أكثر شفافية ومساءلة، وليس كبديل للإشراف البشري. ففي البيئات عالية المخاطر، لا تزال هناك حاجة لخبراء بشريين لمراجعة القواعد، وضمان عدالتها، والتحقق من أن الكود يتماشى مع الاحتياجات الواقعية. وتشير الدراسة إلى أن هذا النهج يمثل خطوة مهمة نحو مستقبل لا يكون فيه تقييم الذكاء الاصطناعي مجرد صندوق أسود، بل عملية واضحة وقابلة للتدقيق يمكن فحصها وتعديلها والوثوق بها.

تمتد تداعيات هذا العمل إلى ما هو أبعد من مجرد جعل التقييم أسرع. فمن خلال تحويل معايير التقييم إلى كود، أنشأ الباحثون جسرًا بين الأهداف المجردة للتقدير البشري والتنفيذ الدقيق لبرامج الحاسوب. وهذا يسمح بمستوى من الاتساق يصعب تحقيقه مع المقيمين البشر أو قضاة الذكاء الاصطناعي الغامضين. وإذا احتاج نموذج التقييم إلى تغيير، فيمكن تعديله مباشرة في الكود، ويمكن اختبار تأثير هذا التغيير فورًا. وهذا يجعل عملية التقييم ديناميكية واستجابية للمتطلات الجديدة. كما تسلط الدراسة الضوء على إمكانية استخدام هذه النماذج في تدريب نماذج الذكاء الاصطناعي، مما يوفر إشارة واضحة لما يشكل استجابة جيدة. ومع ذلك، يحذر المؤلفون من أن نجاح النظام يعتمد بشكل كبير على جودة الكود المولد والأدوات المتاحة له. وفي بعض الحالات، كان أداء نماذج التقييم القابلة للتنفيذ أقل قليلاً من أفضل النماذج المرجعية المكتوبة بشريًا، خاصة في السيناريوهات الطبية المعقدة حيث قد يصعب التقاط دقة الموقف في الكود وحده. وهذا يشير إلى أنه بينما يعد هذا الأسلوب قويًا، فإنه ليس بعد بديلاً كاملاً للخبرة البشرية.

في نهاية المطاف، يقدم هذا البحث منظورًا جديدًا حول كيفية تقييم جودة الذكاء الاصطناعي. فهو ينتقل من فكرة الدرجة الواحدة الغامضة إلى نظام من القواعد الشفافة والقابلة للتحقق. وتشير النتائج إلى أنه من خلال جعل منطق التقييم صريحًا، يمكننا بناء أنظمة ليست فقط أكثر كفاءة، بل وأكثر موثوقية أيضًا. ومع استمرار دمج الذكاء الاصطناعي في جوانب حيوية من المجتمع، تصبح القدرة على تدقيق وفهم كيفية اتخاذ القرارات أمراً بالغ الأهمية بشكل متزايد. يوفر "ExecRubrics" إطارًا للقيام بذلك بالضبط، محولاً الفن المجرد للتقييم إلى علم ملموس وقابل للتنفيذ. لا يدعي العمل أنه حل جميع مشكلات تقييم الذكاء الاصطناعي، ولكنه يقدم مسارًا واعدًا، مسارًا تكون فيه معايير النجاح واضحة وموثوقة بقدر الكود الذي يفرضها.