ملخص تقني: ما وراء الإجابة النهائية: تقييم مسارات الاستدلال للوكلاء المعززين بالأدوات

بيان المشكلة

أدت التطورات الأخيرة في النماذج اللغوية الكبيرة (LLMs) إلى تحفيز تطوير وكلاء معززين بالأدوات قادرين على الاستفادة من الأدوات الخارجية للتغلب على القيود الجوهرية. وبينما توجد معايير متنوعة (مثل GTA، وm&m's) لقياس أداء الوكيل، فإن منهجيات التقييم الحالية تقتصر بشكل أساسي على مقاييس "مطابقة الإجابة" (Answer Match). وتتحقق هذه الطرق فقط مما إذا كانت المخرجات النهائية تطابق إجابة الحقيقة الأرضية (ground-truth)، متجاهلة الجوانب الحرجة لمسار الاستدلال مثل الكفاءة، والهلوسة، والقدرة على التكيف.

يجادل المؤلفون بأن الوكلاء الذين يحققون نفس دقة الإجابة النهائية قد يمتلكون جودة استدلال متفاوتة تمامًا. فقد يقوم أحد الوكلاء بحل المهمة بكفاءة وبأقل عدد من الخطوات، بينما قد ينخرط آخر في عمليات زائدة عن الحاجة، أو يولد هلوسات، أو يفشل في التكيف عندما تكون الأدوات غير متاحة. علاوة على ذلك، غالبًا ما تعتمد أساليب التقييم الحالية على مقارنة مسار الوكيل بمسار واحد محدد مسبقًا للحقيقة الأرضية. وهذا أمر إشكالي لأن مسارات متعددة صالحة يمكن أن توجد لمطلب واحد، مما يجعل عملية وسم جميع المسارات الصالحة مكلفة للغاية وقد يؤدي إلى معاقبة الحلول البديلة الصالحة. بالإضافة إلى ذلك، تعاني المقيمات القائمة على النماذج اللغوية الكبيرة من صعوبة في تقييم السياقات الطويلة والمعقدة بفعالية دون وجود مراجع مثل هذه.

المنهجية: إطار عمل TRACE

لمعالجة هذه القيود، قدمت الورقة البحثية إطار عمل TRACE (التقييم القائم على المسار للاستدلال والتقييم الشامل)، وهو إطار عمل خالٍ من المراجع (reference-free) مصمم للتقييم متعدد الأبعاد للنماذج اللغوية الكبيرة المعززة بالأدوات.

المكونات الأساسية

1. بنك الأدلة ($E$): مكون مركزي في TRACE هو بنك الأدلة الذي يتم بناؤه ديناميكيًا. فبينما يتفاعل الوكيل مع الأدوات، تولد كل خطوة زوجًا من (الإجراء، المدخلات، والملاحظة) ($e_t = (a_t, i_t, o_t)$). يتم تجميع هذه العناصر في بنك أدلة ($E_t$)، مما يخلق سجلًا موضوعيًا ومنظمًا لتاريخ تفاعل الوكيل. يسمح هذا التراكم المنظم للمقيم بتقييم الاتساق المنطقي دون الاعتماد على حوارات كاملة غير منظمة.
2. مقاييس التقييم: يقيم TRACE المسارات عبر ثلاثة أبعاد حرجة:
   • الكفاءة (Efficiency): تُقاس بعد تحليل المسار بعد إنتاج إجابة نهائية صحيحة. يحدد مقيم النموذج اللغوي الكبير الحد الأدنى من مجموعة الأدلة ($E_{min}$) المطلوبة لاستنتاج الإجابة منطقيًا من إجمالي الأدلة المجموعة ($E_n$). درجة الكفاءة هي نسبة $|E_{min}| / |E_n|$. يحدد هذا المقياس الخطوات غير الضرورية دون الحاجة إلى مسار أمثل للحقيقة الأرضية.
   • الهلوسة (Hallucination): يتم تقييمها خطوة بخطوة. لكل فكرة ($th_t$)، يتحقق الإطار مما إذا كان الاستدلال مستندًا إلى الأدلة من البنك من الخطوات السابقة ($E_{t-1}$). تُصنف الفكرة على أنها هلوسة إذا كانت تحتوي على معلومات أو افتراضات غير مدعومة بالأدلة المتراكمة.
   • القدرة على التكيف (Adaptivity): تُقاس عندما يواجه الوكيل فشلًا في تنفيذ الأداة (مثل خطأ "الأداة غير متوفرة"). يتحقق الإطار مما إذا كانت الفكرة اللاحقة للوكيل تقر بالفشل وتختار استراتيجية بديلة منطقية (مثل أداة مختلفة أو نهج معدل).

مجموعة بيانات التقييم الميتا (Meta-Evaluation Dataset)

للتحقق من صحة TRACE، أنشأ المؤلفون مجموعتي بيانات Meta-GTA و Meta-m&m's. تعمل هذه المجموعات على تعزيز المعايير الموجودة (GTA و m&m's) من خلال:

• توليد مسارات متعددة صالحة للحقيقة الأرضية لاستعلام واحد.
• حقن مسارات معيبة استراتيجيًا تحتوي على حالات عدم كفاءة، وهلوسة، وسيناريوهات تتعلق بالقدرة على التكيف.
• وسم كل خطوة بالدرجات المقابلة لعدم الكفاءة، والهلوسة، والقدرة على التكيف.

المساهمات الرئيسية

1. إطار تقييم خالٍ من المراجع: يوفر TRACE منهجية فعالة لتقييم السلامة المنطقية لعملية استدلال الوكيل دون الاعتماد على مسار واحد للحقيقة الأرضية، مما يتيح تحليل أداء أكثر مرونة وواقعية حتى مع النماذج مفتوحة المصدر الصغيرة.
2. التقييم متعدد الأبعاد: يقدم الإطار منهجية تقييم شاملة تركز على مقاييس حاسمة وغالبًا ما يتم تجاهلها: الكفاءة، الهلوسة، والقدرة على التقلب، مما يوفر رؤية شاملة لقدرات الوكيل تتجاوز الدقة النهائية.
3. رؤى تجريبية: تقدم الورقة تحليلًا متعمقًا لأداء وكلاء النماذج اللغوية الكبيرة الحاليين في مهام استخدام الأدوات المعقدة، مما يكشف عن الاتجاهات ويقترح استراتيجيات للتحسين.

النتائج

أجرى المؤلفون تجارب واسعة النطاق على مجموعات بيانات التقييم الميتا الخاصة بهم ومهام استخدام الأدوات الواقعية (مجموعة بيانات GTA) باستخدام نماذج متنوعة مملوكة ومفتوحة المصدر.

• دقة التقييم الميتا: يتفوق TRACE بشكل كبير على مناهج "النموذج اللغوي كحكم" (LLM-as-a-Judge) البدائية التي تقيم المسارات الكاملة دون وجود بنك للأدلة. والجدير بالذكر أن TRACE يتيح تقييمًا دقيقًا باستخدام نماذج أصغر مفتوحة المصدر (مثل Llama-3.1-8B)، حيث تعاني المنهجية البدائية. تسمح آلية بنك الأدلة لهذه النماذج الأصغر بتحقيق أداء يقارب النماذج الأكبر المملوكة مع تقليل وقت وتكلفة التقييم.
• المتانة تجاه تنوع المسارات: على عكس الطرق الحالية مثل PIPA (التي تقيس اتساق الحالة)، يحافظ TRACE على دقة عالية وانحراف معياري منخفض حتى عند وجود مسارات صالحة متعددة لمهمة واحدة، مما يظهر متانة تجاه تنوع المسارات.
• تحليل أداء الوكيل: كشف تطبيق TRACE على وكلاء حقيقيين أن النماذج ذات الدقة الإجمالية المتشابهة تظهر تفاوتات كبيرة في جودة الاستدلال:
  • أظهر نموذج Qwen-72B كفاءة عالية ولكن معدل هلوسة أعلى مقارنة بـ GPT-4.1.
  • أظهر نموذج o3-mini معدلات هلوسة منخفضة بشكل ملحوظ ولكنه عانى من ضعف القدرة على التكيف (انخفاض القدرة على التعافي من فشل الأدوات).
  • أظهرت النماذج الأصغر (مثل Llama-8B) أخطاءً أعلى في اتباع التعليمات وكفاءة أقل، مما يشير إلى الحاجة لآليات تصحيح عند النشر.
  • استهلاك الرموز (Tokens): لوحظ وجود ارتباط سلبي بين عدد الرموز المخرجة/الدورات والدقة الإجمالية، مما يشير إلى أن خطوات الاستدلال المفرطة غالبًا ما تدخل ضوضاء وتؤدي إلى تدهور الأداء، خاصة بالنسبة للنماذج الأصغر.

الأهمية

تزعم الورقة أن الاعتماد فقط على دقة الإجابة النهائية يحجب الاختلافات الجوهرية في جودة عمليات الاستدلال الكامنة. ومن خلال تقديم TRACE، يوفر المؤلفون أداة لـ:

• تشخيص أنماط الفشل: التمييز بين الوكلاء الذين يفشلون بسبب الهلوسة، أو عدم الكفاءة، أو نقص القدرة على التكيف.
• توجيه اختيار النماذج: تمكين المستخدمين من اختيار النماذج بناءً على أولويات محددة (مثل إعطاء الأولوية للكفاءة مقابل الموثوقية) بدلاً من مقياس دقة واحد.
• تحسين تطوير الوكلاء: تقديم رؤى قابلة للتنفيذ حول أسباب الأداء الضعيف لوكلاء النماذج اللغوية الكبيرة، مثل الحاجة إلى تحسين اتباع التعليمات في النماذج الأصغر أو تعزيز آليات التكيف.

يؤكد العمل أن التقييم الحقيقي لقدرات الوكيل يتطلب فحص مسار الاستدلال، وليس فقط الإجابة النهائية، لتطوير وكلاء أكثر فعالية وموثوقية معززين بالأدوات.