ملخص تقني: ما وراء الإجابات النهائية: تدقيق الهلوسة على مستوى المسار في سير عمل الوكلاء المتعددين في الصناعة

1. بيان المشكلة

إن الانتقال من النماذج اللغوية الكبيرة (LLMs) الساكنة إلى الأنظمة الوكيلية المستقلة يقدم نمط فشل حرج: الهلوسة على مستوى المسار (trajectory-level hallucination). وبينما تُقيّم المعايكات الحالية (مثل TruthfulQA وAgentBench) الهلوسة بشكل أساسي كأخطاء واقعية "ذات دفعة واحدة" في المخرجات النهائية، إلا أنها تفشل في رصد الانحرافات التي تحدث ضمن دورات الفكر-الإجراء-الملاحظة (TAO) المتسلسلة والمدعومة بالأدوات في أنظمة الوكلاء المتعددين.

في البيئات الصناعية مثل مراقبة مراكز البيانات (تحديداً ضمن إطار عمل AssetOpsBench)، لا تُعد الهلوسة مجرد إجابة خاطئة؛ بل هي انحراف هيكلي عن الأدلة ينتشر عبر حلقة الوكيل. يمكن أن تظهر هذه الانحرافات في شكل تخطي للإجراءات، أو إشارات خاطئة لكيانات من خطوات سابقة، أو انتهاكات للنطاق حيث يتصرف الوكيل خارج تفويضه. إن نماذج التقييم الحالية، التي تعامل الحالات كأزواج معزولة من المدخلات والمخرجات، لا يمكنها تشخيص ما إذا كان النظام قد فشل بسبب سوء فهم البيئة أو اختلاق حالات غير موجودة. علاوة على ذلك، غالباً ما يتم الخلط بين تعريف الهلوسة في الحلقات التفاعلية وبين الأخطاء المنطقية أو فشل تنفيذ الأدوات، مما يفتقر إلى الدقة المطلوبة للتحليل التشخيصي.

2. المنهجية

يقدم المؤلفون Trajel، وهو مجموعة بيانات وإطار عمل تقييمي مصمم لتدقيق الهلوسة على مستوى المسار في سير عمل الوكلاء المتعددين في الصناعة. وتتكون المنهجية من أربعة مكونات أساسية:

أ. هيكل المسار والصورية (Formalism)

يتم نمذجة سير العمل كنظام ذكاء اصطنا-مركب $\Phi = (M, C, T_{tool})$، حيث تمثل $M$ الوكلاء المدفوعين بالنماذج اللغوية الكبيرة، و $C$ هو المنسق، و $T_{tool}$ هي مجموعة الأدوات. يستمر التنفيذ كسلسلة من الخطوات $s_t = (a_t, \tau_t, \alpha_t, \omega_t)$، حيث $\tau_t$ هو الفكر، و $\alpha_t$ هو الإجراء، و $\omega_t$ هي الملاحظة. والمسار $T$ هو الأثر المرتب لهذه الخطوات.

ب. تصنيف الهلوسة الواعي بالمسار

يُعرف الورقة الهلوسة كشرط هيكلي فوق أثر TAO، وتُصنف إلى خمسة أنواع متميزة:

1. الواقعية ($h_F$): ادعاءات تتعارض مع البيانات الواقعية في الخطوة الحالية.
2. المرجعية ($h_R$): إشارات إلى كيانات أو نتائج سابقة غائبة عن تاريخ المسار (النموذج "يتذكر" شيئاً لم يحدث أبداً).
3. المنطقية ($h_L$): استنتاج لا يتبع مقدماته، حتى لو كانت المقدمات صحيحة.
4. الإجرائية ($h_P$): تخطي أو إعادة ترتيب أو اختلاق خطوات مطلوبة بموجب مواصفات المهمة، أو الادعاء بإتمام خطوات غائبة.
5. النطاق ($h_S$): تصرف الوكيل أو ادعاؤه بالعمل خارج تفويضه التشغيلي المحدد (وهو أمر فريد في بيئات الوكلاء المتعددين).

ج. بناء مجموعة البيانات (Trajel)

تتكون مجموعة البيانات من 225 مسار وكيل تم تصنيفها من قبل خبراء، تم إنتاجها عبر 6 تكوينات للنماذج و 42 مهمة صناعية من مهام AssetOps.

• بروتوكول التصنيف: يعمل نهج هجين على الحد من التحيز. يتم تقييم المسارات أولاً بواسطة نموذج لغوي كبير كحكم (LLM-as-a-Judge)، يليه مراجعة بشرية عمياء من مؤسستين (IBM وColumbia University) دون الوصول إلى أحكام النموذج اللغوي.
• العلامات (Labels): تتضمن التصنيفات وجود الهلوسة، ونوعها (متعدد العلامات)، وموقعها داخل المسار (الفكر، الإجراء، الملاحظة، الاستجابة)، والتعليل النصي الحر.
• الإحصائيات: بلغ معدل الهلوسة الذي حدده البشر 68.3%، مع معامل كوهين $\kappa$ قدره 0.456 بين الأحكام الآلية والبشرية. ومن الجدير بالذكر أن 48.7% من المسارات المهلوسة تظهر أنواعاً متعددة في آن واحد.

د. إطار نمذجة الكشف

يختبر المؤلفون ثلاثة نماذج كشف خاضعة للإشراف لمعالجة متطلبات السياق المختلفة:

1. التصنيف على مستوى المهام الفرعية (BERT): يعمل على الخطوات الفردية ($\tau_t, \alpha_t, \omega_t$) للكشف عن الإشارات المحلية (فعال للهلوسة الواقعية).
2. الاستلزام الطبيعي (NLI) على مستوى المسار: يعامل الكشف كمسألة استلزام حيث يكون تاريخ المسار هو المقدمة والخطوة الحالية هي الفرضية (يستهدف الهلوسة المرجعية والمنطقية).
3. النمذجة ذات السياق الطويل (Longformer): يستوعب المسار الكامل المتسلسل للكشف عن الانتهاكات الهيكلية العالمية مثل الهلوسة الإجرائية وهلوسة النطاق.

هـ. تحليل الإشارات

تتقصى الدراسة إشارات جودة التنفيذ التي يمكن ملاحظتها أثناء أو بعد التنفيذ مباشرة (إكمال المهمة، دقة استرجاع البيانات، التحقق من النتيجة، صحة تسلسل الوكيل، والوضوح والتبرير) لتحديد قوتها التنبؤية للهلوسة.

3. النتائج الرئيسية

أ. الانتشار والتصنيف

• الهلوسة الإجرائية هي أكثر أنماط الفشل شيوعاً، حيث تمثل 38.5% من الإخفاقات المحددة. وهذه الإخفاقات غير مرئية للتقييم القائم على المخرجات فقط.
• تعقيد تعدد العلامات: يشترك ما يقرب من نصف (48.7%) من المسارات المهلوسة في أنواع متعددة في وقت واحد، مما يؤكد الحاجة إلى صياغات متعددة العلامات بدلاً من التصنيفات أحادية العلامة.
• تباين النماذج: تختلف معدلات الهلوسة بشكل جذري عبر النماذج، حيث تتراوح من 52.4% إلى 81.0%، مما يشير إلى تباينات كبيرة في كيفية حفاظ البنى المختلفة على الارتباط بالواقع عبر الآفاق الزمنية الطويلة.

ب. أداء الكشف

• النموذج اللغوي كحكم (LLM-as-a-Judge): بينما حقق دقة ثنائية عالية (F1 = 0.855)، إلا أن الحكم يصنف الأنواع الدقيقة بشكل خاطئ بشكل منهجي. ينخفض الاتفاق مع البشر بشكل كبير بالنسبة للهلوسة المنطقية ($\kappa = 0.211$) و المرجعية ($\kappa = 0.176$).
• النماذج الخاضعة للإشراف: تحقق النماذج الضبطية (BERT، NLI، Longformer) تحسناً عن النماذج المرجعية للأغلبية، لكنها تفشل في مضاهاة حكم النموذج اللغوي (zero-shot) في درجات F1. أفضل نموذج خاضع للإشراف (NLI) حقق ROC-AUC قدره 0.689، مما يؤكد أن الكشف عن الهلوسة على مستوى المسار يظل تحدياً غير محلول للمصنفات الحالية.
• التوطين (Localization): تتركز الهلوسة بشكل متكرر في الإجراءات (47.5% من الإجرائية) و الاستجابات (40.3% من الواقعية)، مما يشير إلى أن الفشل يحدث غالباً في ترجمة الاستنتاج إلى استدعاء الأدوات أو ادعاءات المخرجات.

ج. الإشارات التنبؤية

تحدد الدراسة الوضوح والتبرير (CJ) كأقوى متغير تنبؤي أحادي المتغير للهلوسة.

• المسارات التي تفتقر إلى الاستنتاج الواضح والمستند إلى أدلة تهلوس بمعدل 94.3%، مقارنة بـ 9.1% للمسارات ذات الوضوح العالي.
• تحقق إشارة CJ وحدها AUC قدره 0.908، وهي تتفوق بشكل كبير على أفضل مصنف مدرب (NLI، AUC = 0.689).
• عندما يغيب كل من الوضوح والتحقق من النتيجة، يصل معدل الهلوسة إلى 97.1%، مما يشير إلى أن هذه الإشارات يمكن أن تعمل كشروط "مفتاح إيقاف" (kill-switch) لمنسقي الوكلاء.

4. الأهمية والادعاءات

تزعم الورقة أن الكشف الواعي بالمسار يتفوق بشكل كبير على التحقق التقليدي اللاحق (post-hoc verification)، مما يجعل التقييم القائم على التصنيف أمراً ضرورياً لنشر الوكلاء بشكل آمن.

• التحول في التقييم: يجادل العمل بأن الانتقال من التحقق الثنائي من "الإجابة النهائية" إلى التحليل الهيكلي لأثر الوكيل أمر ضروري. فالنموذج الحالي للمعايقات الثابتة يفشل في التقاط الديناميكيات الزمنية والتفاعلية لحلقات الوكلاء.
• القيمة التشخيصية: يقوم التصنيف المكون من خمسة أنواع بفصل إخفاقات الارتباط بالواقع عن أخطاء الاستنتاج وانتهاكات تدفق التحكم، مما يوفر الدقة اللازمة لتشخيص أين بدأ الانحراف في المسار.
• المسار العملي: تشير النتائج إلى أن المراقبات خفيفة الوزن أثناء التشغيل القائمة على إشارات جودة التنفيذ (خاصة الوضوح والتبرير) توفر مساراً أكثر عملية وفعالية للكشف عن الهلوسة في الوقت الفعلي من تدريب مصنفات خاضعة للإشراف ومعقدة على بيانات مسارات محدودة.
• القصور: يقر المؤلفون بأن مجموعة البيانات محدودة بمجال صناعي واحد (AssetOpsBench) وستة تكوينات للنماذج. كما يظل الاتفاق بين المقيمين متوسطاً بالنسبة للأنواع الأكثر دقة، مما يشيد بالحاجة إلى بروتوكولات تصنيف أغنى. إن الفجوة بين أداء المصنف الخاضع للإشراف وأداء الحكم اللغوي تحفز العمل المستقبلي على البنى الهجينة.

في الختام، يوفر Trajel أول إطار عمل منهجي لتدقيق الهلوسة على مستوى المسار في سير عمل الوكلاء المتعددين في الصناعة، موضحاً أن الهلوسة الإجرائية وهلوسة النطاق منتشرة، وغالباً ما تحدث معاً، وتتطلب طرق تقييم تحترم السلامة الهيكلية لأثر تنفيذ الوكيل.