Semantic Tracing in LLM-Based Multi-Agent Systems Using LangChain, LangGraph, and LangSmith for AI Governance

ملخص تقني: التتبع الدلالي في الأنظمة متعددة الوكلاء القائمة على النماذج اللغوية الكبيرة (LLM)

بيان المشكلة
تواجه المؤسسات التي تتبنى الأنظمة متعددة الوكلاء القائمة على النماذج اللغوية الكبيرة (LLM) تحديات جسيمة في الحوكمة، تشمل "الذكاء الاصطناعي الخفي" (Shadow AI)، وانتشار الهلوسة، وانحراف التعليمات، ونقص الرؤية حول كيفية إنتاج القرارات. وبينما تلتقط منصات المراقبة مثل LangSmith آثار التنفيذ (execution traces)، إلا أنها لا تقيس بطبيعتها ما إذا كانت الوكلاء قد حافظوا على المعنى الدلالي، والقيود، والالتزامات بالأدلة عبر عمليات التسليم والتسلم بين الوكلاء. تفتقر الأطر الحالية إلى طريقة متكاملة لمعاملة "الحفاظ على المعنى" ككمية قابلة للقياس أساسية وربط هذه القياسات بضوابط حوكمة الذكاء الاصطنالة للمؤسسات (مثل NIST AI RMF، وقانون الاتحاد الأوروبي للذكاء الاصطناعي).

المنهجية
تستخدم الدراسة نهجاً مختلط الأساليب يرتكز على امتداد تجريبي محلي لنموذج SHADOWAI-RISK الأولي، وهو أداة بحث أكاديمية لحوكمة مخاطر الذكاء الاصطناعي في المؤسسات. تميز المنهجية بين الخط المرجعي الحتمي الأصلي وحالة تجريبية جديدة:

1. البنية التجريبية:

   • التنسيق (Orchestration): تم التنفيذ باستخدام LangGraph (StateGraph) لإدارة العقد ذات الحالة (المخزون، الأدلة، الحوكمة، المراجعة البشرية) والتوجيه الشرطي، بما في ذلك بوابات المراجعة البشرية الإلزامية.
   • الاستدلال والأدوات: تم التنفيذ باستخدام LangChain (ChatOpenAI, ChatPromptTemplate, JsonOutputParser) لاستدعاء النماذج اللغوية الكبيرة الفعلي، وتغليف الأدوات (مثل البحث في NVD CVE)، وتحليل المخرقات المهيكلة مع آليات إعادة المحاولة.
   • المراقبة (Observability): يُستخدم LangSmith حصرياً للتتبع الخاص، والتقاط النطاقات (spans)، وتسجيل البيانات الوصفية. وهو لا يقوم بحساب المقاييس الدلالية أو اتخاذ قرارات الحوكمة.
   • التقييم الدلالي: تقوم طبقة منفصلة قائمة على القواعد بمقارنة حزم التسليم (handoff packets) للكشف عن الانحراف، وإغفال القيود، والادعاءات غير المدعومة.

2. آلية التسليم (Handoff Mechanism):

   • يتبادل الوكلاء حزم تسليم مهيكلة (مدققة عبر Pydantic) تحتوي على معرفات الأهداف، ومجموعات القيود، ومصادر الأدلة، ومستويات الثقة، والمخاطر المتبقية.
   • تعمل هذه الحزم كوحدة تحليل لقياس الدقة الدلالية.

3. التصميم التجريبي:

   • تم إكمال مصفوفة محكومة من 450 عملية سير عمل (مع صفر حالات فشل نهائية).
   • الحالات:
     • الخط المرجعي الحتمي (محفوظ من النموذج الأولي الأصلي).
     • نظام متعدد الوكلاء (LLM) بدون تقييم دلالي (160 جولة).
     • نظام متعدد الوكلاء (LLM) مع تتبع LangSmith + تقييم دلالي (160 جولة).
     • دراسات التباين والاستئصال (140 جولة).
   • المقاييس: تم تحديد مجموعة رسمية تشمل: درجة الحفاظ الدلالي (SPS)، دقة تسليم الوكيل (AHF)، معدل انحراف التعليمات (IDR)، درجة اكتمال الأثر (TCS)، دقة استخدام الأدوات (TUA)، معدل الامتثال للحوكمة (GCR)، معدل انتشار الهلوسة (HPR)، ودرجة موثوقية سير العمل (WRS).

المساهمات الرئيسية
تساهم الورقة في ثمانية عناصر محددة، تميز بين الميزات المنفذة والبنى المقترحة:

• C1: بناء مفاهيمي للتتبع الدلالي وتمثيل حزمة التسليم.
• C2: خط أنابيب مراقبة متممركز حول LangSmith ومجموعة مقاييس رسمية (مع ملاحظة أن المعايرة البشرية قيد الانتظار).
• C3: نموذج أولي محلي يعمل يتضمن أربعة أدوار للوكلاء وبوابة مراجعة بشرية.
• C4–C5: تنفيذ فعلي لاستدعاء نماذج LangChain واستخدام LangGraph للتنسيق مع التوجيه القائم على الحالة.
• C6: فصل صريح بين التنسيق، والاستدلال، والضمانات الحتمية، والتقاط الأثر، والتقييم الدلالي، والقرار البشري.
• C7: مقارنة الخط المرجعي مقابل التجريبي ضد نموذج SHADOWAI-RISK غير المعدل.
• C8: رسم خرائط تفسيرية لإشارات التتبع الدلالي مع ضوابط الحوكمة (NIST، ISACA، EU، إلخ).

النتائج
أسفرت المصفوفة التجريبية المكتملة (450/450 جولة) عن النتائج المقارنة التالية بين حالة الـ LLM مع التقييم الدلالي وحالة الـ LLM بدون التقييم:

• اكتمال الأثر (TCS): أقل بكثير في الحالة التي تم فيها تمكين التقييم (0.624 مقابل 0.912؛ قيمة p المعدلة بـ Holm < 0.001، وCliff's δ ≈ −0.33). فقد حددت طبقة التقييم النطاقات/الحقول المفقودة التي لم يكتشفها الأثر الخام.
• موثوقية سير العمل (WRS): أقل بشكل ملحوظ مع التقييم الدلالي تحت كل من مخططات الوزن المتساوي وخبير الوزن (تأثيرات صغيرة).
• المقاييس الدلالية والحوكمة: لم يتم العثور على فروق ذات دلالة إحصائية لـ SPS، أو AHF، أو IDR، أو TUA، أو GCR، أو HPR، أو HEP بين حالتي الـ LLM.
• دقة القرار: تشابهت صحة عائلة القرارات (59/160 مقابل 57/160؛ p ≈ 0.91).
• زمن الاستجابة (Latency): سجلت الحالة التي مكنت التقييم زمن استجابة أعلى بشكل ملحوظ (~126.2 ثانية مقابل ~101.7 ثانية؛ Cliff's δ ≈ 0.67، تأثير كبير).
• التكلفة: تحملت كلتا الحالتتين تكلفة محلية قدرها 0 دولار (باستخدام تنفيذ نموذج محلي).
• كشف الانحراف: في سيناريوهات الاضطراب المتحكم بها، نجح نظام متعدد الوكلاء في اكتشاف انحراف التعليمات ونقص الأدلة، بينما لم يستطع الخط المرجعي الحتمي اكتشاف انحراف القيود على مستوى الخطوة (رغم أنه تعامل مع البيانات المفقودة بشكل صحيح عبر القواعد الحتمية).

الأهمية والادعاءات
تدعي الورقة بتواضع أن القيمة الأساسية للامتداد متعدد الوكلاء هي شفافية العملية وقابلية التدقيق، وليس التفوق في دقة القرار النهائي.

• قيمة الحوكمة: يوفر الإطار آلية لفحص كيفية تبادل الوكلاء للمعلومات، وأين تُفقد القيود، وأين يجب أن تتدخل ضوابط الحوكمة. وهو يدعم وظائف "القياس" و"الحوكمة" في إطار عمل NIST AI RMF من خلال إنشاء أدلة قابلة للتدقيق لسلوك الوكيل.
• الواقع التشغيلي: تثبت الدراسة أن البنية المفاهيمية يمكن تشغيلها باستخدام LangChain وLangGraph وLangSmith دون تعديل عمليات النشر الإنتاجية.
• القيود: يذكر المؤلفون صراحة أن فعالية الحفاظ الدلالي لم يتم إثباتها في بيئة الإنتاج. لا تزال المعايرة البشرية لأوزان المقاييس، ودراسات الاتفاق بين المقيمين، والتحقق الخارجي على مجموعات البيانات المشروحة قيد الانتظار. تستند النتائج إلى امتداد تجريبي محلي، وليس إلى نشر على نطاق الإنتاج.
• الخلاصة: بالنسبة لمهام الحوكمة ذات القواعد الثابتة التي تتطلب فقط توصية نهائية، يظل الخط المرجعي الحتمي كافياً. ومع ذلك، بالنسبة للإعدادات التي تتطلب رؤية في الاستدلال الوسيط، وتواصل الوكلاء، والمساءلة الدلالية، فإن البنية متعددة الوكلاء توفر قدرات يفتقر إليها سير العمل الحتمي، وإن كان ذلك على حساب زيادة زمن الاستجابة وتعقيد التنفيذ.