Evaluating Assurance Cases as Text-Attributed Graphs for Structure and Provenance Analysis

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تقييم حالات التأكيد كرسوم بيانية ذات سمات نصية لتحليل البنية والمصدر".

1. بيان المشكلة

حالات التأكيد (Assurance cases) هي حجج مهيكلة تُستخدم في الصناعات المنظمة (مثل الطيران، وسلامة الذكاء الاصطناعي) لتبرير أن نظاماً ما يلبي متطلبات محددة، مدعوماً بالأدلة. تقليدياً، يتم بناء هذه الحالات يدوياً، مما يجعلها مجهدة وتفتقر إلى القدرة على التوسع.

• التحدي: إن صعود النماذج اللغوية الكبيرة (LLMs) لأتمتة توليد حالات التأكيد يفرض مخاطر تتعلق بـ الثقة، والتتبع، والتحيز. فالحجج التي تولدها النماذج اللغوية الكبيرة قد تبدو سليمة هيكلياً، لكنها غالباً ما تفتقر إلى التماسك المنطقي، أو تغفل الروابط الاستدلالية الحرجة، أو تظهر أنماطاً هرمية مختلفة عن التفكير البشري.
• الفجوة: تعتمد طرق التقييم الحالية بشكل كبير على تشابه النصوص أو الاستدلال باللغة الطبيعية، مما يجعلها تفشل في استيعاب الاعتماد المتبادل المعقد والطوبولوجيا الهيكلية المتأصلة في حجج التأكيد. هناك حاجة إلى إطار عمل يمكنه تحليل البنية والمصدر (بشري مقابل ذكاء اصطناًعي) لهذه الحجج للكشف عن التحيز وضمان الموثوقية.

2. المنهجية

يقترح المؤلفون إطار تشخيص الرسوم البيانية (Graph Diagnostic Framework) الذي ينمذج حالات التأكيد كـ رسوم بيانية ذات سمات نصية (Text-Attributed Graphs - TAGs). في هذا التمثيل:

• العقد (Nodes): تمثل عناصر الحجة (مثل الادعاءات، الاستراتيجيات، الأدلة، السياقات) مع سمات نصية مشفرة عبر نماذج لغوية مدربة مسبقاً (مثل BERT).
• الحواف (Edges): تمثل العلاقات المنطقية (الروابط) بين هذه العناصر.

يعالج إطار العمل مهمتين رئيسيتين باستخدام الشبكات العصبية الرسومية (GNNs):

أ. التنبؤ بالروابط (Link Prediction)

• الهدف: تعلم واستنتاج الاتصالات المفقودة أو الضمنية بين عناصر الحجة.
• النهج: يتنبأ النموذج باحتمالية وجود حافة بين عقدتين ($v_i, v_j$) بناءً على تضمينات العقد المتعلمة.
• الهدف: قياس قدرة النموذج على استيعاب التبعيات الهيكلية والدلالية عبر تنسيقات مختلفة لحالات التأكيد (الهياكل الشجرية مقابل ترميز هيكلة الأهداف - GSN).

ب. تصنيف الرسم البياني (تصنيف المصدر - Graph Classification)

• الهدف: التمييز بين حالات التأكيد المؤلفة بشرياً وتلك المولدة بواسطة النماذج اللغية الكبيرة (LLM-generated).
• النهج: يقوم النموذج بتجميع تضمينات العقد في تمثيل رسومي عالمي (عبر التجميع/pooling) ثم يصنف الرسم البياني بأكمله.
• الهدف: الكشف عن التحيزات الهيكلية والأسلوبية المتأصلة في البيانات الاصطناعية، ليكون بمثابة أداة تشخيصية لتحديد الهلوسة أو التحيزات التوليدية المحتملة.

ج. تحليل القابلية للتفسير (Explainability Analysis)

• تستخدم الدراسة GNNExplainer لتحليل سلوك النموذج، وقياس الأمانة (Fidelity) (مدى مطابقة التفسير لقرار النموذج) وتحديد أي العقد/الحواف هي التي تقود عملية التصنيف.

3. المساهمات الرئيسية

1. مجموعة بيانات منسقة: قام المؤلفون بتجميع مجموعة بيانات متاحة للجمهور من حالات التأكيد الممثلة كرسوم بيانية. وهي تتضمن:
   • حالات مؤلفة بشرياً: من أشجار السلامة وتنسيقات GSN.
   • حالات مولدة بواسطة النماذج اللغية الكبيرة: تم تخليقها باستخدام GPT-4o.
   • تدعم مجموعة البيانات كل من التنبؤ بالروابط وتحليل المصدر عبر نماذج بنيوية مختلفة.
2. إطار تقييم تجريبي: دراسة شاملة تقيم الشبكات العصبية الرسومية (GCN, GAT, GraphSAGE, UniGraph) والنماذج اللغوية التوليدية (Llama, Qwen) في مهمتين متكاملتين: الاستدلال الهيكلي (التنبؤ بالروابط) وكشف التحيز (تصنيف الرسم البياني).
3. تحليل التحيز الهيكلي: تقدم الورقة دليلاً على أن حالات التأكيد المولدة بواسطة النماذج اللغية الكبيرة تظهر أنماط ربط هرمية وتوزيعات عقد متميزة مقارنة بتلك المؤلفة بشرياً، وهو ما يمكن اكتشافه عبر طوبولوجيا الرسم البياني.
4. تحديد فجوة القابلية للتفسير: تكشف الدراسة أن النماذج تحقق دقة عالية في التصنيف، إلا أن طرق التفسير الحالية تظهر أمانة متوسطة فقط، مما يشير إلى وجود فجوة بين الاستدلال المتوقع وبنية الحجة الحقيقية.

4. النتائج الرئيسية

التنبؤ بالروابط (RQ1)

• من بشري إلى بشري: تؤدي الشبكات العصبية الرسومية المدربة على بيانات بشرية أداءً قوياً (ROC-AUC $\approx$ 0.76–0.85)، متفوقة بشكل كبير على النماذج المرجعية القائمة على النص فقط من النماذج اللغية الكبيرة. وهذا يؤكد أن المعلومات الهيكلية حاسمة لاستدلال الروابط.
• من نموذج لغوي إلى بشري (عبر المصادر): النماذج المدربة فقط على البيانات المولدة بواسطة النماذج اللغية الكبيرة تؤدي أداءً ضعيفاً عند اختبارها على البيانات البشرية (انخفاض كبير في AUC/F1). يشير هذا إلى وجود عدم تطابق في التوزيع وأن النماذج اللغية الكبيرة تفشل في تعلم التفكير الهرمي الحقيقي للبشر.
• التعلم شبه الخاضع للإشراف: يؤدي الجمع بين البيانات البشرية وبيانات النماذج اللغية الكبيرة في التدريب إلى تحسين التعميم بشكل كبير. حقق نموذج UniGraph (نموذج أساسي للرسوم البيانية) أفضل النتائج (ROC-AUC $\approx$ 0.868)، مما يشير إلى أن مصادر التدريب المتنوعة تخفف من الفجوات الهيكلية.
• تحليل العمق: تفوقت النماذج الضحلة (طبقة واحدة) عموماً على النسخ الأكثر عمقاً، مما يشير إلى أن استدلال الروابط في حالات التأكيد يعتمد على معلومات الجوار المحلية بدلاً من الانتشار العالمي العميق.

تصنيف الرسم البياني (RQ2)

• دقة الكشف: تميز الشبكات العصبية الرسومية بين الحالات البشرية والمولدة بواسطة النماذج اللغية الكبيرة بدقة عالية (F1 $\approx$ 0.94–0.98).
• إشارات التحيز: تكتشف النماذج أن الحالات المولدة بواسطة النماذج اللغية الكبيرة تحتوي على عدم انتظام، مثل الاعتماد غير المتناسب على عقد "الهدف" (Goal) و"الاستراتيجية" (Strategy) رفيعة المستوى، وتكامل غير متسق لـ "السياق" (Context).
• فشل النماذج النصية فقط: فشلت النماذج اللغية التوليدية (باستخدام التعلم داخل السياق) في تصنيف المصدر بدقة (F1 < 0.2)، مما يثبت أن الطوبولوجيا الهيكلية هي المفرق الرئيسي، وليس مجرد المحتوى النصي.

القابلية للتفسير (RQ2b)

• الأمانة (Faithfulness): بينما النماذج دقيقة، فإن تفسيراتها ليست دائماً أمينة.
  • أظهر نموذج GCN عزواً متوازناً.
  • أظهر نموذج GraphSAGE أمانة مستقطبة (الاعتماد على عدد قليل جداً من العقد).
  • كانت أمانة مستوى الحافة منخفضة بشكل عام، مما يشير إلى أن النماذج تعتمد أكثر على سمات العقد (المحتوى الدلالي) من هياكل الحواف للتصنيف، رغم أن المهمة هي مهمة هيكلية.

5. الأهمية والآثار المترتبة

• السلامة والاعتماد: يوفر إطار العمل طريقة عملية لمراجعة وثائق السلامة المولدة بواسطة الذكاء الاصطناعي. يمكنه تحديد الحجج المولدة بواسطة النماذج اللغية الكبيرة للفحص البشري الوثيق قبل عملية الاعتماد.
• ما وراء تشابه النصوص: تثبت الدراسة أن تحليل طوبولوجيا الحجج يتفوق على التشابه القائم على النص في الكشف عن هلوسات الذكاء الاصطناعي والتحيز الهيكلي في المجالات الحرجة للسلامة.
• كفاءة البيانات: يسلط نجاح UniGraph و GraphPrompt الضوء على أن النماذج الأساسية للرسوم البيانية يمكنها تعلم الدلالات الهيكلية المعقدة ببيانات محدودة، مما يعالج ندرة حالات التأكيد البشرية عالية الجودة.
• الاتجاهات المستقبلية: تشير النتائج إلى مسار نحو التحسين التكراري للنماذج اللغية الكبيرة، حيث يمكن لمصنفات الرسوم البيانية أن تعمل كمميزات (discriminators) في حلقات التدريب التنافسي لتحسين الجودة الهيكلية لحالات التأكيد المولدة.

في الختام، تؤسس هذه الورقة على أن حالات التأكيد هي في الأساس مسائل رسوم بيانية. ومن خلال الاستفادة من الشبكات العصبية الرسومية (GNNs)، لا يستطيع الباحثون التنبؤ بالروابط المفقودة فحسب، بل يمكنهم أيضاً اكتشاف "بصمة" التوليد بالذكاء الاصطناعي، مما يوفر طبقة حيوية للتحقق من هندسة السلامة المؤتمتة.