EvoCause: LLM-Guided Evolution of Causal Graphs for Root Cause Analysis

تخيل أنك قائد لسفينة فضائية ضخمة وعالية التقنية. فجأة، يبدأ كمبيوتر السفينة بالصراخ بآلاف الإنذارات: "المحرك ساخن!"، "ضغط الهيكل ينخفض!"، "خلل في الملاحة!". إنها عاصفة من الضجيج الفوضوي. مهمتك، المعروفة باسم تحليل السبب الجذري (RCA)، هي معرفة أي إنذار صغير ومحدد تسبب في كل هذه الفوضى لتتمكن من إصلاحه قبل أن تتحطم السفينة. في العالم الحقيقي، يحدث هذا في شبكات الاتصالات وأنظمة السحابة كل يوم. عندما يتعطل جزء واحد، فإنه يطلق تأثير الدومينو من الأخطاء.

لحل هذه المشكلة، يحاول العلماء غالبًا رسم "خريطة" لكيفية تسبب الإنذارات في بعضها البعض، مثل شجرة عائلة للأخطاء. يستخدمون الرياضيات لتعلم هذه الخريطة من البيانات الماضية. ولكن المشكلة تكمكمن في أن الرياضيات ليست مثالية؛ فأحيانًا تكون الخريطة تحتوي على خطوط خاطئة أو روابط مفقودة. عادةً، إذا كانت الخريطة خاطئة، فإن الكمبيوتر يضل الطريق. ولكن ماذا لو استطعت أن تسأل خبيرًا بشريًا: "مهلاً، لقد قلتَ أن هذا كان السبب الجذري في المرة الماضية، لكن خريطتك تقول إنه لم يكن كذلك"، ثم تستخدم ذكاءً اصطناعيًا فائق الذكاء لإصلاح الخريطة بناءً على هذه الملاحظات؟ هذا هو بالضبط السؤال الذي تعالجه هذه الورقة البحثية: كيف نأخذ خريطة أولية صنعتها الرياضيات ونقوم بصقلها باستخدام الحكمة البشرية وذكاء لغوي قوي، لتصبح دليلاً فعالاً للغاية لإصلاح الكوارث المستقبلية.

---

المشكلة: "الخريطة المكسورة" للفوضى

تخيل كرة ضخمة متشابكة من الخيوط حيث كل عقدة هي إنذار. عندما تُسحب عقدة واحدة، فإنها تجذب العقد الأخرى. لإصلاح النظام، تحتاج إلى العثብة العقدة الأولى التي سُحبت. حاول العلماء فك هذا التشابك باستخدام خوارزميات لتعلم نمط الخيوط من التاريخ. يسمون ذلك "رسمًا بيانيًا سببيًا" (Causal Graph) — وهي طريقة معقدة لوصف خريطة توضح أي إنذار يسبب الآخر.

ومع ذلك، فإن هذه الخرائط الرياضية البحتة غالبًا ما تكون فوضوية. قد ترسم خطًا بين إنذارين لا يتحدثان مع بعضهما أبدًا، أو قد تفقد طريقًا مختصرًا سريًا. والأسوأ من ذلك، أن هذه الخرائط عادة ما تكون "ثابتة". بمجرد أن يرسم الكمبيوتر الخريطة، يلتزم بها، حتى لو نظر خبير بشري إلى كارثة سابقة وقال: "لا، لم يكن هذا هو السبب؛ بل كان هذا!". الطرق القديمة تتجاهل صوت الخبير.

الحل: EvoCause، "مُحسِّن الخريطة"

يقدم مؤلفو هذه الورقة نظامًا جديدًا يسمى EvoCause (Evolve Causal Graph). فكر في EvoCause كأنه محرر بارع يأخذ مسودة أولية لخريطة ويعيد كتابتها حتى تصبح أكثر دقة قدر الإمكان للمهمة، باستخدام أداة خاصة: نموذج لغوي كبير (LLM).

إليك كيف تسير القصة في منهجيتهم:

1. المسودة الأولية (المرحلة الأولى): أولاً، يستخدم النظام أدوات رياضية قياسية لرسم خريطة أساسية لكيفية تسبب الإنذارات في بعضها البعض. هذه الخريطة بداية جيدة، لكنها ليست مثالية.
2. مراجعة الخبير (المرحلة الثانية): الآن يأتي السحر. ينظر النظام إلى مجموعة من الكوارث الماضية حيث قال الخبراء البشريون بالفعل: "هذا هو السبب الجذري الحقيقي". يقارن النظام بين إجابات الخبراء وما تنبأت به الخريطة الأولية.
   • عدم التطابق: إذا قالت الخريطة "الإنذار (أ) تسبب في التحطم"، بينما قال الخبير "لا، الإنذار (ب) كان هو المذنب"، يدرك النظام أن الخريطة خاطئة.
   • مهمة النموذج اللغوي الكبير (LLM): بدلاً من مجرد حذف الخريطة، يطلب النظام من ذكاء اصطناي فائق الذكاء (LLM) اقتراح إصلاحات. ينظر الذكاء الاصطناعي إلى عدم التطابق وإلى أسماء الإنذارات (مثل "زيادة حمل الخادم" أو "تأخر الشبكة") ويقول: "آه! ربما نحتاج إلى رسم خط من (ب) إلى (أ)، أو إزالة الخط من (أ) إلى (ج)".
   • فحص السلامة: بما أن اقتراحات الذكاء الاصطناعي هي تخمينات جامحة، فإن برنامج كمبيوتر صارم يتبع القواعد يقوم بفحصها. يتأكد من أن الخريطة الجديدة لا تنشئ حلقات مستحيلة (مثل: أ يسبب ب، ب يسبب ج، وج يسبب أ) ومن أن الأسماء متطابقة. إذا كان الاقتراح آمنًا، يتم تحديث الخريطة.
3. الخريطة النهائية: يكرر النظام هذه العملية، محاولاً إجراء تعديلات مختلفة، حتى يجد الخريطة التي تتطابق بشكل أفضل مع تشخيصات الخبراء السابقة. من المهم ملاحظة أن ملاحظات الخبراء غالبًا ما تحصر الاحتمالات في مجموعة من الخرائط الجيدة بدلاً من الإشارة إلى خريطة واحدة "مثالية" واحدة. يجد EvoCause الخريطة التي تعمل بشكل أفضل للمهمة.

النتائج: خريطة أكثر ذكاءً

اختبر المؤلفون هذه الفكرة بطريقتين: باستخدام بيانات وهمية حيث يعرفون الإجابة "الحقيقية"، ومع بيانات حقيقية من شبكة اتصالات ضخمة في إندونيسيا.

على البيانات الوهمية:
أنشأوا 10 عوالم وهمية مختلفة بقواعد معروفة. عندما بدأوا بخريطة رياضية أساسية وتركوا EvoCause يصقلها، كانت النتائج مبهرة. أصبح النظام أفضل بكثير في العثัง على السبب الجذري الحقيقي.

• حسن دقة العثور على الإنذار الجذري الصحيح بنسبة 11.59 نقطة مئوية.
• حسن دقة الحصول على المجموعة الكاملة الصحيحة من الأسباب الجذرية لحادث معين بنسبة 9.40 نقطة مئوية.
• جعل الخريطة نفسها أكثر دقة، مما قلل من عدد الخطوط الخاطئة بمقدار ملموس.

على البيانات الحقيقية (TeleRCA):
أصدر المؤلفون أيضًا مجموعة بيانات جديدة وضخمة تسمى TeleRCA، تحتوي على 485,681 حدث إنذار من 194 نوعًا مختلفًا من الإنذارات عبر 5,621 موردًا. هذا كنز حقيقي من فوضى الشبكات.

• عندما طبقوا EvoCause على هذه البيانات الحقيقية، كان التحسن أكبر. بالبدء من خريطة أساسية، رفعوا دقة العثور على الإنذار الجذري الصحيح من 65.18% إلى 92.58%.
• اختبروا أيضًا ما إذا كان الذكاء الاصطناعي بحاجة إلى معرفة أسماء الإنذارات (مثل "ارتفاع حرارة المعالج") أم أن مجرد الأرقام ستفي بالغرض. وجدوا أن معرفة الأسماء ساعدت! فعندما أخفوا الأسماء واستخدموا معرفات مجهولة، انخفضت الدقة بنسبة 6.12 نقطة مئوية. وهذا يشير إلى أن الذكاء الاصطناعي يستخدم معنى أسماء الإنذارات لتقديم تخمينات أذكى حول كيفية إصلاح الخريطة.

ماذا يعني هذا؟

تظهر الورقة البحثية أننا لسنا مضطرين للاختيار بين الخرائط "الرياضية فقط" والتخمينات "البشرية فقط". فمن خلال الجمع بينهما، نحصل على شيء أفضل. يعمل النموذج اللغوي الكبير (LLM) كمحرر مبدع يقترح كيفية إصلاح الخريطة بناءً على ملاحظات البشر، بينما يضمن كمبيوتر صارم بقاء الخريطة منطقية.

الأهم من ذلك، بمجرد صقل الخريطة، لا يحتاج النظام إلى الذكاء الاصطناعي أو الخبراء البشريين بعد الآن. فهو يستخدم فقط الخريطة النهائية المصقولة للتنبؤ بالأسباب الجذرية للكوارث الجديدة فورًا. الأمر يشبه تعليم طالب قواعد الطريق من خلال إظهار الحوادث الماضية له؛ بمجرد أن يتعلم، يمكنه القيادة بأمان بمفرده دون الحاجة إلى معلم يجلس بجانبه.

يؤكد المؤلفون بحذر أنهم لم "يحلوا" كل شيء. فقد وجدوا أن ملاحظات الخبراء عادة ما تحصر الاحتمالات في مجموعة من الخرائط الجيدة، لكنها لا تشير دائمًا إلى خريطة واحدة "مثالية". ومع ذلك، فإن طريقتهم تجد خريطة تعمل بشكل ممتاز لمهمة إصلاح الشبكة، مما يجعلها أداة قوية جديدة للحفاظ على سير عالمنا المتصل بسلاسة.