Detect, Localize, and Explain: Interactive Hierarchical Log Anomaly Analytics with LLM Augmentation

ملخص تقني: Krone-viz – تحليل تفاعلي هرمي لثغرات السجلات باستخدام تعزيز النماذج اللغوية الكبيرة (LLM)

بيان المشكلة
تعتمد البنى التحتية الحديثة كثيفة البيانات بشكل كبير على السجلات (Logs) لمراقبة الأنظمة وتشخيص الثغرات. ومع ذلك، تواجه طرق اكتشاف ثغرات السجلات الحالية قيوداً كبيرة؛ حيث تعمل معظم الأساليب التقليدية على تسلسلات سجلات مسطحة (Flat Sequences)، مما ينتج درجة شذوذ واحدة لتسلسل كامل دون القدرة على تفسير النتائج أو تحديد المواضع الدقيقة للأجزاء الشاذة. ورغم أن الأساليب الحديثة المعتمدة على النماذج اللغوية الكبيرة (LLM) تحسن من قابلية التفسير من خلال الشروحات باللغة الطبيعية، إلا أنها لا تزال تعمل على تسلسلات مسطحة. علاوة على ذلك، تعاني هذه الأساليب المعتمدة على LLM من قيود نافذة السياق (Context Window) والتكاليف الحسابية الباهظة عند تطبيقها على مجموعات بيانات السجلات الضخمة. هناك نقص في الأنظمة التي يمكنها تفكيك السجلات بفعالية إلى وحدات دلالية لتمكين التحديد الدقيق والموضعي والشرح مع إدارة تكاليف النماذج اللغوية الكبيرة.

المنهجية: إطار عمل Krone
يقدم البحث إطار عمل Krone، وهو مصمم لتحويل تسلسلات السجلات المسطحة إلى وحدات دلالية متماسكة هرمياً. وKrone-viz هو نظام التصور التفاعلي المبني على هذا الإطار لجعل هذه القدرات قابلة للتنفيذ من قبل المهندسين. تعتمد المنهجية على ثلاثة ابتكارات أساسية:

1. نموذج تجريد السجلات لـ Krone (Krone-Tree):
   يقدم Krone تجريداً هرمياً يعيد بناء الدلالات التنفيذية مباشرة من السجلات. وهو يحدد تسلسلاً هرمياً دلالياً من ثلاثة مستويات:

• الكيانات (Entities): تقابل مكونات النظام.
• الإجراءات (Actions): تلتقط العمليات المنفذة.
• الحالات (Statuses): تعكس نتيجة كل إجراء.
  باستخدام التعرف على الكيانات المسماة (NER) القائم على LLM على قوالب السجلات، يبني Krone ما يسمى بـ Krone-Tree. تسمح هذه الشجرة بتفكيك تسلسلات السجلات الطويلة والمسطحة إلى Krone Seqs—وهي أجزاء متصلة ومتماسكة دلالياً ممثلة كمتواليات عقد عبر مستويات الكيان والإجراء والحالة.

2. اكتشاف الثغرات الهرمي والنمطي:
   يتم صياغة اكتشاف الثغرات كمهام نمطية فوق Krone Seqs المفككة. يستخدم النظام استراتيجية تنسيق تصاعدية (Bottom-up Orchestration):

• التصفية خفيفة الوزن: يقوم كاشف مطابقة الأنماط (Pattern-matching detector) أولاً بتقييم Krone Seqs لتصفية الأنماط الطبيعية المعروفة بكفاءة.
• الاستدعاء الانتقائي لـ LLM: فقط Krone Seqs غير المؤكدة أو غير المعروفة هي التي تستدعي التفكير القائم على LLM.
• التوقف المبكر: يفحص النظام الأجزاء ذات المستوى الأدنى (الحالة) أولاً. إذا تم اكتشاف ثغرة في مستوى أدنى، تتوقف العملية فوراً لتجنب الحسابات غير الضرورية على التكوينات ذات المستويات الأعلى، حيث تنتقل الثغرات صعوداً.
• التحقق السياقي: يوفر التسلسل الهرمي نطاقاً دلالياً محددًا، مما يسم يسمح لـ LLM بتأصيل تفكيره في أنماط السلوك الطبيعية (مثل انتقالات الإجراء النموذجية داخل كيان معين) باستخدام أمثلة داخل السياق.

3. قاعدة المعرفة للاكتشاف المستهلك (Amortized Detection):
   إدراكاً بأن Krone Seqs هي وحدات تنفيذ ذرية تتكرر بشكل متكرر عبر تسلسلات سجلات مختلفة، يحتفظ Krone بـ قاعدة معرفة هرمية.

• إعادة الاستخدام: بمجرد تقييم Krone Seq (سواء بواسطة PM أو LLM)، يتم تخزين النتيجة والشرح.
• تقليل التكلفة: أثناء عملية الاكتشاف، يستعلم النظام من قاعدة المعرفة هذه أولاً، ويستدعي الـ LLM فقط في حال عدم وجود مدخل مطابق. وهذا يقلل بشكل كبير من استدعاءات LLM المتكررة.
• التحسين المستمر: تدعم قاعدة المعرفة عمليات التصحيح من قبل البشر (Human-in-the-loop)، مما يسمح للمستخدمين بمراجعة المعرفة المخزنة لتحسين جودة الاكتشاف والشرح في المستقبل.

عرض Krone-viz التوضيحي
يقدم البحث Krone-viz، وهو منصة تفاعلية تم عرضها على مجموعة بيانات HDFS الشهيرة. يصور النظام المراحل الأربع لسير عمل Krone:

1. استخراج الهيكل الهرمي: يقوم المستخدمون بتحميل قوالب السجلات، ويقوم النظام ببناء Krone-Tree، موضحاً العلاقات الدلالية بين الكيانات، الإجراءات، والحالات.
2. معالجة بيانات التدريب: يراقب المستخدمون كيفية تفكيك تسلسلات السجلات الطبيعية إلى Krone Seqs هرمية وتخزينها كوحدات تنفيذ حقيقية (Ground-truth).
3. اكتشاف الثغرات: يقوم المستخدمون بتفعيل عملية الاكتشاف على تسلسلات الاختبار. توضح الواجهة عملية التنسيق النمطية التصاعدية، مع تسليط الضوء على الأجزاء التي حددها مطابق الأنماط وتوفير شروحات مولدة بواسطة LLM للثغرات المؤكدة.
4. إدارة المعرفة: يمكن للمستخدمين استكشاف قاعدة المعرفة المتراكمة، وعرض الإحصائيات لعقد معينة، وفحص نتائج الاكتشاف التفصيلية، وتجاوز أو مراجعة المعرفة المخزنة لتوجيه التحليل المستقبلي.

النتائج الرئيسية
يسجل البحث تحسينات شاملة لإطار عمل Krone مقارنة بالطرق السابقة بناءً على معايير عامة من الواقع:

• الدقة: تحسنت درجة F1-score من 82.76% (الطرق السابقة) إلى 92.83%.
• كفاءة البيانات: قللت المنهجية المساحة المطلوبة للبيانات بمقدار 117.3 ضعفاً.
• كفاءة موارد LLM: قلل النظام استخدام LLM إلى 1.1%–3.3% من حجم بيانات الاختبار من خلال الاستفادة من قاعدة المعرفة والاستدعاء الانتقائي.

الأهمية
يزعم البحث أن Krone-viz يعالج الفجوة الحرجة في تحليل السجلات من خلال جعل التفكيك الهرمي، وتحديد المواضع، والشرح أمراً قابلاً للتفسير والتنفيذ لمهندسي البرمجيات ومشغلي الأنظمة. ومن خلال دمج استخدام LLM الفعال مع إطار عمل نمطي وهرمي، يتيح Krone ما يلي:

• التحديد الدقيق للمواضع: تحديد أجزاء محددة شاذة ضمن سياقات التنفيذ بدلاً من مجرد تصنيف التسلسلات بأكملها.
• قابلية التوسع بتكلفة فعالة: تقليل التكاليف الحسابية ومتطلبات البيانات بشكل جذري مقارنة بأساليب التسلسل المسطح المعتمدة على LLM.
• التحليل بمشاركة العنصر البشري (Human-in-the-Loop): تمكين المستخدمين من مراجعة وتصحيح وتحسين الرؤى المولدة بالذكاء الاصطناعي، مما يقلل من مخاطر "الهلوسة" ويبني أساساً معرفياً قابلاً لإعادة الاستخدام للتحسين المستمر للنظام.

يُقدم هذا العمل كنموذج لكيفية تحقيق تحليل سجلات قابل للتوسع وقابل للتفسير من خلال دمج النماذج اللغوية الكبيرة (LLM) بكفاءة ومراعاة للتكلفة.