FAME: Failure-Aware Mixture-of-Experts for Message-Level Log Anomaly Detection
إن FAME هو إطار عمل يعتمد على خليط من الخبراء وكفاءة التوسيم، يستفيد من تمريرة تعليق واحدة لنموذج لغوي كبير غير متصل بالإنترنت لتدريب نماذج خفيفة الوزن ومحلية لضمان دقة عالية في اكتشاف شذوذ السجلات على مستوى الرسائل، مما يقلل تكاليف التوسيم بشكل كبير مع تحديد الإخفاقات بفعالية عبر الأنظمة غير المتجانسة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مدير لمصنع ضخم يعمل على مدار الساعة طوال أيام الأسبوع. في كل ثانية، تقوم آلاف الآلات بإنتاج قصاصات ورقية صغيرة (سجلات النظام - log messages) تصف ما تفعله. معظم هذه القصاصات تقول: "أنا بخير"، أو "أنا أقوم بعملي". ولكن من حين لآخر، قد تقول إحدى القصاصات: "أنا معطل!" أو "هناك خطب ما!".
المشكلة هي أنك تحصل على ملايين من هذه القصاصات يوميًا. إذا حاولت قراءة كل واحدة منها، فستفقد صوابك. وإذا حاولت قراءتها في مجموعات كبيرة (مثل "آخر 100 قصاصة")، فقد تكتشف مشكلة، لكنك لن تعرف أي قصاصة محددة هي التي تسببت في الإنذار. سيتعين عليك البحث يدويًا عبر مئات القصاصات التي تقول "أنا بخير" لتجد تلك القصاصة الوحيدة التي تقول "أنا معطل!". هذا الأمر بطيء، ومكلف، ومحبط.
هذه الورقة تقدم FAME، وهو نظام جديد مصمم للعثور على القصاصة "المعطلة" بدقة وفورًا، دون الحاجة إلى إنسان يقرأ ملايين السطور.
إليك كيف يعمل FAME، مشروحًا من خلال تشبيهات بسيطة:
1. المشكلة: فخ "المقاس الواحد الذي يناسب الجميع"
تعمل معظم الأنظمة الحالية مثل حارس أمن واحد مجهد يحاول رصد لص وسط حشد من 10 ملايين شخص. هم ينظرون إلى المجموعات؛ فإذا بدا الحشد مريبًا، يقومون بوضع علامة على المجموعة بأكملها. ولكن للعثور على اللص الفعلي، لا يزال عليك استجواب كل شخص في تلك المجموعة.
علاوة على ذلك، يأتي "اللصوص" (الأخطاء) بأنواع مختلفة: شريحة ذاكرة معطلة، خلل في الشبكة، انهيار في البرمجيات. إن محاولة تعليم حارس واحد التعرف على جميع هذه الأنواع المختلفة من الجرائم في وقت واحد أمر صعب للغاية وغالبًا ما يؤدي إلى أخطاء.
2. الحل: "فريق المتخصصين" (خليط من الخبراء)
يغير FAME قواعد اللعبة من خلال توظيف فريق من المتخصصين بدلًا من خبير عام واحد.
- المفهوم: تخيل مستشفى. بدلًا من طبيب واحد يحاول تشخيص نوبات القلب، والكسور، وأعراض الإنفلونزا في آن واحد، لديك طبيب قلب، وطبيب عظام، وطبيب أمراض فيروسية.
- كيف يفعل FAME ذلك: يقوم بتقسيم ملايين سجلات النظام إلى "نطاقات فشل" مختلفة (مثل الأقسام الطبية المختلفة).
- خبير واحد ينظر فقط إلى "أخطاء الذاكرة".
- خبير آخر ينظر فقط إلى "أعطال الشبكة".
- خبير ثالث ينظر إلى "انهيارات البرامج".
ولأن كل خبير يركز فقط على نوع محدد من المشكلات، فإنه يصبح بارعًا للغاية في رصدها.
3. "موظف الاستقبال الذكي" (الموجه - The Router)
لا يمكنك إرسال كل قصاصة ورقية إلى كل متخصص؛ لأن ذلك سيؤدي إلى الفوضى. يستخدم FAME موظف استقبال ذكيًا (موجه يعمل بالذكاء الاصطناعي وخفيف الوزن).
- عندما تصل رسالة سجل جديدة، يلقي الموظف نظرة سريعة عليها ويقول: "هذا يبدو كخطأ في الذاكرة"، ويرسلها فورًا إلى خبير الذاكرة.
- إذا بدت وكأنها مشكلة في الشبكة، فيرسلها إلى خبير الشبكة.
- إذا بدت كرسالة "أنا بخير" عادية، فيرسلها إلى صندوق "الطبيعي العام".
يحدث هذا في أجزاء من الثانية. لا يحتاج الموظف ليكون عبقريًا؛ يكفي أن يعرف أي باب يفتح.
4. "العصف الذهني لمرة واحدة" (استخدام الذكاء الاصطناعي الضخم)
هذا هو الجزء الذكي. كيف تقرر أي المتخصصين ستوظف وما هي مسمياتهم الوظيفية؟
- الطريقة القديمة: قد تحاول تدريب الفريق بأكمله من الصفر، مما يتطلب قراءة ملايين الأمثلة المصنفة (إنسان يقرأ كل قصاصة ويصنفها كـ "معطلة" أو "سليمة"). هذا مكلف وبطيء للغاية.
- طريقة FAME: تستدعي ذكاءً اصطناعيًا فائق الذكاء (نموذج لغوي كبير - LLM) لمرة واحدة فقط، خارج وقت التشغيل الفعلي.
- تعرض للذكاء الاصطناوي الفائق بعض الأمثلة على الأخطاء المختلفة.
- يقول الذكاء الاصطناـي الفائق: "حسنًا، لقد رأيت نمطًا. لننشئ فريق 'خطأ ذاكرة'، وفريق 'خطأ شبكة'، إلخ".
- يرسم الذكاء الاصطناعي الفائق خريطة المصنع ويحدد الأدوار.
- الأهم من ذلك: بمجرد رسم هذه الخريطة، لا تستدعي الذكاء الاصطناعي الفائق مرة أخرى أبدًا. أنت تطرد الذكاء الاصطناعي الفائق من العمل لهذا اليوم.
منذ تلك اللحظة، يعمل المصنع بالكامل بناءً على الفريق المحلي الرخيص والسريع وموظف الاستقبال.
5. خدعة "التعلم من أمثلة قليلة" (توفير التكاليف في التصنيف)
عادةً، لتدريب متخصص ما، تحتاج إلى آلاف الأمثلة من القصاصات "المعطلة". يستخدم FAME خدعة إحصائية.
- إذا نظرت إلى نوع معين من رسائل السجل (قالب - template) ورأيت 100 مثال، وكل الـ 100 كانت معطلة، فأنت لست بحاجة لتدريب كاشف معقد لها. ما عليك سوى إخبار الموظف: "إذا رأيت هذا النوع من الرسائل، فهو معطل. أرسله إلى كومة المعطلات".
- إذا كانت الـ 100 مثال مختلطة (بعضها معطل وبعضها سليم)، عندئذٍ تقوم بتدريب كاشف محلي صغير لهذا النوع المحدد.
- النتيجة: بدلًا من الحاجة لبشر لتصنيف 4.7 مليون سطر، احتاج FAME فقط لتصنيف حوالي 53,000 سطر (انخفاض بمقدار 76 ضعفًا). الأمر يشبه توظيف إنسان لفحص مجرد عينات من خط إنتاج بدلًا من فحص كل قطعة على حدة.
6. النتائج: سريع، رخيص، ودقيق
- السرعة: يمكنه معالجة أكثر من مليون سطر سجل في الساعة على جهاز كمبيوتر عادي.
- التكلفة: يكلف حوالي 10 دولارات للإعداد والتشغيل (معظمها لتلك العملية الذهنية الواحدة للذكاء الاصطناعي). في المقابل، استخدام ذكاء اصطناعي ضخم لفحص كل سطر سيكلف آلاف الدولارات لكل عملية تشغيل.
- الدقة: في مجموعة بيانات حقيقية من الحواسيب الفائقة، وجد 98% من الأخطاء مع عدد قليل جدًا من الإنذارات الكاذبة. حتى أنه وجد أخطاء في أنواع سجلات لم يسبق له رؤيتها من قبل عن طريق تخمين أي "متخصص" تنتمي إليه بناءً على محتوى الرسالة.
الملخص
FACE يشبه بناء خط تفتيش عالي الكفاءة في مصنع. بدلًا من توظيف روبوت واحد ضخم ومكلف لقراءة كل ملاحظة، أنت:
- تطلب من مستشار ذكي مرة واحدة لتصميم سير العمل.
- توظف فريقًا من المتخصصين المحليين الرخيصين والسريعين الذين ينظرون فقط إلى نوع محدد من المشكلات.
- تستخدم موظف استقبال بسيط لفرز الملاحظات وإرسالها إلى المتخصص المناسب.
النتيجة هي نظام سريع، رخيص التشغيل، يتطلب قدرًا ضئيلًا جدًا من البيانات التدريبية البشرية، ويجد الجزء المعطل بدقة وفورًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.