💻 علوم الحاسوب

Where Does the Accuracy of LLM-Based Root-Cause Analysis Come From? An Empirical Study on Microservice Benchmarks

تكشف هذه الدراسة التجريبية أن دقة تحليل السبب الجذري القائم على النماذج اللغوية الكبيرة في الخدمات المصغرة مدفوعة في المقام الأول بجودة الأدلة المستخرجة بواسطة خط معالجتها الأساسي بدلاً من النموذج نفسه، بينما تسلط الضوء على ضعف النظام الكبير تجاه النصوص المضللة وأخطاء التوقيت.

المؤلفون الأصليون: Muhammad Saad Hussain, Alishba Farrukh

نُشر 2026-10-19

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Muhammad Saad Hussain, Alishba Farrukh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في المدن غير المرئية والواسعة للبرمجيات الحديثة، حيث تعمل آلاف البرامج الصغيرة التي تسمى "الخدمات المصغرة" (microservices) معاً لتشغيل كل شيء، من التسوق عبر الإنترنت إلى الخدمات المصاسية، تتعطل الأشياء أحياناً. عندما يحدث فشل، يحتاج المهندسون إلى العثور على القطعة المكسورة الوحية بسرعة لإصلاحها. تُسمى هذه العملية "تحليل السبب الجذري" (root-cause analysis). لسنوات، كانت الطريقة القياسية للقيام بذلك هي استخدام كواشف آلية تراقب الأرقام الغريبة في بيانات النظام — مثل الارتفاع المفاجئ في استخدام الذاكرة أو التأخير في رسالة ما — ثم تحصي أي خدمة هي الأكثر اضطراباً. مؤخراً، ظهرت فكرة جديدة: بدلاً من مجرد العد، يمكننا تغذية البيانات لنموذج لغوي كبير، وهو نوع من الذكاء الاصطناعي الذي يمكنه القراءة والاستنتاج، وسؤاله عن تحديد الجاني. والأمل هو أن هذه النماذج يمكنها فهم القصة وراء الأرقام بشكل أفضل من مجرد عداد بسيط. ولكن يبقى سؤال حاسم: إذا أصاب النموذج الإجابة، فهل هو بسبب ذكائه الحقيقي، أم أنه ببساطة يقرأ الأدلة التي قدمتها له الكواشف الآلية؟

لقد شرع فريق من الباحثين في الإجابة على ذلك من خلال بناء تجربة محكومة باستخدام نظام برمجيات واقعي ومجموعة عامة تضم 360 فشلاً محاكياً. لقد أخذوا نظاماً قائماً حيث تقوم الكواشف بتلخيص البيانات في تقرير نصي قصير ثم تمرره إلى نموذج ذكاء اصطناعي لتشخيص الحالة. كان هدفهم هو تقشير الطبقات ومعرفة مصدر الدقة بالضبط. أرادوا معرفة ما إذا كان النموذج يضيف أي قيمة حقيقية، أم أن الإجابة كانت مخبأة بالفعل في النص الذي كتبته الكواشف. وللتحقق من ذلك، أجروا نفس النموذج عبر نسخ مختلفة من الاختبار. في بعض التجارب، قاموا بإزالة الجمل التفسيرية التي أضافتها الكواشف. وفي حالات أخرى، استبدلوا أسماء الخدمات الحقيقية بملصقات محايدة. حتى أنهم زرعوا دليلاً زائفاً، بإخبار النموذج أن خدمة معينة هي المشكلة بينما كانت بريئة، ليروا ما إذا كان النموذج سيتبع ذلك الاقتراح بشكل أعمى.

كشفت النتائج عن حقيقة مذهلة حول كيفية عمل هذه الأنظمة. فعندما اختبر الباحثون النموذج على مجموعة من 270 فشلاً تتعلق بمشاكل الشبكة والموارد، كان النموذج في الواقع أقل دقة من عملية العد البسيطة للكواشف التي انطلقت. فقد أصابت الكواشف، التي تكتفي بعدّ عدد الإنذارات لكل خدمة، الإجابة الصحيحة بنسبة 60% من المرات، بينما أصاب النموذج الإجابة الصحيحة بنسبة 44% فقط. يشير هذا إلى أنه في هذا النوع من المشكلات، لم يكن النموذج يحسن التشخيص؛ بل كان أحياناً يعيق العملية. وجد الباحثون أن أداء النموذج يعتمد بشدة على النص الذي كتبه مسار العمل (pipeline) له. فعندما أزالوا الملاحظات التفسيرية التي أضافها النظام لشرح البيانات، انخفضت دقة النموذج بشكل ملحوظ. والأكثر دلالة هو أنه عندما زرعوا ملاحظة كاذبة تدعي أن خدمة معينة هي السبب، اتبع النموذج تلك الكذبة في نصف الحالات تقريباً، متهماً الخدمة البريئة بأنها الجاني. أظهر هذا أن النموذج كان حساساً للغاية للسرد المقدم له، وغالباً ما كان يعطي الأولوية لما يزعم النص على حساب الأدلة الفعلية.

ومع ذلك، تغيرت القصة عندما نظر الباحثون إلى مجموعة مختلفة من 90 فشلاً تضمنت أخطاءً عميقة داخل كود الكمبيوتر. هنا، كان أداء النموذج أفضل من عدد الكواشف البسيط، حيث حقق الإجابة الصحيحة بنسبة 60% مقارلة بـ 38% للكواشف. واكتشف الباحثون أن هذا التحسن جاء بالكامل تقريباً من نص السجل الخام (raw log text) — وهي رسائل الخطأ الفعلية التي يكتبها البرنامج — والتي استطاع النموذج قراءتها وفهمها، بينما لم تستطع الكواشف سوى عدّها. وعندما أزالوا هذا النص الخام من مدخلات النموذج، عادت دقته إلى مستوى الكواشف البسيطة. يشير هذا إلى أن "ذكاء" النموذج في هذا السيناريو لم يكن قدرة استنتاجية عامة، بل مهارة محددة في قراءة سجلات الأخطاء الخام التي لخصتها الكواشف في أرقام.

كما اختبرت الدراسة كيفية تعامل هذه الأنظمة مع عدم اليقين بشأن وقت بدء الفشل. ووجدوا أن الطرق الإحصائية الأكثر قوة، والتي تعتمد على مقارنة البيانات قبل وبعد وقت فشل معروف، انهارت عندما قام الباحثون بتغيير وقت البدء بمقدار دقيقتين فقط. كان النموذج أكثر صموداً قليلاً تجاه هذا الخطأ، لكنه ظل يعاني. وعندما بنى الباحثون مسار عمل مختلفاً تماماً وأبسط، يقوم فقط بعرض البيانات دون الملاحظات التفسيرية المعقدة، حقق النموذج نفسه دقة أعلى بكثير بلغت 87%. أثبت هذا أن النموذج كان قادراً على تحقيق أداء عالٍ، ولكن فقط عندما تُقدم الأدلة بوضوح ودون نص تفسيري مضلل. في النظام الأصلي، كانت الملاحظات التفسيرية تعمل كمرشح (فلتر) يحجب الحقيقة أحياناً.

في النهاية، خلص البحث إلى أن دقة وكلاء الذكاء الاصطناعي هؤلاء ليست خاصية للنموذج وحده. إنها مزيج مما تستخرجه الكواشف، وكيفية كتابة النص، ورد فعل النموذج تجاه ذلك النص. في حالة النظام الذي درسوه، غالباً ما قام النموذج بعمل أقل مما قامت به الكواشف البسيطة التي كان من المفترض أن يحل محلها. كانت الجمل التفسيرية التي أضافها مسار العمل بمثابة روافع قوية يمكنها سحب الإجابة في الاتجاه الصحيح، أو بكل سهولة، نحو اتجاه خاطئ. يجادل الباحثون بأنه لفهم هذه الأنظمة حقاً، يجب أن نتوقف عن معاملة النموذج كصندوق أسود يحل المشكلات بشكل سحري. بدلاً من ذلك، يجب أن نختبر النص الذي يقرؤه بنفس الصرامة التي نختبر بها الكود، للتحقق مما إذا كان النموذج يستنتج أم أنه يتبع ببساطة قيادة النص الذي أُعطي له. تشير النتائج إلى أنه لكي تكون هذه الأدوات موثوقة، يجب تصميم الطريقة التي نغذيها بها المعلومات بعناية تضاهب تصميم النماذج نفسها.

أبحاث مشابهة