From General Agents to RCA Experts: A Self-Evolving Harness for Root Cause Analysis
تقدم هذه الورقة OpsHarness، وهو إطار عمل ذاتي التطور يعزز بشكل كبير قدرات تحليل الأسباب الجذرية لوكلاء النماذج اللغوية الكبيرة (LLMs) للأغراض العامة من خلال الاستفافة من حمالة خارجية تكيفية تراكم وتتحقق من الخبرة التشغيلية من التشخيصات السابقة، وبذلك يتفوق على كل من الوكلاء العامين المجردين ووكلاء تحليل الأسباب الجذرية المتخصصين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
عندما يبدأ نظام حاسوبي معقد في الفشل، نادرًا ما تظل المشكلة حيث بدأت. في العالم الرقمي الحديث، تُبنى البرمجيات من آلاف القطع الصغيرة المترابطة؛ فإذا تعثرت قطعة واحدة، يمكن للخطأ أن يمتد إلى الخارج، مسببًا تأخيرًا في تطبيق المستخدم أو طفرة مفاجئة في رسائل الخطأ التي تبدو وكأنها مشكلة مختلفة تمامًا. إن تحديد أين بدأ الخلل فعليًا هو مهمة تُسمى "تحليل السبب الجذري". ولعقود من الزمن، اعتمد المهندسون على خرائط لكيفية اتصال هذه القطع ببعضها البعض أو على الأنماط الإحصائية للعثور على الجاني. والي اليوم، يتجهون بشكل متزايد نحو الذكاء الاصطناعي، وتحديدًا النماذج اللغوية الكبيرة، لتعمل كـ "محققين رقميين". هذه النماذج بارعة للغاية في قراءة السجلات (logs)، وفهم الأكواد، والتفكير في السيناريوهات المعقدة، تمامًا مثل مهندس بارع قرأ كل دليل تشغيل في المكتبة. ومع ذلك، هناك عقبة: فبينما تتميز هذه النماذح بالذكاء، إلا أنها لا تعرف الخصائص الغريبة والمحددة للنظام الذي تحاول إصلاحه؛ فهي تفتقر إلى الخبرة العميقة والمتراكمة التي يكتسبها الخبير البشري من خلال مراقبة فشل النظام ذاته وتعافيه مرارًا وتكرارًا.
لقد طور باحثون من الجامعة الصينية في هونغ كونغ وشركة "بايت دانس" (ByteDance) طريقة جديدة لسد هذه الفجوة. فبدلاً من محاولة بناء ذكاء اصطناعي متخصص جديد من الصفر لكل نظام، قاموا بإنشاء طبقة خارجية مرنة تحيط بنموذج ذكاء اصطناعي قوي وعام الأغراض. أطلقوا على هذه الطبقة اسم "السرج" (harness). تخيل هذا السرج كحقيبة أدوات متخصصة ومجموعة من الملاحظات الميدانية التي قد يتلقاها مهندس عام عند انضمامه إلى فريق جديد؛ فالذكاء الاصطناعي العام يوفر قوة التفكير، لكن "السرج" يوفر السياق المحدد، والأدوات المناسبة للاستخدام، والدروس المستفادة من الأخطاء الماضية. والابتكار الأهم في عملهم، والذي يسمى "OpsHarness"، هو أن هذه الطبقة تتطور ذاتيًا؛ فهي لا تكتفي بالجلوس هناك، بل تراقب كل عملية تشخيص تساعد في تنفيذها، وتتعلم من النجاحات والإخفاقات على حد سواء، وتحدث تعليماتها الخاصة لتصبح أفضل بمرور الوقت.
بدأ الفريق باختبار افتراض شائع، وهو أن بناء "وكيل ذكاء اصطناعي" (AI agent) مخصص لعمليات استكشاف الأخطاء وإصلاحها هو النهج الأفضل. وقارنوا بين هؤلاء الوكلاء المصممين خصيصًا وبين نماذج الذكاء الاصطعي العامة القياسية التي أُعطيت المهمة ببساطة لتشخيص مشكلة ما. كانت النتائج مفاجئة؛ إذ غالبًا ما تفوقت النماذج العامة، التي لم تُدرب خصيصًا على استكشاف الأخطاء، على الوكلاء المخصصين. حدث هذا لأن الوكلاء المخصصين كانوا يفتقرون غالبًا إلى قدرات التفكير والتخطيط المتطورة التي أتقنتها النماذج العامة بالفعل. ومع ذلك، حتى أفضل النماذج العامة لم تكن مثالية؛ فغالبًا ما كانت تحدد الأعراض الصحيحة ولكنها تشير إلى السبب الخطأ لأنها تفتقر إلى المعرفة بكيفية سلوك ذلك النظام المحدد تحت الضغط. على سبيل المثال، قد يرى النموذج انخفاضًا مفاجئًا في اتصالات قاعدة البيانات ويفترض وجود فشل في قاعدة البيانات، بينما في الواقع، كان هذا الانخفاض مجرد أثر جانبي لمكون آخر، مثل خادم نفدت منه قدرة المعالجة.
ولحل هذه المشكلة، صمم الباحثون "OpsHarness" ليعمل كجسر بين الذكاء العام للنموذج والواقع المحدد للنظام. ينقسم النظام إلى جزأين رئيسيين: الجزء الأول هو قاعدة معرفية تخزن المعلومات في طبقات؛ تبدأ بالقواعد العامة حول كيفية التحقيق في المشكلات، ثم تضيف ملفًا تعريفيًا للنظام المحدد الذي تتم مراقبته، وأخيرًا، تراكم شبكة من سير العمل والقواعد المحددة التي ثبت نجاحها. الجزء الثاني هو مكتبة من "بطاقات الأفكار"؛ فبدلاً من كتابة أكواد برمجية ثابتة (hard-coding) قد تتعطل إذا تغير النظام، يمنح "السرج" الذكاء الاصطناعي وصفًا لأداة أو طريقة ما، ويقوم الذكاء الاصطناعي بكتابة الكود اللازم لاستخدامها في تلك اللحظة. وهذا يسمح للنظام بالتكيف مع تنسيقات البيانات المختلفة دون الحاجة إلى إعادة برمجة.
تكمكن القوة الحقيقية لـ "OpsHarness" من قدرته على التعلم من التجربة. فبعد أن يساعد النظام في تشخيص مشكلة ما، يقوم بمراجعة العملية بأكملاء. إذا كان التشخيص صحيحًا، يستخلص النظام الخطوات الناجحة ويحولها إلى سير عمل أو قاعدة قابلة لإعادة الاستخدام. وإذا كان التشخيص خاطئًا، فإنه يحدد بالضبط أين انحرف مسار التفكير ويضع قاعدة لمنع هذا الخطأ المحدد في المستقبل. هذه العملية لا تتم بشكل تلقائي متهور؛ إذ يمتلك النظام فحص سلامة صارم، فقبل إضافة أي قاعدة جديدة إلى ذاكرته، يتم اختبارها في بيئة معزولة وآمنة لضمان أنها تحسن التشخيص دون إتلاف أي شيء آخر. هذه العملية المزدوجة تمنع النظام من تعلم عادات سيئة أو "الفرط في التخصيص" (overfitting) لحدث غريب واحد.
اختبر الباحثون هذا النهج على معيارين عامين يحتويان على مئات الحالات الواقعية للفشل، كما قاموا بنشره في بيئة سحابية تجارية ضخمة. أظهرت النتائج تحسنًا هائلاً؛ فعند استخدام نموذج ذكاء اصطناعي عام وحده، كان النظام يحدد السبب الجذري بشكل صحيح بنسبة 36% تقريبًا. وعند تجهيز النموذج نفسه بـ "OpsHarness"، قفزت هذه الدقة إلى ما يقرب من 59%. كان هذا التحسن ثابتًا عبر مختلف أنواع نماذج الذكاء الاصطناعي وأنواع الأنظمة المختلفة. كما وجدت الدراسة أن النظام يصبح أفضل كلما زاد استخدامه؛ ففي اختبار مستمر، حيث قام النظام بتشخيص سلسلة من الحوادث بمرور الوقت، ارتفعت دقته باطراد مع تراكم الخبرة. وفي المقابل، ظلت الأنظمة التي لم تتطور ثابتة، والأنظمة التي تطورت دون ضوابط السلامة غالبًا ما ساءت حالتها من خلال التعلم من "الضجيج".
كما قاس الباحثون تكلفة تشغيل هذا النظام. ورغم أن "السرج" يضيف بعض العبء على العملية، إلا أنه لا يتطلب طاقة حوسبة أو وقتًا أكبر بشكل ملحوظ من استخدام نموذج ذكاء اصطناعي عام وحده. في الواقع، من خلال توجيه الذكاء الاصطناعي إلى المسار الصحيح بشكل أسرع، فإنه غالبًا ما يقلل من عدد الخطوات التي يحتاجها الذكاء الاصطناعي لحل المشكلة. ويشغل النظام بأكمله، بما في ذلك جميع القواعد والأدوات المتعلمة، مساحة تخزين صغيرة جدًا، مما يجعله عمليًا للاستخدام في العالم الحقيقي.
يشير هذا العمل إلى تحول في كيفية بناء الأنظمة الذكية للمهام المعقدة. فبدلاً من محاولة تدريب ذكاء اصطناعي جديد من الصفر لكل وظيفة محددة، قد يكون المسار الأكثر فعالية هو أخذ ذكاء اصطناعي عام قوي وإحاطته بطبقة ذكية ومتطورة تعلمه التفاصيل المحددة للبيئة. ومن خلال التركيز على هذه الطبقة الخارجية، نجح الباحثون في إنشاء نظام يمكنه تحويل الذكاء الخام لنموذج عام إلى خبير متخصص، قادر على التعلم من تاريخه والتحسن مع كل حادثة يساعد في حلها. وتشير النتائج إلى أن مستقبل استكشاف الأخطاء الآلي قد لا يكمن في نماذج أكثر ذكاءً، بل في طرق أكثر ذكاءً لتعليم تلك النماذج كيفية العمل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.