LLM as Detector: An In-context Learning Approach for Tabular Anomaly Detection
تقترح هذه الورقة LLM-Detector، وهو إطار عمل مبتكر يستفيد من التعلم في السياق لتحويل البيانات الجدولية العادية إلى مطالبات مهيكلة لمحركات تسجيل تولدها الأكواد، مما يتيح كشفاً فعالاً للقيم الشاذة عبر مجموعات بيانات متنوعة دون الحاجة إلى الضبط الدقيق أو تدريب الشبكات العصبية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في خضم الهمهمة الهادئة والواسعة لمراكز البيانات الحديثة، غالبًا ما يختبئ نوع معين من المشاكل في وضح النهار. إنها ليست انفجارًا دراماتيكيًا أو خطأً صارخًا، بل هي خلل طفيف داخل جدول بيانات يتكون من أرقام وفئات. هذا هو عالم البيانات الجدولية، السجل الرقمي الذي يسجل كل شيء، بدءًا من المعاملات المصرفية والسجلات الطبية وصولاً إلى سجلات الخوادم ومطالبات التأمين. لعقود من الزمن، كُلفت الحواسيب بمهمة العثور على معاملة احتيالية واحدة من بين ملايين المعاملات المشروعة، أو المريض المريض الواحد من بين آلاف الأصحاء. التحدي يكمن في أن هذه "الظواهر الشاذة" نادرًا ما تبدو كأخطاء واضحة؛ فهي غالبًا ما تبدو طبيعية تمامًا في الظاهر، ومع ذلك فهي تنتهك القواعد الخفية التي تحكم كيفية ارتباط الأجزاء المختلفة من المعلومات ببعضها البعض. فعمر الشخص ودخله وفئته الضريبية عادة ما تتبع نمطًا يمكن التنبؤ به؛ وعندما لا تفعل ذلك، فإنها تشير إلى وجود مشكلة، حتى لو بدا كل رقم على حدوه منطقيًا.
لسنوات، كانت الطريقة القياسية لاكتشاف هذه الأخطاء الخفية هي بناء نماذج رياضية معقدة تتعلم كيف يبدو الشيء "الطبيعي"، ثم تضع علامة على أي شيء ينحرف بعيدًا عن ذلك النمط. وفي الآونة الأخيرة، حاول العلماء استخدام النماذج اللغوية الكبيرة — وهي نفس أنظمة الذكاء الاصطناعي القوية التي يمكنها كتابة المقالات أو الإجابة على الأسئلة — لرصد هذه الأخطاء. كانت الفكرة هي أنه إذا استطعت تعليم الكمبيوتر قراءة صف من البيانات كما يقرأ جملة، فقد يفهم القصة وراء الأرقام بشكل أفضل مما يستطيع الحاسب الآلي القيام به. ومع ذلك، واجهت هذه المحاولات المبكرة عقبة كبيرة: فإما كانت بطيئة جدًا بحيث لا يمكن الاستفادة منها في الوقت الفعلي، أو أنها تتطلب إعادة تدريب الذكاء الاصطناعي على بيانات جديدة، وهو أمر مكلف ويستهلك قدرات حوسبية هائلة. لقد عانت هذه النماذج في التعامل مع المزيج الفوضوي من الأرقام والفئات النصية التي غالبًا ما تحتوي عليها بيانات العالم الحقيقي، وكثيرًا ما فقدت معنى البيانات في هذه العملية.
اقترح فريق من الباحثين من جامعات في أستراليا طريقة مختلفة لحل هذا اللغز، طريقة تعامل مع الذكاء الاصطناعي ليس كطالب يحتاج للتدريب، بل كمهندس معماري ماهر يُعطى مخططًا هندسيًا. فبدلاً من إجبار الذكاء الاصطناعي على التعلم من الصفر أو حفظ الأمثلة، طلبوا منه كتابة برنامج مخصص بناءً على ملخص لما تبدو عليه البيانات الطبيعية. يطلق الباحثون على هذا النهج الجديد اسم LLM-Detector. تعتمد طريقتهم على مفهوم يسمى "التعلم في السياق" (in-context learning)، والذي يسمح لنموذج لغوي كبير بأداء مهمة معقدة ببساطة من خلال تزويده بوصف واضح للقواعد وبعض الأمثلة، دون الحاجة إلى تغيير بنيته الداخلية أو الخضوع لعملية تدريب طويلة.
تبدأ العملية بأخذ مجموعة كبيرة من البيانات الطبيعية والسليمة — مثل آلاف السجلات المصرفية المشروعة — وتلخيصها في ثلاثة أنواع رئيسية من المعلومات. أولاً، يقوم النظام بحساب الملف الإحصائي لكل عمود، مع ملاحظة القيم المتوسطة، والنطاقات النموذجية، ومدى شيوع الفئات المختلفة. ثانيًا، يرسم العلاقات السببية، مستنتجًا أي قطع المعلومات تعتمد على غيرها؛ فعلى سبيل المثال، يتعلم أن الدخل المرتفع يرتبط عادةً بفئة ضريبية محددة. ثالثًا، يختار مجموعة صغيرة وممثلة من نقاط البيانات الفعلية التي تعمل كـ "مرتكزات"، توضح الشكل والانتشار النموذجي للبيانات. يتم بعد ذلك تجميع هذه العناصر الثلاثة في "أمر" (prompt) واحد مفصل وإرساله إلى النموذج اللغوي الكبير.
يقرأ النموذج هذا الأمر، ويعمل كمولد للأكواد البرمجية، حيث يكتب برنامجًا حاسوبيًا كاملاً وقابلاً للتنفيذ مصممًا خصيصًا لتلك المجموعة من البيانات. هذا البرنامج ليس مجرد تخمين؛ بل هو مجموعة من التعليمات التي تعرف تمامًا كيفية التحقق من الشذوذ الإحصائي، وكيفية رصد العلاقات المكسورة بين المتغيرات، وكيفية قياس مدى ابتعاد نقطة بيانات جديدة عن مركز الحشد الطبيعي. وبمجرد كتابة هذا البرنامج، يتم حفظه وتشغيله مقابل بيانات جديدة لم يسبق رؤيتها. وعند وصول سجل جديد، يقوم البرنامج فورًا بحساب "درجة الشذوذ"، وهي رقم يشير إلى مدى إثارة الريبة في السجل. فإذا كانت الدرجة عالية، فهذا يعني أن السجل ينتهك القواعد التي استنتجها الذكاء الاصطناعي من البيانات الطبيعية.
اختبر الباحثون هذه الطريقة على أربعة وعشرين مجموعة بيانات مختلفة، تراوحت من السجلات الطبية الصغيرة إلى سجلات الأمن السيبراني الضخمة. وقارنوا نهجهم بخمسة عشر أسلوبًا آخر من أحدث الأساليب المتاحة، بما في ذلك الأدوات الإحصائية التقليدية، ونماذج التعلم العميق، والمحاولات السابقة لاستخدام النماذج اللغوية لهذه المهمة. أظهرت النتائج أن طريقتهم تفوقت باستمرار على الأساليب الأخرى، لا سيما في مجموعات البيانات التي تمزج بين الأرقام والفئات النصية. وفي المتوسط، حقق نهجهم درجة دقة اكتشاف بلغت 0.7407، وهي أعلى من أفضل طريقة تالية لها. والأهم من ذلك، أن هذا الأداء جاء دون التكلفة الحوسبية الثقيلة لتدريب نموذج جديد. ولأن الذكاء الاصطناعي يكتب الكود مرة واحدة فقط ثم يتنحى جانبًا، فإن النظام سريع للغاية، حيث يستغرق جزءًا من الثانية فقط لمعالجة البيانات مقارنة بالدقائق أو الساعات التي تتطلبها الطرق الأخرى.
كما استكشفت الدراسة كيف ساهمت الأجزاء المختلفة من النظام في نجاحه. ووجدوا أن إعطاء الذكاء الاصطناعي الأرقام الإحصائية فقط كان مفيدًا، ولكن إضافة خريطة العلاقات بين المتغيرات جعلته أفضل بكثير في رصد الأخطاء الدقيقة. كما أن تضمين الأمثلة التمثيلية للبيانات الطبيعية أدى إلى صقل قدرة النظام على فهم الشكل العام للبيانات. كما اختبر الباحثون الطريقة باستخدام نماذج ذكاء اصطناعي مختلفة ووجدوا أنه بينما قدمت النماذج الأقوى أداءً أفضل قليلاً، إلا أن التصميم الجوهري المتمثل في كتابة برنامج مخصص عمل بشكل جيد في جميع الحالات. وهذا يشير إلى أن قوة الطريقة تأتي من هيكلية النهج — أي ترجمة البيانات إلى مجموعة من القواعد المنطقية — وليس من الاعتماد على نوع محدد من الذكاء الاصطناعي.
من خلال تحويل مشكلة اكتشاف الشذوذ إلى مهمة توليد أكواد برمجية، نجح الباحثون في إنشاء نظام يتسم بالقوة والعملية في آن واحد. فهو لا يتطلب القدرة الحوسبية الهائلة المرتبطة عادةً بالذكاء الاصطناعي المتقدم، ولا يحتاج إلى إعادة تدريبه في كل مرة تتغير فيها البيانات. إنه ببساطة يقرأ قصة ما هو طبيعي، ويكتب كتاب قواعد لرصد الاستثناءات، ثم يطبق كتاب القواعد هذا على العالم الحقيقي. يقدم هذا النهج مسارًا واعدًا للصناعات التي تحتاج إلى مراقبة كميات هائلة من البيانات بحثًا عن المخاطر، من منع الاحتيال المالي إلى تأمين الشبكات الحاسوبية، مما يثبت أنه في بعض الأحيان، تكون الطريقة الأكثر فعالية للعثور على إبرة في كومة قش هي تعليم الكمبيوتر كيفية بناء مغناطيس أفضل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.