SPINEX: Similarity-based Predictions with Explainable Neighbors Exploration for Anomaly and Outlier Detection

في محيطات البيانات الشاسعة التي تجمعها الأنظمة الحديثة في كل ثانية، تتبع معظم النقاط أنماطاً يمكن التنبؤ بها، مشكلةً همهمة هادئة من الطبيعية. ولكن في بعض الأحيان، تكسر نقطة واحدة هذا الإيقاع، لتبرز منفصلة عن الحشد. هذه هي الشذوذات، تلك الانحرافات النادرة التي يمكن أن تشير إلى معاملة احتيالية، أو جزء آلي متعطل، أو مرض جديد. إن العثور عليها يشبه البحث عن صوت متميز واحد في ملعب صاخب؛ فالتحدي لا يكمس فقط في رصد الاختلاف، بل في فهم سبب كونه مختلفاً دون الضياع في ضجيج ملايين النقاط الأخرى. لعقود من الزمن، بنى العلماء أدوات رياضية لصيد هذه القيم المتطرفة، معتمدين على فكرة أن الأشياء الطبيعية تبدو متشابهة لبعضها البعض، بينما تقف الأشياء الغريبة بعيداً جداً. ومع ازدياد تعقيد البيانات وتعدد أبعادها، عانت هذه الأدوات التقليدية أحياناً لمواكبة التطور، مما دفع الباحثين للبحث عن طرق جديدة لرؤية الغابة والأشجار في آن واحد.

قدم فريق من الباحثين طريقة جديدة تسمى SPINEX، مصممة للعثور على هذه الشذوذات من خلال النظر عن كثب في كيفية تشابه نقاط البيانات مع بعضها البعض عبر طبقات مختلفة من المعلومات. الفكرة الجوهرية بسيطة لكنها قوية: تميل نقاط البيانات الطبيعية إلى التكتل معاً، متشاركةً سمات متشابهة، بينما تنجرف القيم المتطرفة بعيداً. يأخذ SPINEX هذا المفهوم ويضيف إليه طبقة من العمق من خلال فحص ليس فقط البيانات الخام، بل أيضاً كيفية تفاعل الميزات المختلفة داخل تلك البيانات مع بعضها البعض. تخيل مجموعة بيانات تصف سيارة؛ قد تنظر أداة قياسية إلى السرعة والوزن بشكل منفصل. ومع ذلك، فإن SPINEX يأخذ في الاعتبار أيضاً كيف تجتمع السرعة والوزن، مما يخلق صورة أغنى لما تبدو عليه "الطبيعية". ومن خلال رسم هذه العلاقات، يمكن للخوارزمية رصد التناقضات الدقيقة التي قد تغفل عنها الطرق الأخرى، مثل سيارة تتحرك بسرعة طبيعية ولكن لديها نسبة وزن إلى سرعة غير معتادة تشير إلى وجود مشكلة.

لاختبار مدى نجاح هذا النهج، أخضع الباحثون SPINEX لسلسلة صارمة من التجارب مقابل إحدى وعشرين خوارزمية أخرى معروفة للكشف عن الشذوذ. لم يكتفوا باختبارها على نوع واحد من المشكلات؛ بل طبقوها على تسعة وثلاثين مجموعة بيانات مختلفة، تتراوح من المحاكاة الحاسوبية المصممة لمحاكاة سيناريوهات معقدة ومراوغة، إلى سجلات من العالم الحقيقي من مجالات مثل الرعاية الصحية والتمويل والهندسة. شملت هذه الأمثلة الواقعية كل شيء من السجلات الطبية لأمراض القلب إلى سجلات المعاملات البنكية وصور الطوابع. وفي عمليات المحاكاة، حيث عرف الباحثون بالضبط أين تم إخفاء الشذوذات المزيفة، تصدر SPINEX باستمرار المرتبة الأولى، متفوقاً على منافسيه في تحديد القيم المتطرفة الصحيحة. وعندما انتقل الفريق إلى بيانات العالم الحقيقي، ظل الخوارزمية فعالاً للغاية، حيث حل في المركز السابع إجمالاً، وهو أداء قوي وسط مجال مزدحم بالأساليب الراسخة.

بعيداً عن مجرد العثور على الشذوذات، أراد الباحثون معرفة ما إذا كان بإمكانهم تفسير لماذا تم وسم نقطة معينة بأنها شاذة. في العديد من المواقف عالية المخاطر، مثل رفض قرض أو تشخيص مريض، يعد معرفة السبب بنفس أهمية القرار نفسه. بُني SPINEX مع وضع هذا في الاعتبار؛ فعندما يحدد نقطة بيانات كشذوذ، يمكنه تفكيك النتيجة لإظهار أي ميزات محددة ساهمت أكثر في ذلك القرار. على سبيل المثال، في حالة اختبار واحدة، حدد النظام نقطة بيانات معينة كشاذة لأن إحدى ميزاتها كانت أعلى بكثير من المتوسط، بينما كانت ميزة أخرى أقل قليلاً. تتيح هذه الشفافية للمستخدمين الثقة في النظام، حيث يمكنهم رؤية الدليل المحدد الذي أدى إلى الاستنتاج، بدلاً من التعامل مع الخوارزمية كصندوق أسود يقدم نتائج دون تقديم أي رؤية حول منطقه الخاص.

بحثت الدراسة أيضاً في مقدار قوة الحوسبة التي تتطلبها الطريقة الجديدة. في عالم البيانات واسعة النطاق، تكون الخوارزمية التي تعمل ببطء شديد عديمة الفائدة، بغض النظر عن دقتها. وجد الباحثون أن SPINEX يعمل بمستوى متوسط من التعقيد، مما يعني أنه يمكنه التعامل مع مجموعات البيانات الكبيرة بكفاءة دون الحاجة إلى وقت أو موارد مفرطة. إنه يقع بوضوح في المستوى المتوسط من حيث الأداء، فهو أسرع من الطرق الأكثر استهلاكاً للحوسبة، ولكنه يتطلب جهداً أكبر قليلاً من الطرق الأبسط والأسرع. يشير هذا التوازن إلى أن الطريقة عملية للاستخدام في العالم الحقيقي، حيث تقدم مزيجاً قوياً من الدقة والسرعة والقدرة على شرح نتائجها. وبينما يقر الباحثون بأن التحديات لا تزال قائمة، لا سيالما مع البيانات التي تتغير بمرور الوقت أو البيانات الشحيحة للغاية، فإن النتائج تثبت أن SPINEX أداة قوية وتنافسية للكشف عن الإشارات الخفية داخل بياناتنا.