⚛️ quantum physics

Anomaly Detection from a Tensor Train Perspective

تقدم هذه الورقة سلسلة من الخوارزميات القائمة على شبكة التنسور للكشف عن الشذوذ، والتي تستفيد من ضغط بيانات "ترين التنسور" (Tensor Train) للحفاظ على هياكل البيانات الطبيعية مع إزالة الهياكل الشاذة، مما يثبت فعاليتها عبر مجموعات بيانات الأرقام والوجوه والأمن السيبراني.

المؤلفون الأصليون: Alejandro Mata Ali, Aitor Moreno Fdez. de Leceta, Jorge López Rubio

نُشر 2026-05-05

📖 4 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Alejandro Mata Ali, Aitor Moreno Fdez. de Leceta, Jorge López Rubio

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة من الكتب. معظم هذه الكتب هي نسخ من رواية شعبية واحدة ("البيانات الطبيعية")، لكن القليل منها عبارة عن خربشات غريبة مكتوبة بخط اليد أو أنواع أدبية مختلفة تماماً ("القيم الشاذة"). هدفك هو العثور على تلك الكتب الغريبة دون الحاجة لقراءة كل كتاب منها.

تقدم هذه الورقة البحثية طريقة جديدة للقيام بذلك باستخدام أداة رياضية تسمى "القطارات الموترية" (Tensor Trains). فكر في هذه الأداة ليس ككتاب، بل كـ آلة ضغط عالية الكفاءة (مثل ملف Zip متطور للغاية).

إليك شرح مبسط لكيفية عملها، والأساليب التي جربوها، وما توصلوا إليه.

الفكرة الجوهرية: اختبار "العصر" (The Squeeze Test)

تعتمد الفكرة الرئيسية للمؤلفين على مبدأ بسيط: الأشياء الطبيعية تتناسب مع بعضها؛ أما الأشياء الغريبة فلا.

الإعداد: يأخذون مجموعة بيانات (مثل صور الأرقام أو سجلات شبكة الكمبيوتر) ويغذونها في آلة الضغط الخاصة بهم.
العصر: يطلبون من الآلة "عصر" البيانات وتقليص حجمها، مع التخلص من التفاصيل الصغيرة غير المهمة لتوفير المساحة.
النتيجة:
- البيانات الطبيعية: نظرًا لأن هذه العناصر تشترك في أنماط مشتركة (مثل كيف تبدو جميع رقم "1" متشابهة)، يمكن للآلة عصرها ثم إعادة فك عصرها (un-squish) لتعود إلى شكلها الأصلي تقريًا. إنها تناسب القالب تمامًا.
- البيانات الشاذة: نظرًا لأن هذه العناصر غريبة أو فريدة، فهي لا تناسب القالب. عندما تحاول الآلة عصرها، فإنها تتخلص من الكثير من هيكلها الفريد. وعندما تحاول إعادة فك عصرها، تبدو مشوهة أو مكسورة.

الاختبار: يقارنون بين العنصر الأصلي والنسخة "المعاد فك عصرها". إذا بدوا متشابهين جدًا، فالأمر طبيعي. إذا بداوا مختلفين جدًا، فهذا عنصر شاذ.

الطريقتان الرئيسيتان

تصف الورقة طريقتين لتشغيل هذا الاختبار، مثل استراتيجيتين مختلفتين لتنظيم تلك المكتبة:

1. الطريقة "العالمية" (The Global Method - العناق الجماعي)

كيف تعمل: تقوم بتغذية الآلة بالكامل (أو جزء كبير منها) في آلة الضغط دفعة واحدة. تتعلم الآلة "الشكل المتوسط" للمجموعة بأكملها.
التشبيه: تخيل التقاط صورة للمكتبة بأكملها، وضغط تلك الصورة، ثم رؤية مدى ملاءمة كل كتاب على حد حالة داخل تلك الصورة المضغوطة.
المزايا: سريعة وتعمل بشكل جيد مع مجموعات البيانات الكبيرة.
العيوب: تحتاج إلى الكثير من البيانات للبدء.

2. الطريقة "المحلية" (The Local Method - المواجهة الفردية)

كيف تعمل: تختار مثالاً واحدًا مثاليًا لـ "كتاب طبيعي" (مثال تدريبي). تبني قالبًا بناءً على هذا الكتاب الواحد. ثم تختبر كل كتاب آخر مقابل هذا القالب المحدد.
التشبيه: تأخذ رقم "1" مثاليًا واحدًا من مجموعة بيانات الأرقام، وتحفظ شكله في ذاكرتك، ثم تتحقق مما إذا كان أي رقم آخر يناسب قالب الرقم "1" هذا.
المزايا: يمكن أن تكون دقيقة للغاية (أحيانًا مثالية).
العيوب: هي بطيئة للغاية. تشير الورقة إلى أنها أبطأ بـ 50 مرة تقريبًا من الطريقة العالمية.

ما الذي اختبروه؟

اختبر المؤلفون هذه الطرق على ثلاث "مكتبات" مختلفة:

الأرقام المكتوبة بخط اليد: محاولة رصد رقم "7" عندما تكون المكتبة مكونة في الغالب من رقم "1".
الوجوه: محاولة رصد وجه مختلف في غرفة مليئة بنفس الشخص.
الأمن السيبراني: محاولة رصد هجوم مخترق (Hacker attack) في تدفق من طلبات الكمبيوتر الطبيعية.

النتائج المفاجئة

كشفت الورقة عن بعض النتائج غير المتوقعة:

لا تبالغ في الضغط: قد تعتقد أن عصر البيانات لأقصى حد ممكن سيكون الأفضل. ومع ذلك، وجد المؤلفون أن الضغط الخفيف جدًا (عصر طفيف فقط) غالبًا ما يكون هو الأفضل. إذا عصرت بقوة شديدة، فستبدأ في تدمير الأنماط "الطبيعية" أيضًا، مما يجعل من الصعب التمييز بينها.
فخ "المقياس" (The Scaler Trap): في علم البيانات، من الشائع "تغيير مقياس" البيانات (مثل تغيير حجم جميع الصور لتكون بنفس السطوع أو الحجم) قبل المعالجة. وجد المؤلفون أن تغيير المقياس أفسد النتائج بالنسبة لطريقتهم الخاصة. كان الأمر أشبه بمحاولة وضع وتد مربع في ثقب مستدير؛ فقد دمر تغيير المقياس الأنماط المحددة التي تحتاج الآلة لرؤيتها.
السرعة مقابل الدقة: كانت الطريقة "المحلية" هي الأكثر دقة (حققت درجات مثالية في الأرقام)، لكنها كانت بطيئة جدًا بحيث لا يمكن استخدامها في معظم الاستخدامات الواقعية. أما الطريقة "العالمية" فكانت توازنًا رائعًا، حيث قدمت دقة جيدة جدًا (اكتشاف 98% من الهجمات السيبرانية) مع كونها سريعة بما يكفي للاستخدام.

الخلاصة

ابتكر المؤلفون طريقة جديدة للعثور على البيانات "الغريبة" من خلال رؤية مدى صمودها في اختبار الضغط. لقد أظهروا أنه من خلال الحفاظ على الهيكل "الطبيعي" سليمًا وترك الهيكل "الغريب" يتفكك، يمكنك اكتشاف الشذوذ بفعالية.

الخلاصة الأساسية: أحيانًا، أفضل طريقة للعثور على إبرة في كومة قش ليست بالبحث بجهد أكبر، بل برؤية مدى تماسك القش عندما تحاول عصره. إذا تفكك القش، فقد تكون قد وجدت الإبرة. إذا تفكك القش، فقد تكون قد وجدت الإبرة.

ملخص تقني: كشف الشذوذ من منظور سلسلة التنسور (Tensor Train)

بيان المشكلة
يعد كشف الشذوذ مهمة بالغة الأهمية في مجالات متعددة مثل المراقبة الصناعية، والتشخيص الطبي، وكشف الاحتيال، والأمن السيبراني. الهدف الأساسي هو تحديد نقاط البيانات التي تنحرف بشكل كبير عن السلوك الطبيعي. وبينما حققت الطرق الإحصائية التقليدية، وتعلم الآلة، والتعلم العميق نجاحاً، إلا أنها غالباً ما تواجه صعوبة في التعامل مع البيانات عالية الأبعاد، مما يتطلب عادةً تقنيات لتقليل الأبعاد مثل تحليل المكونات الرئيسية (PCA). يقترح المؤلفون الاستفاء من شبكات التنسور (Tensor Networks)، وتحديداً سلاسل التنسور (Tensor Trains - TT)، لمعالجة البيانات عالية الأبعاد بكفاءة. الفرضية الجوهرية هي أن البيانات الطبيعية تشترك في أنماط هيكلية مشتركة، بينما تمتلك البيانات الشاذة هياكل متميزة أو غير متكررة. ومن خلال ضغط البيانات إلى تمثيل تنسور تقريبي، تهدف الطريقة إلى الحفاظ على هيكل البيانات الطبيعية مع تعطيل هيكل البيانات الشاذة، مما يسمح بتمييزها.

المنهجية
تقدم الورقة مجموعة من ثمانية خوارزميات تعتمد على استراتيجيتين مختلفتين مفاهيمياً للضغط باستخدام تمثيل سلسلة التنسور (TT). يتم التحكم في الضغط بواسطة معامل $\tau$ (يتراوح من 0 إلى 1)، والذي يحدد الاحتفاظ بالقيم المفردة أثناء عملية TT-SVD.

خوارزميات الضغط العالمي (Global Compression):
- المفهوم: يتم التعامل مع مجموعة البيانات بأكملها كتنسور عالي الرتبة. تقوم الخوارزمية بضغط مجموعة البيانات العالمية، مما يحافظ على الهياكل المهيمنة المشتركة بين غالبية نقاط البيانات (البيانات الطبيعية). أما البيانات الشاذة، التي تفتقر إلى هذه الهياكل المشتركة، فيتم إزاحتها بشكل أكبر أثناء عملية الضغط.
- دوال القرار:
  - المقارنة الذاتية (ACGCTNAD): تحسب "درجة الاحتفاظ الذاتي" ( $s_{self}$ ) عن طريق أخذ الضرب القياسي لنقطة بيانات أصلية مع إعادة بنائها المضغوطة، مع تطبيعها بالنسبة لتربيع المعيار (norm) الأصلي. تلتقط هذه الدرجة كلاً من المحاذاة الاتجاهية والاحتفاظ بالمقدار.
  - المقارنة الجماعية (GCGCTNAD): تقارن كل نقطة بيانات مع النسخ المضغوطة من جميع نقاط البيانات الأخرى في المجموعة، باستخدام مقياس تشابه جيب التمام (cosine similarity) للتركيز على المحاذاة الهندسية بدلاً من المقدار.
- أنماط التعلم: يمكن تطبيق هذه الطرق في الأنماط غير الخاضعة للإشراف (بدون معرفة مسبقة)، أو الخاضعة للإشراف (باستخدام بيانات تدريب طبيعية مصنفة)، أو شبه الخاضعة للإشراف.
خوارزميات الضغط المحلي (Local Compression):
- المفهوم: بدلاً من ضغط مجموعة البيانات بأكملها، يستخدم هذا النهج نقطة بيانات طبيعية (أو مجموعة منها) تمثل نموذجاً لتحديد هيكل "طبيعي" لـ TT. يتم إجبار أول $n-1$ من عقد تمثيل TT على مطابقة نويات (cores) بيانات التدريب، تاركة العقدة الأخيرة لاحتواء المعلومات الفريدة لنقطة بيانات الاختبار.
- المحاذاة الاستدلالية: تستخدم الطريقة خطوة محاذاة استدلالية حيث يتم محاذاة القاعدة المبتورة لبيانات الاختبار مع نويات التدريب الطبيعية.
- دوال القرار: تشبه الطرق العالمية، حيث تستخدم تسجيلات المقارنة الذاتية (ACLCTNAD) والمقارنة الجماعية (GCLCTNAD).
- النسخة القائمة على الإسقاط: يقترح المؤلفون نسخة محلية مبدئية رياضياً تعتمد على الإسقاط المتعامد (تقليل خطأ المربعات الصغرى مقابل واجهة TT متعلمة)، رغم أنهم يشيرون إلى أن النتائج التجريبية الواردة في الورقة تتوافق مع النسخة الاستدلالية الأصلية.

المساهمات الرئيسية

إطار عمل مبتكر: تقديم خوارزميات كشف الشذوذ القائمة على الحفاظ على هياكل شبكة التنسور وتعطيلها أثناء الضغط.
مجموعة خوارزميات: تطوير أربع خوارزميات رئيسية (ACGCTNAD, GCGCTNAD, ACLCTNAD, GCLCTNAD) تغطي استراتيجيات الضغط العالمي والمحلي، وهي قابلة للتطبيق في سيناريوهات غير خاضعة للإشراف، وخاضعة للإشراف، وشبه خاضعة للإشراف.
الكفاءة في الأبعاد العالية: إثبات أن تمثيلات TT يمكنها التعامل بفعالية مع البيانات عالية الأبعاد (مثل الصور، وسجلات حركة مرور الشبكة) دون قيود تقليل الأبعاد التقليدي.
التحقق التجريبي: الاختبار على ثلاث مجموعات بيانات متميزة:
- مجموعة بيانات الأرقام (Digits): التمييز بين فئة رقم واحدة والفئات الأخرى.
- مجموعة بيانات وجوه أوليفيتي (Olivetti Faces): تمييز هويات الوجوه.
- مجموعة بيانات الأمن السيبراني: كشف الهجمات السيبرانية (Brute force, Scanning, Slowloris) ضد طلبات الشبكة الطبيعية.

النتائج

مجموعة بيانات الأرقام:
- ACGCTNAD (العالمي): حققت قيم AUROC قصوى تتراوح بين 0.74 و 0.997. غالباً ما بلغت الأداء ذروته عند قيم ضغط منخفضة جداً ( $\tau$ )، مما يشير إلى أن الضغط الشديد يزيل الهياكل الشاذة بينما يحتفظ بالطبيعية منها.
- ACLCTNAD (المحلي): حقق AUROC كاملاً (1.0) لجميع فئات الأرقام. ومع ذلك، لوحظ أن الطريقة كانت أبطأ بـ 50 مرة من الطريقة العالمية. بالإضافة إلى ذلك، أظهرت "انعكاساً في اتجاه الدرجة" عند قيم الضغط المنخفضة (انخفاض AUROC إلى 0)، مما يتطلب عكس الدرجات لاحقاً، وهو ما يحد من فائدتها في السيناريوهات غير الخاضعة للإشراف.
مجموعة بيانات وجوه أوليفيتي:
- أظهرت الطريقة العالمية (ACGCTNAD) أداءً متغيراً اعتماداً على الفئة، حيث تراوحت قيم AUROC بين 0.69 و 1.0. ويعزو المؤلفون انخفاض الأداء في بعض الحالات إلى صغر حجم العينة (حوالي 8-9 عينات طبيعية لكل فئة) أو الطبيعة الخاصة للبيانات.
مجموعة بيانات الأمن السيبراني:
- بدون مقياس (Scaler): حققت طريقة ACGCTNAD نتائج استثنائية مع AUROC قدره 0.98 ودقة 97.72% عند $\tau = 0.01$ .
- مع مقياس قياسي (Standard Scaler): تدهور الأداء بشكل كبير. لاحظ المؤلفون أن تطبيق المقياس القياسي "يدمر النتائج"، ومن المرجح أن ذلك بسبب تغيير المعايير الهيكلية الأساسية التي يعتمد عليها التنسور للكشف.
- الوضع غير الخاضع للإشراف: عند اختبارها بدون مجموعة بيانات تدريب (باستخدام بيانات الاختبار فقط)، حافظت الطريقة على أداء عالٍ (دقة 97.5%) بدون مقياس، لكن الأداء انخفض إلى 64.7% مع وجود المقياس.

الأهمية والادعاءات
يدعي البحث أن نهج شبكة التنسور المقترح يقدم بديلاً فعالاً ومتنوعاً لكشف الشذوذ، خاصة في البيئات عالية الأبعاد. يسلط المؤلفون الضوء على أن:

الحفاظ على الهيكل: تنبع قوة الطريقة من القدرة على التقاط والحفاظ على العلاقات الهيكلية للبيانات الطبيعية مع التخلص من الهياكل المنتشرة للشذوذ.
الضغط غير البديهي: غالباً ما يحدث الكشف الأمثل عند قيم ضغط منخفضة (low $\tau$ )، حيث يقوم التمثيل بحذف الهياكل الشاذة مع الاحتفاظ بالطبيعية، وهي ظاهرة قد تبدو غير بديهية مقارنة بأهداف الضغط القياسية.
الحساسية للمعالجة المسبقة: تؤكد النتائج أن معالجة البيانات مسبقاً، وتحديداً المقياس القياسي (Standard Scaling)، يمكن أن تكون ضارة لهذا النهج المحدد، حيث قد تدمر الميزات الهيكلية التي صُممت الخوارزمية لاكتشافها.
المقايضات: بينما يمكن للطرق المحلية (ACLCTNAD) تحقيق فصل تام، إلا أنها مكلفة حاسوبياً وتعتمد على المحاذاة الاستدلالية. توفر الطرق العالمية (ACGCTNAD) توازناً أفضل بين السرعة والدقة، مما يجعلها أكثر عملية للعديد من التطبيقات.

يخلص المؤلفون إلى أنه بينما تبدو نتائجهم واعدة، فإن إجراء تقييم أكثر شمولاً يتضمن المقارنة مع المعايير القياسية (مثل PCA، وIsolation Forest، وAutoencoders، إلخ) والتقارير الإحصائية الصارمة (البذور العشوائية، والانحرافات المعيارية) ضروري للعمل المستقبلي. كما يقترحون اتجاهات بحثية مستقبلية تشمل استخدام هياكل أخرى لشبكات التنسور (مثل PEPS)، وتطبيقها على بيانات النصوص والفيديو، وتقييم النسخة المحلية القائمة على الإسقاط الأكثر انضباطاً رياضياً.