Learning Hyperspherical Time-Frequency Representations for Time-Series Out-of-Distribution Detection

ملخص تقني: تعلم التمثيلات الزمانية-الترددية فوق الكروية للكشف عن القيم خارج التوزيع في السلاسل الزمنية

بيان المشكلة
لا يزال الكشف عن القيم خارج التوزيع (OOD) للبيانات ذات السلالات الزمنية غير مستكشف بشكل كافٍ مقارنة بمجالات الرؤية واللغة. فالمناهج الحالية، التي غالباً ما تُكيف من معايير تعتمد على الصور، تفشل بشكل متكرر في معالجة الطبيعة الفريدة لانزياحات التوزيع في السلاسل الزمنية. فخلافاً للبيانات القابلة للتبادل أو المفهرسة مكانياً، تتضمن ملاحظات السلالس الزمنية تبعيات زمنية مهيكلة، وخصائص في نطاق التردد، وعمليات قياس مرتبطة ارتباطاً وثيقاً بأجهزة استشعار وبروتوكولات استحواذ محددة. وبناءً على ذلك، فإن انزياحات التوزيع في السلاسل الزمنية غالباً ما تعكس تغيرات مشتركة في العملية الأساسية ومسار القياس، مما يؤدي إلى اختلافات منهجية في البنية الزمنية أو الطيفية. كما أن بروتوكولات التقييم الحالية، التي تعتمد غالباً على تقسيمات داخل مجموعة البيانات نفسها (intra-dataset) مع اختلاف التصنيفات، تفشل في التقاط هذه الانزياحات عبر البيئات المختلفة، مما يطمس التمييز بين التعرف على المجموعات المفتوحة (open-set recognition) والكشف الحقيقي عن القيم خارج التوزيع (OOD).

المنهجية: HyperTF
يقترح المؤلفون HyperTF، وهو إطار عمل لتعلم التمثيلات فوق الكروية (hyperspherical) مصمم لاستحثاث بنية مشروطة بالفئة على الوحدة الكروية من أجل كشف قوي للقيم خارج التوزيع. تدمج المنهجية ثلاثة مكونات أساسية:

1. التمثيلات فوق الكروية (Hyperspherical Embeddings): يقوم إطار العمل بنمذجة السمات المشروطة بالفئة باعتبارها تقع على وحدة كرة ($S^{d-1}$)، باستخدام هدف يعتمد على احتمالية "فون ميسيس-فيشر" (vMF). وتحت هذا النموذج، يتم تعريف التوزيع الشرطي لمتجه سمات طبيعي $z$ بمعلومية الفئة $c$ من خلال اتجاه نموذج أولي $\mu_c$ ومعلمة تركيز $\kappa$. ويتم توجيه التصنيف بواسطة التشابه الزاوي، وينشأ الكشف عن القيم خارج التوزيع بشكل طبيعي من هندسة هذه التمثيلات، حيث يُتوقع أن تقع العينات خارج التوزيع بعيداً عن النماذج الأولية للفئات التي تم تعلمها.

2. بنية ثنائية الرؤية (زمانية-ترددية): لالتقاط الجوانب المتكاملة لبيانات السلاسل الزمنية، يستخدم HyperTF بنية ثنائية المسار:

   • رؤية النطاق الزمني (Time-Domain View): يتم إسقاط التسلسل المدخل ومعالجته مباشرة.
   • رؤية النطاق الترددي (Frequency-Domain View): يتم تحويل المدخلات عبر تحويل فوريه السريع الحقيقي (rFFT) متبوعاً بمقياس لوغاريتمي للمطال (magnitude scaling).
   • المحاذاة (Alignment): تتم معالجة كلا الرؤيتين بواسطة مشفرات خاصة بكل نطاق (تتشارك في البنية ولكن ببارامترات منفصلة) وتتم خرطتها إلى فضاء كروي مشترك عبر رؤوس إسقاط خاضعة للإشراف. يعمل منظم الاتساق عبر النطاقات ($L_{CD}$) على فرض محاذاة زاوية بين التمثيلات الزمنية والترددية، مما يضمن أن النموذج يشفر الديناميكيات الزمنية والخصائص الطيفية ضمن فضاء هندسي موحد.

3. هدف التدريب: يقلل النموذج دالة خسارة مركبة:
   $$\mathcal{L} = \mathcal{L}_{TF} + \lambda_{CD} \mathcal{L}_{CD} + \lambda_{AX} \mathcal{L}_{AX}$$

   • $\mathcal{L}_{TF}$: خسارة تصنيف فوق كروية خاضعة للإشراف (cross-entropy على الكرة) تُطبق بشكل مستقل على مساري الزمن والتردد.
   • $\mathcal{L}_{CD}$: حد الاتساق عبر النطاقات الذي يقلل المسافة الزاوية بين التمثيلات الزمنية والترددية.
   • $\mathcal{L}_{AX}$: منظم مساعد اختياري (contrastive regularizer) يستفيد من بيانات القيم المتطرفة المساعدة غير المصنفة لتشكيل هندسة التمثيل بالقرب من حدود التوزيع الداخلي (ID)، مما يمنع الانهيار ويعزز الفصل.

المساهمات الرئيسية

• الإطار فوق الكروي: يقدم البحث نهجاً مبدئياً للكشف عن القيم خارج التوزيع في السلاسل الزمنية يستحث بنية مشروطة بالفئة على الوحدة الكروية عبر صياغة vMF، متجاوزاً فضاءات التضمين الإقليدية القياسية.
• البنية ثنائية الرؤية: بنية مبتكرة تتعلم تمثيلات متوافقة من الرؤى الزمنية والطيفية، مرتبطة عبر هندسة قرار كروية مشتركة ومنظم اتساق عبر النطاقات.
• التقييم واسع النطاق: أجرى المؤلفون تجارب مكثفة على أرشيفات UCR (أحادية المتغير) وUEA (متعددة المتغيرات) الكاملة تحت بروتوكول صارم عبر مجموعات البيانات. يعامل هذا البروتوكول كل مجموعة بيانات كـ "داخل التوزيع" (ID) بدورها، بينما تعمل جميع المجموعات الأخرى كـ "خارج التوزيع" (OOD)، مما يميز بين سيناريوهات "القريب من الخارج" (نفس النمط/Modality) و"البعيد عن الخارج" (نمط مختلف).

النتائج التجريبية
مقابل نماذج أساسية قوية تشمل الأساليب اللاحقة للتدريب (مثل MSP، وMahalanobis، وCenter Loss) وأساليب وقت التدريب (مثل SimCLR، وSSD+، وKNN+، وCIDER)، يحقق HyperTF تحسينات مستمرة:

• الأداء: يحقق HyperTF نتائج هي الأفضل في حالتها (SOTA) في كل من إعدادات Near-OOD وFar-OOD عبر أرشيفات UCR وUEA. والجدير بالذكر أنه يتفوق بشكل كبير على النماذج الأساسية تحت نظام تسجيل Mahalanobis++ (Maha++)، محققاً معدل FPR@95 بنسبة 1.90% على UCR near-OOD و4.21% على UEA near-OOD (مع استخدام البيانات المساعدة).
• التصنيف الداخلي (ID Classification): يحسن الأسلوب من قوة الكشف عن القيم خارج التوزيع دون التضحب بدقة التصنيف داخل التوزيع، محققاً درجات F1 بلغت 82.53% (UBR) و81.74% (UEA)، متفوقاً على نموذج CIDER الأساسي.
• البيانات المساعدة: إن تضمين البيانات المساعدة المتطرفة، لا سي_ما عند تعزيزها بـ MixOE، يعزز أداء الكشف بشكل أكبر في حالات التغطية المحدودة، مما يقلل من FPR@95 بهوامش كبيرة في سيناريوهات Far-OOD.
• الدراسة الاستقصائية (Ablation): تؤكد دراسات الاستقصاء خطوة بخطوة أن الجمع بين الخسارة فوق الكروية، والمعالجة ثنائية الرؤية، واتساق FFT، يعطي أقوى أداء، حيث توفر الصياغة فوق الكروية أكبر مكسب مقارنة بنماذج softmax الإقليدية القياسية.

الأهمية والادعاءات
يدعي البحث أن النمذجة المشتركة للهياكل الزمنية والترددية المتكاملة ضمن فضاء تمثيل هندسي مشترك توفر أساساً قوياً للكشف عن القيم خارج التوزيع في السلاسل الزمنية تحت انزياحات التوزيع الواقعية. ويؤكد المؤلفون أن نتائجهم تسلط الض الضوء على ضرورة تقييم أساليب الـ OOD للسلاسل الزمنية بما يتجاوز مجرد تقسيمات التصنيفات داخل مجموعة البيانات. وبدلاً من ذلك، يدعون إلى اعتماد معايير تعكس متغيرات وقت النشر عبر ظروف الاستشعار، والنطاقات، ومصادر البيانات. ويشير العمل إلى أن التمثيلات فوق الكروية، التي تفرض بطبيعتها انفصالاً زاوياً وتماسكاً، مناسبة جداً للتعامل مع الانزياحات التوزيعية المعقدة ومتعددة الأنماط المتأصلة في بيانات السلاسل الزمنية.