DenoGrad: A Gradient-Based Framework for Data Refinement in Tabular and Time-Series Learning

ملخص تقني: DENOGRAD

DENOGRAD هو إطار عمل مبتكر يعتمد على التدرج (gradient-based)، صُمم لتنقية البيانات في تعلم البيانات الجدولية والسلاسل الزمنية. وهو ينقل نموذج تنقية الضجيج من الفلترة الإحصائية التقليدية أو إعادة البناء الخاضعة للإشراف نحو نهج تحسين مركزي للبيانات وموجه بالنماذج (model-guided, data-centric optimization).

1. المشكلة: قيود عمليات تنقية الضجيج الحالية

حدد المؤلفون ثلاث عقبات حرجة في سير عمل تنقية البيانات الحالي:

• الافتراضات الإحصائية الجامدة: تعتمد الطرق التقليدية (مثل مرشحات كالمان، وتحليل المكونات الرئيسية PCA، والمويجات Wavelets) على افتراضات ثابتة مثل التوزيع الطبيعي (Gaussianity) أو توزيعات ترددية محددة، والتي غالبًا ما تفشل في مواجهة البيانات المعقدة والواقعية.
• فقدان البيانات مقابل التصحيح المفرط: تؤدي طرق الفلترة (إزالة العينات المشوشة) إلى تقليل تنوع وحجم مجموعة البيانات، بينما تخاطك الطرق التصحيحية (تعديل القيم) بـ "التصحيح المفرط" وتشويه توزيع البيانات الأصلي.
• متطلبات الإشراف: تتطلب نماذج تنقية الضجيج في التعلم العميق الحديث (مثل المشفرات التلقائية لإزالة الضجيج Denoising Autoencoders) عادةً مجموعات بيانات "نظيفة-مشوشة" مزدوجة للتدريب، وهي أمور نادرة التوافر في السيناريوهات الواقعية.

2. المنهجية: تحسين المدخلات القائم على التدرج

يستفيد DenoGrad من الانحياز الطيفي (Spectral Bias) للشبكات العصبية العميقة (DNNs)—وهو ميل الشبكات لتعلم الهياكل العامة ذات التردد المنخفض (الإشارة) قبل الإفراط في ملاءمة التباينات العشوائية ذات التردد العالي (الضجيج).

الآلية الجوهرية:
بدلاً من تحديث أوزان النموذج ($\theta$)، يقوم DenoGrad بتجميد هيكل تنبؤي مُدرب مسبقاً، ويعامل ميزات المدخلات ($X$) والمتغيرات المستهدفة ($y$) كـ معلمات قابلة للتدريب (trainable parameters). إنه ينفذ "تحسيناً تنافسياً عكسياً": فبينما يعمل الهجوم التنافسي (adversarial attack) على تعظيم الخسارة لتشويه المدخلات، يعمل DenoGrad على تقليل الخسارة لدفع الملاحظات الفاسدة نحو "المنطوق النظيف" (clean manifold) الذي تعلمه النموذج.

المكونات التقنية الرئيسية:

• التحسين المشترك للميزات والهدف: على عكس الطرق التي تُحسن الميزات فقط، يقوم DenoGrad بتحسين $X$ و $y$ في آن واحد. وهذا يمنع "انحياز التدرج"، حيث يؤدي تصحيح الميزات مقابل هدف مشوش وغير مصحح إلى نتائج دون المستوى الأمثل.
• آلية البوابة (عتبة التسامح $\tau$): لمنع التنعيم المفرط والحفاظ على العشوائية الصالحة، تُستخدم عتبة $\tau$. لا يتم تطبيق التحديثات إلا على الحالات التي يتجاوز فيها خطأ التنبؤ قيمة $\tau$، مما يضمن بقاء العينات عالية الثقة دون تغيير.
• استراتيجية التوافق (للسلاسل الزمنية): للتعامل مع التبعيات الزمنية في البيانات المتسلسلة، يستخدم DenoGrad مخزناً لتراكم التدرجات. وبما أن الخطوة الزمنية الواحدة $t$ تظهر في نوافذ منزلقة متداخلة متعددة، يقوم الإطار بتجميع التدرجات من جميع النوافذ وتطبيق تحديث متوسط واحد متسق زمنياً.
• التطبيع المشترك (Joint Normalization): يتم دمج تدرجات $X$ و $y$ وتطبيعها بواسطة معيار $L_2$ الخاص بها لضمان تحديثات متوازنة عبر المتغيرات غير المتجانسة.

3. المساهمات الرئيسية

• إطار عمل مستقل عن النموذج: يمكن تطبيقه على أي نموذج قابل للتفاضل (MLPs, CNNs, LSTMs) دون الحاجة إلى مرحلة تدريب ثانوية أو بيانات مرجعية نظيفة.
• التوازن الأمثل بين الأداء والدقة: يحقق الإطار مكاسب تنبؤية عالية مع الحفاظ على الطوبولوجيا الإحصائية للبيانات الأصلية (مقاسة عبر مسافة Sliced Wasserstein و معامل ارتباط بيرسون).
• التعميم الشامل: تستفيد البيانات المنقاة من مجموعة واسعة من البنى اللاحقة، بدءاً من النماذج الخطية (Ridge) وصولاً إلى تعزيز التدرج (XGBoost) والمحولات المتخصصة (TabPFN).
• تنظيم مستوى مجموعة البيانات: يعمل DenoGrad كمنظم (regularizer) حتى على البيانات "النظيفة" من خلال مواءمة التناقضات الصغيرة بين المتغيرات وكبح الضجيج الكامن.

4. النتائج التجريبية

اختبر المؤلفون DenoGrad على عشر مجموعات بيانات من العالم الحقيقي (5 جدولية، 5 سلاسل زمنية) مقابل سبعة من أفضل الطرق المرجعية (بما في ذلك PCA، ومرشحات كالمان، والمشفرات التلقائية لإزالة الضجيج).

• المكسب التنبؤي: تفوق DenoGrad باستمرار على النماذج المرجعية في تقليل متوسط مربع الخطأ (MSE). وفي السلاسل الزمنية (مثل ECL، وMicrosoft Stock)، حقق تحسينات هائلة (تصل إلى 98%).
• سلامة البيانات: في مخططات الفرق الحرج (CD diagrams)، احتل DenoGrad المرتبة الأعلى في الحفاظ على بنية البيانات (أدنى مسافة SWD) وارتباط الميزات ($\bar{\rho}$).
• نجاح دراسة الاستئصال (Ablation): وُجد أن التحسين المشترك لـ $X+y$ يتفوق بشكل كبير على تحسين $X$ فقط، لا سيالما في السلاسل الزمنية، حيث قدم مكسباً في التحسين التنبؤي بمقدار $3.4\times$.
• المتانة: ظل الإطار فعالاً عبر مستويات مختلفة من كثافة الضجيج ($\sigma$) وأظهر استقراراً عبر بنيات الـ backbone المختلفة.

5. الأهمية والآثار المترتبة

يمثل DenoGrad تطبيقاً عملياً لنموذج الذكاء الاصطناعي المركزي للبيانات (Data-Centric AI). وهو يثبت أن النماذج التنبؤية لا ينبغي أن تكون مجرد "المنتج النهائي" لسير العمل، بل يمكنها أن تعمل كـ أدوات نشطة لتنقية البيانات. ومن خلال استخدام المعرفة الدلالية الضمنية المشفرة في الشبكة العصبية لتنقية البيانات التي تدربت عليها، يسد DenoGrad الفجوة بين التعلم المرتكز على النموذج والهندسة المرتكزة على البيانات، مما يوفر طريقة قابلة للتوسع لتحسين جودة مجموعات البيانات في بيئات الإنتاج.