DR-SNE: Density-Regularized Stochastic Neighbor Embedding

ملخص تقني: DR-SNE (تضمين الجيران العشوائيين المنظم بالكثافة)

بيان المشكلة
تُصاغ طرق تقليل الأبعاد القياسية، ولا سيما t-SNE ومتغيراتها، كمسائل هندسية تهدف إلى الحفاظ على علاقات الجوار المحلية. وبينما هي فعالة في الحفاظ على البنية الشرطية (التشابهات المحلية)، إلا أنها تتجاهل ضمنيًا توزيع الكتلة الاحتمالية عبر مجموعة البيانات. ونتيجة لذلك، غالبًا ما تتسبب في تشوهات شديدة في كثافة البيانات، حيث تقوم بتوسيع المناطق المتفرقة وضغط المناطق الكثيفة. يؤدي هذا إلى تضمينات (embeddings) تُسيء تمثيل توزيع البيانات الأساسي، مما ينتج عنه أحجام عناقيد وعلاقات مكانية مضللة. تحاول النهج الحالية الواعية بالكثافة، مثل DensMAP وDenSNE، التخفيف من ذلك من خلال فرض الاتساق في مقاييس الجوار المحلية (مثل أنصاف الأقطار أو عرض النطاق الترددي). ومع ذلك، تجادل الورقة بأن هذه الوسائط القائمة على المقياس (scale-based proxies) ترتبط فقط بشكل غير مباشر بكثافة أخذ العينات المحلية ويمكن أن تكون حساسة لمقياس التضمين وتعريفات الجوار.

المنهجية
يقترح المؤلفون DR-SNE (تضمين الجيران العشوائيين المنظم بالكثافة)، وهو إعادة صياغة لتقليل الأبعاد كعملية محاذاة مشتركة لمكونين:

1. البنية الشرطية: التقاط العلاقات المحلية (كما هو معتاد في SNE/t-SNE).
2. بنية الكثافة النسبية: التقاط تباين الكتلة الاحتمالية عبر إحصاءات الكثافة المحلية.

نظريًا، يستند هذا إلى تفكيك تباعد كولباك - ليبلر (KL divergence) بين التوزيعات المشتركة إلى مكونات شرطية وهامشية. يقوم t-SNE القياسي بتحسين المصطلح الشرطي فقط عن طريق تثبيت التوزيعات الهامشية لتكون منتظمة. يقدم DR-SNE هدفًا تكميليًا لمحاذاة الكثافة الهامشية.

التنفيذ الخوارزمي:

• تقدير الكثافة: يتم تقدير الكثافات المحلية في كل من الفضاءات عالية الأبعاد ($X$) ومنخفضة الأبعاد ($Z$) باستخدام مسافات أقرب $k$ جار ($k$-NN).
• التطبيع (Normalization): يتم تطبيع تقديرات الكثافة هذه ($\rho$) لتصبح ذات متوسط وحدة لضمان ثبات المقياس.
• دالة الهدف: تجمع دالة الفقد الإجمالية $L$ بين تباعد KL المتناثر القياسي ($L_{KL}$) وحَد تنظيم الكثافة ($L_{dens}$):
  $$L = L_{KL} + \lambda L_{dens}$$
  حيث يقلل $L_{dens}$ الفرق المربع بين تقديرات اللوغاريتم الكثافي المطبعة:
  $$L_{dens} = \frac{1}{n} \sum_{i=1}^{n} \left( \log \tilde{\rho}^{high}_i - \log \tilde{\rho}^{low}_i \right)^2$$
• التحسين: تستخدم الطريقة مرحلة إحماء مع مبالغة مبكرة (early exaggeration) متبوعة بالتحسين عبر خوارزمية Adam مع قص التدرج (gradient clipping). يتحكم المعامل $\lambda$ في المقايضة بين دقة الجوار والحفاظ على الكثافة.

المساهمات الرئيسية

1. إعادة الصياغة النظرية: تؤطر الورقة صراحةً تقليل الأبعاد كعملية محاذاة مشتركة للبنية الشرطية والكثافة الهامشية، وتحدد إهمال الحد الهامشي كسبب جذري لتشويه الكثافة في الطرق القياسية.
2. المحاذاة المباشرة للكثافة: على عكس العمل السابق الذي يعتمد على وسائط قائمة على المقياس، يقوم DR-SNE بمحاذاة تقديرات اللوغاريتم الكثافي المطبعة مباشرة. يوفر هذا آلية ثابتة المقياس للحفاظ على تباينات الكثافة النسبية.
3. مقياس تقييم جديد: يقدم المؤلفون ارتباط الكثافة (DC)، المعرف بأنه الارتباط بين تقديرات اللوغاريتم الكثافي المطبعة في الفضاءات الأصلية والمضمنة، لتقييم الحفاظ على الكثافة كميًا.
4. التحقق التجريبي: تُظهر التجارب المكثفة أن DR-SNE يحقق حفظًا فائقًا للكثافة مقارنة بـ t-SNE وUMAP وPaCMAP وDensMAP وDenSNE، مع الحفاظ على دقة جيرة تنافسية.

النتائج

• حفظ الكثافة: عبر مجموعات بيانات متنوعة (Digits, Fashion-MNIST, MNIST, PBMB, Shuttle, synthetic spirals)، يحقق DR-SNE باستمرار أعلى درجات ارتباط الكثافة (DC). على سبيل المثال، في مجموعة بيانات MNIST، حقق DR-SNE درجة DC بلغت 0.991 مقارنة بـ 0.987 لـ DensMAP و0.118 لـ t-SNE القياسي.
• مقايضة الطوبولوجيا مقابل الكثافة: تكشف دراسات الاستئصال (Ablation studies) عن جبهة باريتو واضة. تؤدي زيادة $\lambda$ إلى تحسين ارتباط الكثافة بشكل رتيب، ولكنها تؤدي تدريجيًا إلى تدهور الموثوقية (البنية المحلية). والجدير بالذكر أن قيم $\lambda$ الصغيرة غير الصفرية غالبًا ما تحسن كلاً من حفظ الكثافة والبنية المحلية، حيث تعمل كمثبت.
• الأداء في المهام اللاحقة: في مهام كشف الشذوذ (باستخدام kNN وLOF وIsolation Forest والكواشف القائمة على المركز)، يحقق DR-SNE مكاسب، لا سيًا في الأنظمة المدفوعة بالكثافة (مثل Shuttle وThyroid) حيث تمثل الشذوذات مناطق منخفضة الكثافة. ويظهر متانة عبر مختلف الكواشف مقارنة بالطرق التي تتفوق فقط مع وظائف تسجيل محددة.
• التكلفة الحسابية: يحتفظ DR-SNE بتعقيد زمني قدره $O(n^2)$ لكل تكرار مثل t-SNE القياسي بسبب التفاعلات الزوجية الكثيفة، رغم أن المؤلفين يشيرون إلى إمكانية تطبيق تقنيات التسريع الحالية (مثل Barnes-Hut).

الأهمية والادعاءات
تدعي الورقة أن DR-SNE يقدم "امتدادًا بسيطًا ومبدئيًا" لإطار الجار العشوائي يعالج قيدًا جوهريًا في أدوات التصور واسعة الانتشار. من خلال دمج معلومات الكثافة صراحةً، يوفر DR-SNE تمثيلًا أكثر أمانة لتوزيع البيانات الأساسي، خاصة في مجموعات البيانات الهجينة التي تحتوي على كل من العناقيد المنفصلة والمتغيرات المستمرة (مثل بيانات تسلسل الحمض النووي الريبوزي أحادي الخلية).

يؤكد المؤلفون أن عملهم يشير إلى أن تقليل الأبعاد يجب ألا يُنظر إليه كمجرد مسألة هندسية، بل كمحاذاة للمكونات المتكاملة لتوزيع البيانات. ويجادلون بأنه بينما تظل الطرق التي تركز على الهندسة مفضلة في الإعدادات التي تهيمن عليها العناقيد أو المتشعبات (manifolds) البحتة، فإن التضمينات التي تحفظ الكثافة تعد بالغة الأهمية للتحليل الإحصائي، وكشف الشذوذ، والمهام التي تحمل فيها الكثافة النسبية لنقاط البيانات معلومات ذات معنى. توفر الطريقة مقايضة قابلة للتحكم، مما يسمح للممارسين بضبط التضمين بناءً على النظام الهيكلي الخاص ببياناتهم.