ملخص تقني: التصفية الطيفية لهيسيان الموضعي لتقدير البعد الجوهري المتين

بيان المشكلة

يعد تقدير البعد الجوهري الموضعي (LID) أمراً بالغ الأهمية لفهم التعقيد الهندسي لمنطويات البيانات عالية الأبعاد، مع تطبيقات تتراوح من كشف الشذوذ إلى تحليل الذاكرة في النماذج التوليدية. وبينما تفترض فرضية المنطوي (Manifold Hypothesis) أن البيانات تتركز في هياكل ذات أبعاد أقل داخل فضاءات محيطة عالية الأبعاد، فإن التقدير الدقيق لـ LID في الأبعاد العالية (على سبيل المثال، $D > 1000$) يظل تحدياً كبيراً.

تعاني الطرق التقليدية القائمة على أقرب $k$ جار ($k$NN) من لعنة الأبعاد، حيث يؤدي تركز المسافات إلى إضعاف معلومات الجوار، مما يؤدي إلى تدهور حاد في الدقة. ومؤخراً، ظهرت طرق تعتمد على نماذج الانتشار (مثل LIDL وFLIPD)، والتي تستفيد من دالة الدرجة (score function - تدرج لوغاريتم الكثافة) لتجنب عمليات البحث عن الجوار. ومع ذلك، تفشل هذه الطرق القائمة على الانتشار في البيئات عالية الأبعاد وعالية الارتفاع (high co-dimension) النموذجية لبيانات الصور؛ فهي تجمع القيم (مثل معايير الدرجة أو التباينات) بشكل عشوائي عبر جميع الأبعاد. وفي حالات الارتفاع العالي، تولد الفضاءات العمودية الشاسعة إشارات انحناء ضخمة تطغى على إشارة المماس، مما يؤدي إلى نسبة إشارة إلى ضجيج ضعيفة وأخطاء تقدير كبيرة.

المنهجية: البعد الطيفي لهيسيان المندلي الموضعي (LHSD)

يقترح المؤلفون البعد الطيفي لهيسيان المندلي الموضعي (LHSD)، وهو طريقة تقدّر LID بمتانة عن طريق الفصل الصريح بين اتجاهات المماس (الإشارة) والاتجاهات العمودية (الضجيج) باستخدام التصفية الطيفية لهيسيان لوغاريتم الكثافة.

الأساس النظري

بموجب فرضية المنطوي، بالنسبة لنقطة $x$ بالقرب من منطوي ذي بُعد $d$ في $\mathbb{R}^D$، فإن التوزيع المضطرب $p_t(x)$ (الناتج عن ضجيج غاوسي بمقياس $\sigma(t)$) يُظهر طيف هيسيان مستقطب:

1. اتجاهات المماس: تقابل الفضاء المماسي $T_x\mathcal{M}$. وتكون القيم الذاتية $\lambda_i$ صغيرة، وتتدرج بمقياس $O(1)$.
2. الاتجاهات العمودية: تقابل الحزمة العمودية. وتكون القيم الذاتية $\lambda_j$ كبيرة، وتتدرج بمقياس $O(1/\sigma(t)^2)$.

يخلق هذا الفصل فجوة طيفية. ويمثل البعد الجوهري $d$ تعدد القيم الذاتية القريبة من الصفر (الفضاء الصفري للهيسيان).

النهج الخوارزمي

يقدر LHSD البعد الجوهري الموضعي عبر عد اتجاهات المماس عبر مرشح طيفي سلس $f(\lambda)$ يتم تطبيقه على القيم الذاتية للهيسيان:
$$\text{LID}(x) \approx \sum_{i=1}^D f(\lambda_i) = \text{tr}(f(H(x)))$$
حيث $H(x) = -\nabla_x s_\theta(x, t)$ هو هيسيان لوغاريتم الكثافة السالبة، المستمد من نموذج الدرجة $s_\theta$.

المكونات الرئيسية:

• التصفية الطيفية: يستخدم المؤلفون مرشحاً من نوع "هيل" (Hill-type filter):
  $$f(\lambda; \sigma(t)) = \frac{1}{1 + (|\lambda|/\kappa(t))^p}$$
  يقوم هذا المرشح بتحويل قيم المماس الذاتية (الصغيرة) إلى $\approx 1$ والقيم العمودية (الكبيرة) إلى $\approx 0$. ونقطة القطع $\kappa(t) = c/\sigma(t)^2$ متغيرة زمنياً لتوحيد مقياس الانحناء المتأصل في الاتجاهات العمودية.
• الحوسبة القابلة للتوسع (SLQ): إن بناء مصفوفة هيسيان كاملة بحجم $D \times D$ أمر باهظ حسابياً ($O(D^3)$). لذا يستخدم LHSD تربيع لانزوس العشوائي (SLQ) لتقدير الأثر $\text{tr}(f(H))$ دون بناء المصفوفة صراحة. ومن خلال حساب نواتج ضرب الهيسيان والمتجه (HVP) عبر التفاضل التلقائي واستخدام خوارزمية لانزوس لتوليد مصفوفة ثلاثية الأقطار، تحقق الطريقة تعقيداً حسابياً خطياً $O(D)$.
• اختيار المعلمات القابل للتحقق: تم تقديم مقياس تشخيصي، وهو كتلة الانتقال (Transition Mass) $M(t)$، لتحديد "منطقة آمنة" لمقياس الضجيج $t$. يضمن ذلك وجود نقطة قطع مرشح $\kappa(t)$ ضمن الفجوة الطيفية بين مجموعات المماس والعمود، مما يسمح بالتحقق البصري من صحة المعلمات.

المساهمات الرئيسية

1. مقدر LID متين: يقوم LHSD باختيار عد اتجاهات المماس عبر التصفية الطيفية للهيسيان، مما يقلل من تأثير القيم الذاتية العمودية. يضمن هذا المتانة في الأنظمة عالية الأبعاد وعالية الارتفاع حيث تفشل الطرق السابقة.
2. اختيار معلمات قابل للتحقق: توفر الطريقة مؤشراً تشخيصياً (كتلة الانتقال) وآلية بصرية (وضع ملفات تعريف المرشح فوق توزيعات القيم الذاتية) للتحقق من صحة اختيار المعلمات ($c, p, t$)، مما يعالج طبيعة "الصندوق الأسود" للمقدرات السابقة.
3. خوارزمية قابلة للتوسع: من خلال دمج التصفية الطيفية مع SLQ، يتجاوز LHSD بناء الهيسيان الصريح، محققاً تعقيداً خطياً $O(D)$. وهذا يتيح الاستدلال السريع حتى للأبعاد التي تتجاوز 3,000.
4. التحقق التجريبي المكثف: تمت تقييم طريقة LHSD مقابل طرق $k$NN (مثل ESS وLPCA) وطرق الانتشار (مثل LIDL وFLIPD وNormal Bundle) عبر إعدادات متنوعة.

النتائج التجريبية

تقيم الورقة LHSD مقابل طرق $k$NN وطرق الانتشار عبر عدة إعدادات:

• المنطويات عالية الأبعاد: في التجارب مع الأبعاد المحيطة التي تصل إلى $D=3072$ وبأبعاد جوهرية متغيرة، حقق LHSD باستمرار أدنى متوسط خطأ مطلق (MAE). على سبيل المثال، في مجموعة بيانات $F10+80+200 \subset \mathbb{R}^{3072}$، أعطت طريقة FLIPD خطأً قدره 1240.89، بينما حقق LHSD خطأً قدره 5.19 فقط.
• اختبارات استعادة البعد الجوهري (IDR): في اختبارات IDR (تضمين منطويات ثلاثية الأبعاد في فضاء Fashion-MNIST، حيث $D=784$)، عانت طرق الانتشار الموجودة من تدهور حاد في الأداء. حافظ LHSD على سلوك مستقر مع حد أدنى من زيادة الخطأ، حتى مع استخدام رتبة لانزوس دنيا ($m=2$).
• الكفاءة الحسابية: أظهر LHSD تسريعاً يزيد عن 250 ضعفاً مقارنة بـ FLIPD. بينما تتطلب FLIPD عدد $D$ من عمليات الانتشار الخلفي (تعقيد تربيعي)، يتطلب LHSD فقط عدداً صغيراً من عمليات HVP (تعقيد خطي).
• كشف الذاكرة: في تجربة لكشف العينات المحفوظة في نموذج DDPM مدرب على CIFAR-10، نجح LHSD في التمييز بين العينات المحفوظة (التي تظهر أبعاداً جوهرية منخفضة بشكل غير طبيعي) والعينات غير المحفوظة ذات التعقيد البصري المماثل. حققت الطريقة درجة AUROC بلغت 99.87%، مما يثبت فائدتها في تحديد الإفراط في التخصيص (overfitting) في النماذج التوليدية.

الأهمية والادعاءات

تدعي الورقة أن LHSD يمثل تقدماً جوهرياً في تقدير LID من خلال معالجة نمط الفشل المحدد للطرق القائمة على الانتشار: عدم القدرة على فصل الإشارة عن الضجيج في الارتفاعات العالية.

• المتانة: تكمن الأهمية الأساسية في قدرة الطريقة على البقاء دقيقة في الأنظمة التي يتجاوز فيها البعد المحيط البعد الجوهري بكثير، وهو سيناريو شائع في بيانات الصور.
• القابلية للتفسير: بخلاف الطرق السابقة، يوفر LHSD آلية للممارسين للتشخيص البصري والتحقق من التقاط بنية المنطوي الأساسية بشكل صحيح، مما يوفر مستوى من التفسير يفتقر إليه النهج السابق.
• القابلية للتوسع: يجعل التوسع الخطي مع البعد LHSD الطريقة الوحيدة المقترحة القادرة على التعامل بكفاءة مع البيانات عالية الأبعاد (مثل $D > 3000$) دون التكاليف الباهظة المرتبطة بـ SVD أو بناء الهيسيان الكامل.

يقر المؤلفون بوجود قيد: تعتمد الطريقة على جودة نموذج الدرجة المدرب. وبينما يقيمون دقة التدريب، فإن وضع تشخيصات صارمة للاتساق الطيفي لنماذج الدرجة على بيانات العالم الحقيقي المعقدة يظل مسألة مفتوحة.