HomID : Benchmarking Intrinsic Dimension Estimators on Homogenous Manifolds with Anisotropic Embeddings

تخيل أنك تحاول فهم شكل جسم مخفي من خلال لمس سطحه فقط. في عالم تعلم الآلة، يُنظر غالبًا إلى البيانات على أنها سحابة شاسعة من النقاط عالية الأبعاد، لكن الباحثين يعتقدون أن هذه النقاط تقع في الواقع على شكل أبسط بكثير، ذي أبعاد أقل، يختبئ داخل تلك السحابة. هذه الفكرة، المعروفة باسم "فرضية المتشعب" (manifold hypothesis)، تشير إلى أنه على الرغم من أن مجموعة البيانات قد تحتوي على آلاف الميزات، إلا أن التعقيد الحقيقي للبيانات أصغر بكثير. ولتفسير هذا التعقيد الخفي، يستخدم العلماء أدوات لتقدير "البعد الجوهري"، وهو في الأساس عدد الحد الأدنى من الإحداثيات اللازمة لوصف البيانات دون فقدان أي معلومات. إذا كانت مجموعة البيانات بسيطة حقًا، فيجب أن تجد هذه الأدوات ذلك الرقم المنخفض بسهولة. ومع ذلك، عندما يطبق الباحثون هذه الأدوات على بيانات من العالم الحقيقي، مثل صور الأرقام المكتوبة بخط اليد، غالبًا ما تكون النتائج فوضى عارمة، حيث تعطي الأدوات المختلفة إجابات متباينة تمامًا. هذا عدم الاتفاق جعل من الصعب معرفة ما إذا كانت الأدوات معطلة أم أن البيانات هي التي يصعب قياسها.

لقد وضع فريق من الباحثين في جامعة ميريلاند والمعهد الوطني للمعايير والتقنية (NIST) نصب أعينهم حل هذا الغموض من خلال بناء نوع جديد من ميادين الاختبار. لقد أدركوا أن العديد من الاختبارات الحالية تستخدم أشكالًا مثالية للغاية، مثل الكرات الملساء حيث يبدو السطح متماثلاً في جميع الاتجاهات. وافترض الفريق أن البيانات الحقيقية نادرًا ما تكون منتظمة هكذا؛ فالبيانات الحقيقية غالبًا ما تتسم بـ "تباين الخواص" (anisotropy)، وهي كلمة منمقة تعني شكلاً يتمدد أو ينكمش بشكل مختلف اعتمادًا على الاتجاه الذي تنظر منه. ولاختبار مدى قدرة أدوات القياس الحالية على التعامل مع عدم الانتظام هذا، أنشأ الفريق معيارًا مرجعيًا جديدًا يسمى "HomID". تتكون هذه المجموعة من أشكال رياضية تُعرف بالمتجانسات الفراغية (homogeneous spaces)، وهي منتظمة تمامًا في بنيتها الداخلية، ولكن يتم دمجها في فضاء أكبر بطريقة تخلق هذه التمددات الاتجاهية. إنها بيئة محكومة يعرف فيها الباحثون الإجابة الدقيقة، مما يسمح لهم برؤية أين ولماذا تفشل أدوات القياس بالضبط.

وعندما قام الباحثون بتشغيل أدوات القياس القياسية الخاصة بهم على هذه الأشكال الجديدة، كانت النتائج صارخة. فالأدوات التي كان أداؤها مثاليًا على الأشكال المستديرة البسيطة مثل الكرات، بدأت تتعثر وتفشل في أشكال "HomID"، حتى عند منحها نفس القدر من البيانات. لقد أنتجت الأدوات إجابات خاطئة بشكل منهجي، حيث بالغت في تقدير التعقيد الحقيقي للبيانات أو قللت منه. ووجد الباحثون أن هذا الفشل لم يكن عشوائيًا؛ بل كان نتيجة مباشرة للامتداد الاتجاهي. واكتشفوا أن هذه الأدوات تعتمد على افتراضات حول كيفية توزيع البيانات، مثل فكرة أن الجيران متباعدون بالتساوي في جميع الاتجاهات. وعندما تتمدد البيانات، تنهار هذه الافتراضات، مما يؤدي إلى إساءة تفسير الأدوات للجوار المحلي وحساب البعد بشكل خاطئ.

ولإثبات أن هذا التمدد الاتجاهي هو المسبب، أجرى الفريق سلسلة من اختبارات الضغط. فقد أخذوا أشكالاً مستديرة بسيطة وعمدوا إلى تشويهها عبر تمديدها في اتجاهات محددة، محاكيةً سلوك أشكال "HomID". وبمجرد إدخال هذا التشويه، انخفض أداء أدوات القياس بشكل كبير، مما عكس حالات الفشل التي لوحظت في المعايير الأكثر تعقيدًا. كما أضافوا ضجيجًا إلى البيانات لمعرفة ما إذا كانت الأخطاء العشوائية هي السبب، لكنهم وجدوا أن النوع المحدد من التشويه الاتجاهي هو السبب الرئيسي للأخطاء، وليس مجرد الفوضى العامة. وفي فحص نهائي، طبقوا هذه التشوهات نفسها على مجموعات صور من العالم الحقيقي، مثل صور الملابس والسيارات، ولاحظوا النمط نفسه: كانت الأدوات تعاني عندما تتمدد البيانات، مما أكد أن المشكلة ذات صلة بالتطبيقات العملية.

تخلص الدراسة إلى أن الجيل الحالي من أدوات قياس تعقيد البيانات هش بشكل مفاجئ. فهي تعمل جيدًا على الأشكال المثالية المستديرة تمامًا، لكن أداءها يتدهور بسرعة عند مواجهة الانحيازات الاتجاهية الموجودة في الهندسات الأكثر واقعية. ويشير الباحثون إلى أن المجال قد بالغ في تقدير قوة هذه الأساليب لأن الاختبارات السابقة كانت بسيطة للغاية. ومن خلال تقديم "HomID"، فقد وفروا وسيلة للكشف عن هذه نقاط الضعف الخفية. لا يدعي العمل إصلاح الأدوات، ولكنه حدد بوضوح خاصية هندسية معينة — وهي تباين الخواص — تسبب فشلها. ويقدم هذا التصور مسارًا واضحًا نحو تطوير طرق أفضل يمكنها التعامل مع الطبيعة غير المنتظمة والممتدة للبيانات في العالم الحقيقي، مما يضمن أنه عندما نحاول قياس تعقيد العالم، ستكون أدواتنا مؤهلة للمهمة.