Operator-based Analysis of Numerical Projection Perturbations in Grassmann Manifold Optimization

تخيل أنك تحاول الحفاظ على توازن "نحلة" (spinning top) تدور بشكل مثالي فوق طاولة مهتزة. في عالم علوم البيانات والتعلم الآلي الحديث، غالبًا ما تضطر الحواسيب إلى حل المشكلات من خلال البحث عن أفضل شكل أو اتجاه داخل سحابة هائلة من المعلومات. وللقيام بذلك، يستخدمون ساحة لعب رياضية تسمى متشعب غراسمان (Grassmann manifold). لا تفكر في هذا كأنه ورقة مسطحة، بل كسطح منحني متعدد الأبعاد، حيث تمثل كل نقطة فيه "فضاءً جزئياً" (subspace) محددًا—أي شريحة مسطحة أو زاوية رؤية معينة داخل مجموعة بيانات ضخمة.

للتنقل عبر هذا السطح المنحني، تستخدم الحواسيب أدوات خاصة تسمى المساقط المتعامدة (orthogonal projectors). يمكنك تصورها ككشافات ضوئية صلبة ومثالية تسلط شعاعاً من الضوء على شريحة معينة من البيانات، متجاهلةً كل شيء آخر. ولكي يعمل هذا الحساب رياضياً، يجب أن تكون هذه الكشافات "متماثلة القوة" (idempotent)، وهي كلمة منمقة تعني أنه إذا سلطت الضوء مرتين، فستحصل على نفس النتيجة تماماً كما لو سلطته مرة واحدة. الشعاع لا يصبح أكثر سطوعاً أو ضبابية أو تغيراً في الشكل؛ بل يظل حاداً ومثالياً. ومع ذلك، في عالم الحسابات الحاسوبية، تدخل أخطاء صغيرة لا مفر منها—مثل ما يعادل النسخة الرقمية من اليد المرتعشة أو ذرة غبار. تُسمى هذه الأخطاء الاضطرابات (perturbations). عادةً، عندما تلمس جسماً رياضياً مثالياً، فإنه يتأرجح قليلاً، وهذا التأرجح ينمو طردياً مع قوة الدفعة. إذا دفعت بضعف القوة، سيتأرجح بضعف المقدار. هذه هي القاعدة العامة لمعظم الأخطاء الرياضية.

ولكن ماذا لو كان هناك مسار سري حيث تختلف القواعد؟ ماذا لو كان هناك، تحت ظروف محددة للغاية، دفع صغير لا يؤدي فقط إلى تأرجح بسيط، بل يجعل الخطأ يتلاشى تماماً؟ هذا هو اللغز الذي سعى باسكال كوبويمانا، وب. برابهاكار ريدي، وجيسون م. مكنييلي، لحله في بحثهم الجديد. لقد طرحوا سؤالاً بسيطاً: ماذا يحدث إذا جاء "الدفعة" التي نعطيها لكشافنا الرياضي من اتجاه محدد ومنظم للغاية—اتجاه ينزلق تماماً على طول منحنى المتشعب، بدلاً من دفعه خارج الحافة؟

سر الانزلاق "المماسي"

اكتشف الباحثون أنه عندما تحدث الأخطاء بطريقة محددة للغاية—وهي ما يسمونها الاضطرابات ذات البنية المماسية (tangent-structured perturbations)—فإن القواعد المعتادة لنمو الخطأ تنهار تماماً. بلغة ورقتهم البحثية، هذه هي الأخطاء التي تنزلق على طول "مماس" المتشعب، مثل متزلج يتزحلق تماماً على منحدر دون أن يطير أبداً في الهواء.

إليك السحر الذي وجدوه: في العالم الرياضي العادي، إذا كان لديك خطأ صغير (لنسمه $\epsilon$)، فإن الفوضى الناتجة في حساباتك عادة ما تكون متناسبة مع ذلك الخطأ. إنه خط مستقيم: خطأ صغير يعني فوضى صغيرة. لكن المؤلفين أثبتوا أنه بالنسبة لهذه "الانزلاقات المماسية" الخاصة، فإن الفوضى لا تنمو بشكل خطي. بدلاً من ذلك، تنمو تربيعياً (quadratically).

لاستخدام تشبيه، تخيل أنك تحاول موازنة كومة من الورق المقوى (cards). إذا دفعت الكومة من الجانب (خطأ عادي)، فإن الكومة بأكملها ستميل بنفس مقدار دفعتك. ولكن إذا دفعت الكرط في حركة انزلاق محددة جداً على طول عروق الخشب (خطأ مماس)، فإن الكومة ستتأرجح بالكاد. في الواقع، التأرجح ضئيل جداً لدرجة أنه يتناسب مع مربع دفعتك. إذا دفعت بقوة 0.1، فإن التأرجح ليس 0.1، بل هو 0.01. إذا دفعت بقوة 0.01، فإن التأرجح سيكون 0.0001 مجهرياً. الخطأ يتقلص بسرعة مذهلة، ليصبح غير مرئي تقريباً بسرعة كبيرة.

"عيب التماثل" والمعادلة السحرية

تركز الورقة على مشكلة محددة تسمى عيب التماثل (idempotency defect). هذا مقياس لمدى فقدان "الكشاف المثالي" (المسقط) لكونه مثالياً بعد تعرضه لدفعة. هل يظل يسلط نفس الشعاع، أم يصبح ضبابياً؟

أثبت المؤلفون هوية رياضية مذهلة: بالنسبة لهذه النبضات المماسية، فإن "الضبابية" (العيب) تساوي تماماً مربع النبضة نفسها. لقد كتبوا ذلك كالتالي: $\tilde{P}^2 - \tilde{P} = E^2$. باللغة البسيطة، الجزء الأول من الخطأ (الجزء الخطي) يلغي نفسه تماماً، تاركاً الجزء الثاني فقط (الجزء التربيعي). هذا يعني أن الخطأ هو تربيعي بطبيعته.

لم يكتفوا بالتخمين؛ بل قاموا بحساب شكل الخطأ بدقة. وجدوا أن حجم التأرجح محكوم برقم حاد ودقيق للغاية: الخطأ أقل من أو يساوي مربع النبضة مقسوماً على الجذر التربيعي لـ 2 ($\epsilon^2 / \sqrt{2}$). هذه هي أفضل نتيجة ممكنة. إذا كانت النبضة عبارة عن دفعة واحدة بسيطة (رتبة واحدة/rank one)، فإنك تصل إلى هذا الحد الأقصى. وإذا كانت النبضة موزعة على اتجاهات عديدة، فإن الخطأ يصبح أصغر، ويتقلص مع زيادة عدد الاتجاهات.

متى يفشل السحر: الدفعة "العادية"

كان الباحثون حريصين على إظهار أن هذه الخدعة السحرية لا تعمل مع أي نوع من أنواع الأخطاء. لقد استبعدوا صراحةً فكرة أن جميع الأخطاء تتصرف بهذا الشكل. إذا دفعت الكشاف في اتجاه "عادي"—بمعنى أنك تدفع الكشاف بعيداً عن منحنى المتشعب، مثل دفع متزلج خارج المنحدر—فإن السحر يختفي. يعود الخطأ ليكون خطياً. دفعة صغيرة تخلق تأرجحاً صغيراً، ودفعة كبيرة تخلق تأرجحاً كبيراً. تثبت الورقة أن الإلغاء التربيعي هو خاصية فريدة للانزلاق "المماسي". إذا احتوى الخطأ الخاص بك على ولو جزء ضئيل من الاتجاه "العادي"، فإن الإلغاء المثالي ينكسر، وينمو الخطأ بشكل أسرع بكثير.

إثبات من الواقع: من الأرقام العشوائية إلى الصور الحقيقية

للتأكد من أن هذا لم يكن مجرد نظرية جميلة على الورق، أجرى الفريق آلاف التجارب الحاسوبية. اختبروا رياضياتهم على شيئين:

1. المساقط العشوائية: صنعوا الآلاف من الكشافات الرياضية العشوائية وقاموا بنبضها.
2. البيانات الحقيقية: أخذوا مجموعة بيانات حقيقية، وهي مجموعة صور CIFAR-10 (التي تحتوي على صور بحجم 32×32 بكسل لقطط وكلاب وسيارات وطائرات)، وبنوا مسقطاً من أهم الميزات الموجودة في تلك الصور.

في كلتا الحالتين، تطابقت النتائج مع نظريتهم تماماً. عندما طبقوا نبضة مماسية صغيرة بحجم $10^{-6}$ (رقم صغير جداً)، كان الخطأ الناتج حوالي $10^{-13}$. هذا فرق قدره ست مراتب عشرية. لتضع ذلك في المنظور، إذا كان الخطأ الناتج عن دفعة عادية بحجم حبة رمل، فإن الخطأ الناتج عن دفعة مماسية سيكون بحجم ذرة واحدة.

تحققوا أيضاً مما يحدث عندما تصبح النبضة كبيرة جداً. وجدوا أنه طالما أن النبضة أصغر من عتبة محددة (مرتبطة بدقة الحاسوب، حوالي $10^{-8}$ للرياضيات ذات الدقة المزدوجة القياسية)، فإن المسقط يظل مستقراً بشكل لا يصدق. ومع ذلك، إذا كانت النبضة كبيرة جداً، أو إذا لم تكن نبضة "مماسية"، فإن الاستقرار يتلاشى.

ماذا يعني هذا للمستقبل

تختتم الورقة بكلمة "ولكن" مهمة جداً. بينما يظل المسقط (الأداة الرياضية) مستقراً للغاية تحت هذه النبضات المماسية، فإن العملية المستخدمة لحل المشكلات قد لا تكون محظوظة بنفس القدر. أظهر المؤلفون أنه عند استخدام أداة قياسية لتحديث موقعك على المتشعب (ما يسمى بـ الارتداد/retraction)، فإن الخطأ يعود عادةً للظهور بمعدل خطي. لذا، بينما يظل "الكشاف" نفسه حاداً، فإن "اليد" التي تمسكه قد تظل مرتجفة.

يشير هذا إلى أنه للاستمتاع الكامل بفوائد هذا الاكتشاف، قد نحتاج إلى ابتكار أدوات جديدة—عمليات ارتداد خاصة "محافظة على البنية"—تحافظ على الخطأ تربيعياً طوال عملية الحساب.

باختصار، تكشف هذه الورقة عن طبقة خفية من الاستقرار في الرياضيات الكامنة وراء التعلم الآلي. إنها تظهر أنه إذا كنا حذرين في جعل أخطائنا تنزلق على المسار الصحيح، فإن الرياضيات ستكون أكثر تسامحاً ودقة مما ظننا. الخطأ لا يصبح أصغر فحداً فحسب، بل يصبح متناهي الصغر بطريقة تتحدى القواعد المعتادة، مما يفتح مساراً نحو خوارزميات أكثر قوة ودقة لكل شيء، من تتبع الأجسام المتحركة إلى فهم الصور المعقدة. ومع ذلك، يوضح المؤلفون أن هذا ظاهرة مثبتة ومحددة للمساقط المتعامدة تحت تأثير الاضطرابات المماسية، ويتطلب منا أن نكون حذرين جداً بشأن كيفية التعامل مع بقية الحسابات للحفاظ على بقاء السحر حياً.