The Loss Does Not See the Basis, but Adam Does
تُبين هذه الورقة أن فشل خوارزمية "آدم" (Adam) في استعادة الحلول منخفضة الرتبة في النماذج المُحللة ينبع من افتقارها لخاصية التكافؤ القياسي (gauge equivariance)، وهي خاصية تمتلكها خوارزمية الانحدار الاشتقاقي (gradient descent) وغيرها من المحسنات ذات القياس المشترك التي تحافظ على الانحياز الضمني نحو المستقرات منخفضة الرتبة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز ضخم وفوضوي حيث القطع عبارة عن أرقام مرتبة في شبكة. في عالم الذكاء الاصطناعي، يسمى هذا "تحليل المصفوفات" (Matrix Factorization). لديك صورة ضخمة ومعقدة (البيانات)، وتريد تفكيكها إلى مجموعتين أصغر وأبسط من رزم البطاقات التي، عند ضربهما معاً، تعيد إنشاء الصورة الأصلية. الهدف هو إيجح أبسط رزم ممكنة لا تزال تطابق الصورة تماماً. هذا الأمر مهم لأن الحلول الأبسط تعمل عادةً بشكل أفضل في العالم الحقيقي، مما يتجنب فخ حفظ الضجيج بدلاً من تعلم الأنماط.
لحل هذا اللغز، تستخدم الحواسيب طريقة تسمى "الاشتقاق المتدرج" (Gradient Descent)، وهي تشبه متسلقاً يحاول العثور على قاع الوادي عبر السير دائماً نحو المنحدر. لفترة طويلة، لاحظ العلماء أنه إذا بدأت برزم بطاقات صغيرة جداً، فإن هذا المتسلق يجد الحل الأبسط بشكل طبيعي. ومع ذلك، فإن متسلقاً أحدث وأسرع يسمى "آدم" (Adam) (وهو أداة شائعة في الذكاء الاصطناعي) غالباً ما يضل الطريق، فيجد حلاً معقداً وفوضوياً حتى عندما يوجد حل بسيط. السؤال الكبير كان: لماذا يفشل المتسلق السريع في إيجاد المسار البسيط، وهل يمكننا إصلاح ذلك دون جعله بطيئاً؟
هذه الورقة البحثية، بعنوان "الخسارة لا ترى الأساس، لكن آدم يراه"، تبحث في سبب حدوث ذلك. اكتشف المؤلف أن المشكلة ليست مجرد مسألة سرعة؛ بل تتعلق بكيفية رؤية المتسلق للعالم. للغز تناظر خفي: يمكنك تدوير رزم البطاقات الخاصة بك بطرق عديدة، وتظل الصورة النهائية كما هي تماماً. فكر في الأمر كتدوير الكرة الأرضية؛ القارات تتحرك، لكن الخريطة تظل هي نفسها. المتسلق التقليدي (الاشتقاق المتدرج) يتجاهل التدوير المحدد وينظر فقط إلى شكل الوادي، فيجد الحل الأبسط بشكل طبيعي. لكن المتسلق السريع (Adam) يتشتت بالتدوير المحدد للبطاقات؛ فهو يعامل اتجاهاً ما على أنه "خاص" واتجاهاً آخر على أنه "مختلف"، رغم أنهما متطابقان رياضياً. هذا التشتت يجعله يختار حلاً معقداً وعالي الرتبة بدلاً من الحل البسيط ومنخفض الرتبة.
أثبت المؤلف أن أي مُحسِّن (أداة لحل اللغز) يحترم هذا التناظر الدوراني سيجد الحل البسيط بشكل طبيعي، بينما أولئك الذين يكسرون التناظر سيعلقون في حلول معقدة. اختبروا تسعة مُحسِّنات مختلفة ووجدوا انقساماً واضحاً: المُحسِّنات التي "تحترم التناظر" (مثل الاشتقاق المتدرج، وMuon، ونسخة معدلة من Adam) وجدت حلولاً بأخطاء منخفضة تصل إلى 0.000006، بينما المُحسِّنات التي "تكسر التناظر" (مثل Adam القياسي وRMSProp) سجلت أخطاءً تزيد عن 0.42 — وهو فرق هائل.
ولإثبات أن الأمر لم يكن مجرد صدفة، قاموا ببناء "قرص تحكم" يغير Adam بسلاسة من وضعه الفوضوي الذي يكره التدوير إلى وضع صديق للتدوير. ومع تدوير القرص، أصبح الحل أبسط وأكثر دقة، مما أظهر أن الطريقة المحددة التي ينظر بها Adam إلى البيانات هي السبب الدقيق للمشكلة. حتى أنهم اختبروا ذلك على بيانات من العالم الحقيقي، مثل الصور فائقة الطيف للأرض، ووجدوا أن الطرق الصديقة للتدوير قللت الأخطاء بنسبة 44% تقريباً مقارنة بـ Adam القياسي.
من المثير للاهتمام أيضاً أن الورقة وجدت أن كونك "صديقاً للتدوير" ليس دائماً حلاً سحرياً. فإذا كان اللغز نفسه فوضوياً ويحتوي على الكثير من الضجيج العشوائي ("ذيل طيفي")، فإن المتسلق السريع جداً والصديق للتدوير المسمى Muon قد يصبح مندفعاً جداً ويقوم بملاءمة الضجيج، بينما يؤدي المتسلق الأبطأ والثابت (الاشتقاق المتدرج) أداءً أفضل. لذا، الأداة الأفضل تعتمد على الطبيعة المحددة للغز.
أخيراً، نظر المؤلف في كيفية تأثير ذلك على نماذج الذكاء الاصطناعي الحديثة المعروفة باسم "المحولات" (Transformers) (وهي العقول الكامنة وراء روبوتات الدردشة). وجدوا أنه إذا بدأت نموذجين متطابقين من الذكاء الاصطناعي بنفس الرياضيات ولكن مع تدوير بطاقاتهما الداخلية بشكل مختلف، فإن مُحسِّن Adam القياسي يجعل سلوكهماما مختلفاً تماماً بعد خطوة واحدة فقط. ينتهي بهما المطاف بهياكل داخلية مختلفة تماماً، رغم أنهما بدأا كدالة واحدة. هذا يعني أن اختيار المُحسِّن ليس مجرد تفصيل للضبط؛ بل هو يحدد بشكل أساسي أي نسخة من الحل سيتعلمها الذكاء الاصطناعي. وتخلص الورقة إلى أنه للحصول على أفضل النتائج وأبسطها، نحتاج إلى مُحسِّنات تحترم التناظرات الخفية للرياضيات، بدلاً من التشتت بالطريقة المحددة التي نرتب بها الأرقام.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.