Ratio-based Loss Functions

ملخص تقني: دوال الخسارة القائمة على النسب

بيان المشكلة
في التعلم الآلي الخاضع للإشراف، يعد اختيار دالة الخسارة مكونًا حاسمًا إلى جانب فضاء الفرضية ومجموعة مقاييس الاحتمالية. وبينما تُعد دوال الخسارة القائمة على المسافة (التي تعتمد على $|y - f(x)|$) معيارية في مسائل الانحدار تحت فرضيات الخطأ الجمعي (إشارة زائد ضجيج)، إلا أنها تفشل في التقاط الأخطاء النسبية بفعالية. وفي العديد من التطبيقات الواقعية — مثل جرعات الأدوية، والنمذجة المالية، وضبط الجودة — تكون فضاءات المخرجات موجبة تمامًا ($Y \subset (0, \infty)$)، وغالبًا ما تكون هياكل الخطأ ضربية (إشارة مضروبة في ضجيج). إن النهج القائم على المسافة يعتمد بطبيعته على المقياس؛ حيث قد يكون الخطأ المطلق الثابت ضئيلاً بالنسبة للقيم الكبيرة، ولكنه قد يكون حرجًا بالنسبة للقيم الصغيرة. وعلى العكس من ذلك، توفر النهج القائمة على النسب ثباتًا في المقياس. ومع ذلك، تفتقر الأدبيات إلى إطار نظري منهجي لدوال الخسارة القائمة على النسب، لا سيما فيما يتعلق بخصائصها الرياضية العامة (الاستمرارية، التحدب، القابلية للاشتقاق) وعلاقتها بالدالة الوظيفية للمخاطر.

المنهجية
يقترح المؤلفون تعريفًا رسميًا لـ دوال الخسارة القائمة على النسب (rb) ويحللون خصائصها بشكل منهجي.

• التعريف: تُعرف دالة الخسارة الخاضعة للإشراف $L: \mathcal{X} \times \mathcal{Y} \times \mathbb{R} \to [0, \infty)$ بأنها قائمة على النسب إذا وُجدت دالة تمثيل $\ell: (0, \infty) \to [0, \infty)$، وثابت $c \ge 0$، ودالة ربط $u: \mathbb{R} \to \mathcal{Y}$ (قابلة للقياس، شمولية، رتيبة) بحيث:
  $$L(x, y, t) = \ell\left(\frac{u(t) + c}{y + c}\right)$$
  حيث $\mathcal{Y} = (a, b)$ مع $0 \le a < b \le \infty$. ويُطلق على حالة $c=0$ مصطلح "القائمة على النسب بشكل صارم". تقوم دالة الربط $u$ بتحويل التنبؤات ذات القيم الحقيقية $t$ إلى فضاء المخرجات $\mathcal{Y}$ لضمان أن تكون النسبة معرفة جيدًا.
• التحليل النظري: يبحث البحث في كيفية انتقال خصائص دالة التمثيل $\ell$ ودالة الربط $u$ (مثل الاستمرارية، الاستمرارية ليبشيتز، التحدب، القابلية للاشتقاق) إلى دالة الخسارة $L$ ودالة المخاطر المقابلة $R_{L,P}(f)$. ويعتمد التحليل على النتائج القياسية في نظرية التعلم الإحصائي (مثل Csiszár وSteinwart وChristmann) فيما يتعلق بوراثة الخصائص من الخسارة إلى المخاطر.
• المقارنة: يحلل المؤلفون العلاقة بين الخسائر القائمة على النسب والخسائر القائمة على المسافة، موضحين أنه بينما يمكن ربطهما ببعضهما البعض عبر تحويلات لوغاريتمية، إلا أنهما غير متكافئين في فضاءات وسيطاتهما الأصلية.

المساهمات الرئيسية

1. إطار عام: يؤسس البحث إطارًا نظريًا موحدًا لدوال الخسارة القائمة على النسب، ويميزها عن النهج القائمة على الهامش (التصنيف) والنهج القائمة على المسافة (الانحدار).
2. انتقال الخصائص: يقدم البحث مبرهنات ونتائج دقيقة تفصل الشروط التي ترث بموجبها $L$ الاستمرارية، والقابلية للاشتقاق، والتحدب، والاستمرارية ليبشيتز من $\ell$ و $u$. وتتمثل إحدى النتائج الرئيسية في التوتر بين التحدب والاستمرارية ليبشيتز في سياقات النسب: غالبًا ما يتطلب التحدب أن يكون $c=0$ (نسبة صارمة)، بينما غالبًا ما تتطلب الاستمرارية ليبشيتز العالمية أن يكون $c>0$ للحد من النسبة بالقرب من الصفر أو اللانهاية.
3. دوال خسارة جديدة ومستعرضة: يفهرس المؤلفون خسائر النسب الموجودة في الأدبيات (مثل أقل خطأ نسبي مطلق، وأقل خطأ نسبي ضربي، وجذر متوسط مربعات الخطأ اللوغاريتمي) ويقترحون عدة دوال جديدة، تشمل:
   • خسائر لوغاريتمية ونسبية من نوع هوبر (Huber-type).
   • خسائر لوغاريتمية من نوع كوش-لوغ (Cosh-log) وكوش-لوغ نسبية.
   • نسخ قوية ومنعمة من أقل خطأ نسبي مطلق (LARE) وأقل خطأ نسبي ضربي (LPRE) مستوحاة من خسارة هامبل (Hampel).
   • متغيرات موزونة وغير حساسة للخسائر القائمة على النسب.
4. تحليل المخاطر: يتناول البحث مدى محدودية دالة المخاطر، موضحًا أن محدودية $\ell$ أو شروطًا محددة على $u$ و $c$ ضرورية لضمان كون المخاطر محدودة للدوال القابلة للقياس، خاصة عندما تكون $\mathcal{Y} = (0, \infty)$.
5. تعريفات بديلة: ينظر المؤلفون باختصار في تعريف بديل باستخدام النسبة العكسية ($\frac{y+c}{u(t)+c}$) ويوضحون أنه بينما تظل الخصائص ثابتة إلى حد كبير، فإن التعريف الأصلي (1) يوفر مزايا تقنية في إثبات الاستمرارية ليبشيتز العالمية ومحدودية المخاطر.

النتائج

• التحدب: يثبت البحث أنه بالنسبة لـ $\mathcal{Y}=(0,1)$، فإن خسائر النسب غير الثابتة والمحدبة مستحيلة بشكل عام بغض النظر عن $c$. ومع ذلك، بالنسبة لـ $\mathcal{Y}=(0, \infty)$ مع $c=0$ و $u(t)=e^t$، يمكن بناء خسائر محدبة إذا كانت $\ell$ تحقق متباينات تفاضلية محددة (على سبيل المثال، $\ell(r) = e^{\tilde{\ell}(r)} + e^{\tilde{\ell}(r^{-1})} - 2e^{\tilde{\ell}(1)}$).
• الاستمرارية ليبشيتز: يمكن تحقيق الاستمرارية ليبشيتز العالمية إذا كان فضاء المخرجات محدودًا أو إذا تم استخدام $c>0$ مع نطاقات محدودة. أما بالنسبة للنطاقات غير المحدودة مع $c=0$، فغالبًا ما تُفقد الاستمرارية ليبشيتز العالمية ما لم تكن $\ell$ محدودة بشكل خاص.
• القابلية للاشتقاق: تعتمد قابلية الاشتقاق لـ $L$ على قابلية الاشتقاق لكل من $\ell$ و $u$. ويوفر البحث صيغًا صريحة للمشتقات الأولى والثانية.
• خاصية نيميتسكي (Nemitski): يضع المؤلفون شروطًا تحقق بموجبها خسائر النسب خاصية نيميتسكي، وهو أمر بالغ الأهمية لوجود القيم الصغرى واستمرارية دالة المخاطر.
• جداول الخصائص: تلخص الجداول الشاملة (الجدول 2 والجدول 3) خصائص مختلف دوال الخسارة المقترحة والموجودة تحت دوال ربط مختلفة ($u(t) = e^t$ مقابل اللوجستية) وثوابت مختلفة ($c=0$ مقابل $c>0$).

الأهمية والادعاءات
يصرح المؤلفون صراحةً أن الورقة هي مسح وتحقيق نظري وليست اشتقاقًا لمعدلات تعلم محددة، أو إثباتات اتساق، أو نتائج استقرار لخوارزمية معينة. تكمن الأهمية في:

• العمل التأسيسي: توفير الأرضية الرياضية اللازمة (الاستمرارية، التحدب، القابلية للاشتقاق) لتمكين الأبحاث المستقبلية حول خوارزميات التعلم القائمة على النسب.
• سد الفجوة: تسليط الضوء على أنه بينما تُستخدم الأخطاء النسبية على نطاق واسع في الممارسة العملية (مثل دراسات الاستجابة للجرعة أو نمذجة التضخم)، إلا أنها تفتقر إلى المعالجة النظرية المنهجية التي تحظى بها الخسائر القائمة على المسافة.
• الاتجاهات المستقبلية: يهدف البحث إلى تحفيز البحث في إيجاد دوال خسارة قائمة على النسب تكون محدبة ومستمرة ليبشيتز، واشتقاق نظريات الممثل (representer theorems)، وإرساء نتائج المتانة الإحصائية (دوال التأثير، والتحيز الأقصى) للطرق القائمة على النواة (kernel-based methods) والشبكات العصبية الالتفافية (CNNs) باستخدام هذه الخسائر. ويشير المؤلفون إلى أن الاختيار بين النهج القائم على المسافة والنهج القائم على النسب يجب أن يكون مدفوعًا بهيكل الخطأ الخاص بالتطبيق (الجمعي مقابل الضربي) وليس بالملاءمة الرياضية وحدها.