Ratio-based Loss Functions

Résumé Technique : Fonctions de Perte Basées sur les Rapports

Énoncé du Problème
En apprentissage automatique supervisé, le choix de la fonction de perte est un composant critique, au même titre que l'espace d'hypothèses et l'ensemble des mesures de probabilité. Bien que les fonctions de perte basées sur la distance (reposant sur $|y - f(x)|$) soient la norme pour la régression sous des hypothèses d'erreur additive (signal plus bruit), elles échouent à capturer efficacement les erreurs relatives. Dans de nombreuses applications réelles — telles que le dosage médical, la modélisation financière et le contrôle qualité — les espaces de sortie sont strictement positifs ($Y \subset (0, \infty)$) et les structures d'erreur sont souvent multiplicatives (signal multiplié par le bruit). Les approches basées sur la distance sont intrinsèquement dépendantes de l'échelle ; une erreur absolue constante peut être négligeable pour de grandes valeurs mais critique pour de petites valeurs. À l'inverse, les approches basées sur le rapport offrent une invariance d'échelle. Cependant, la littérature manque d'un cadre théorique systématique pour les fonctions de perte basées sur le rapport, notamment concernant leurs propriétés mathématiques générales (continuité, convexité, différentiabilité) et leur relation avec le fonctionnel de risque.

Méthodologie
Les auteurs proposent une définition formelle des fonctions de perte basées sur le rapport (rb) et analysent systématiquement leurs propriétés.

• Définition : Une fonction de perte supervisée $L: \mathcal{X} \times \mathcal{Y} \times \mathbb{R} \to [0, \infty)$ est définie comme basée sur le rapport s'il existe une fonction représentative $\ell: (0, \infty) \to [0, \infty)$, une constante $c \ge 0$, et une fonction de liaison $u: \mathbb{R} \to \mathcal{Y}$ (mesurable, surjective, monotone) telles que :
  $$L(x, y, t) = \ell\left(\frac{u(t) + c}{y + c}\right)$$
  où $\mathcal{Y} = (a, b)$ avec $0 \le a < b \le \infty$. Le cas $c=0$ est qualifié de « strictement basé sur le rapport ». La fonction de liaison $u$ transforme les prédictions à valeurs réelles $t$ en l'espace de sortie $\mathcal{Y}$ pour garantir que le rapport soit bien défini.
• Analyse Théorique : L'article examine comment les propriétés de la fonction représentative $\ell$ et de la fonction de liaison $u$ (par exemple, continuité, continuité lipschitzienne, convexité, différentiabilité) se transfèrent à la fonction de perte $L$ et au fonctionnel de risque correspondant $R_{L,P}(f)$. L'analyse s'appuie sur des résultats standards de la théorie de l'apprentissage statistique (par exemple, Csiszár, Steinwart et Christmann) concernant l'héritage des propriétés de la perte vers le risque.
• Comparaison : Les auteurs analysent la relation entre les pertes basées sur le rapport et celles basées sur la distance, démontrant que bien qu'elles puissent être mappées l'une sur l'autre via des transformations logarithmiques, elles ne sont pas équivalentes dans leurs espaces d'arguments originaux.

Contributions Clés

1. Cadre Général : L'article établit un cadre théorique unifié pour les fonctions de perte basées sur le rapport, les distinguant des approches existantes basées sur la marge (classification) et sur la distance (régression).
2. Transfert de Propriétés : Il fournit des lemmes et des propositions rigoureux détaillant les conditions selon lesquelles $L$ hérite de la continuité, de la différentiabilité, de la convexité et de la continuité lipschitzienne de $\ell$ et $u$. Une découverte clé est la tension entre la convexité et la continuité lipschitzienne dans les contextes basés sur le rapport : la convexité nécessite souvent $c=0$ (rapport strict), tandis que la continuité lipschitzienne globale nécessite souvent $c>0$ pour borner le rapport près de zéro ou de l'infini.
3. Fonctions de Perte Nouvelles et Existantes : Les auteurs cataloguent les pertes basées sur le rapport existantes dans la littérature (par exemple, Erreur Relative Absolue Minimale, Erreur Relative Produit Minimale, RMSE Logarithmique) et proposent plusieurs nouvelles fonctions, notamment :
   • Pertes logarithmiques et relatives de type Huber.
   • Pertes relatives Log-cosh-log et Cosh-log.
   • Versions lissées et robustes de l'Erreur Relative Absolue Minimale (LARE) et de l'Erreur Relative Produit Minimale (LPRE) inspirées de la perte de Hampel.
   • Variantes pondérées et insensibles des pertes basées sur le rapport.
4. Analyse du Risque : L'article aborde la finitude du fonctionnel de risque, montrant que la bornitude de $\ell$ ou des conditions spécifiques sur $u$ et $c$ sont nécessaires pour garantir un risque fini pour les fonctions mesurables, en particulier lorsque $\mathcal{Y} = (0, \infty)$.
5. Définitions Alternatives : Les auteurs considèrent brièvement une définition alternative utilisant l'inverse du rapport ($\frac{y+c}{u(t)+c}$) et démontrent que, bien que les propriétés tiennent largement, la définition originale (1) offre des avantages techniques pour prouver la continuité lipschitzienne globale et la bornitude du risque.

Résultats

• Convexité : L'article prouve que pour $\mathcal{Y}=(0,1)$, des pertes basées sur le rapport convexes non constantes sont généralement impossibles, quelle que soit la valeur de $c$. Cependant, pour $\mathcal{Y}=(0, \infty)$ avec $c=0$ et $u(t)=e^t$, des pertes convexes peuvent être construites si $\ell$ satisfait des inégalités différentielles spécifiques (par exemple, $\ell(r) = e^{\tilde{\ell}(r)} + e^{\tilde{\ell}(r^{-1})} - 2e^{\tilde{\ell}(1)}$).
• Continuité Lipschitzienne : La continuité lipschitzienne globale est atteignable si l'espace de sortie est borné ou si $c>0$ est utilisé avec des domaines bornés. Pour des domaines non bornés avec $c=0$, la continuité lipschitzienne globale est souvent perdue sauf si $\ell$ est spécifiquement bornée.
• Différentiabilité : La différentiabilité de $L$ dépend de la différentiabilité de $\ell$ et de $u$. L'article fournit des formules explicites pour les dérivées première et seconde.
• Propriété de Nemitski : Les auteurs établissent les conditions sous lesquelles les pertes basées sur le rapport satisfont la propriété de Nemitski, ce qui est crucial pour l'existence de minimiseurs et la continuité du fonctionnel de risque.
• Tableaux de Propriétés : Des tableaux complets (Tableau 2 et Tableau 3) résument les propriétés (convexité, continuité lipschitzienne, différentiabilité) de diverses fonctions de perte proposées et existantes sous différentes fonctions de liaison ($u(t) = e^t$ vs logistique) et constantes ($c=0$ vs $c>0$).

Signification et Revendications
Les auteurs déclarent explicitement que l'article est une enquête et une investigation théorique plutôt qu'une dérivation de taux d'apprentissage spécifiques, de preuves de consistance ou de résultats de stabilité pour un algorithme particulier. La signification réside dans :

• Travail Fondamental : Fournir les fondements mathématiques nécessaires (continuité, convexité, différentiabilité) pour permettre de futures recherches sur les algorithmes d'apprentissage basés sur le rapport.
• Combler le Fossé : Souligner que, bien que les erreurs relatives soient largement utilisées en pratique (par exemple, dans les études dose-réponse ou la modélisation de l'inflation), elles manquent du traitement théorique systématique accordé aux pertes basées sur la distance.
• Perspectives Futures : L'article vise à stimuler la recherche visant à trouver des pertes basées sur le rapport supplémentaires, convexes et lipschitziennes, à dériver des théorèmes de représentation, et à établir des résultats de robustesse statistique (fonctions d'influence, biais maximal) pour les méthodes à noyau et les CNN utilisant ces pertes. Les auteurs notent que le choix entre les approches basées sur la distance et celles basées sur le rapport devrait être guidé par la structure d'erreur spécifique de l'application (additive vs multiplicative) plutôt que par la seule commodité mathématique.