Ratio-based Loss Functions

Technische Zusammenfassung: Verhältnsbasierte Verlustfunktionen

Problemstellung
Im überwachten maschinellen Lernen ist die Wahl der Verlustfunktion neben dem Hypothesenraum und der Menge der Wahrscheinlichkeitsmaße eine kritische Komponente. Während distanzbasierte Verlustfunktionen (die auf $|y - f(x)|$ beruhen) unter der Annahme additiver Fehler (Signal plus Rauschen) für Regressionen Standard sind, erfassen sie relative Fehler nicht effektiv. In vielen realen Anwendungen – wie medizinischer Dosierung, Finanzmodellierung und Qualitätskontrolle – sind die Ausgabemengen strikt positiv ($Y \subset (0, \infty)$), und Fehlerstrukturen sind oft multiplikativ (Signal mal Rauschen). Distanzbasierte Ansätze sind inhärent skalierungsabhängig; ein konstanter absoluter Fehler kann für große Werte vernachlässigbar, für kleine jedoch kritisch sein. Umgekehrt bieten verhältnsbasierte Ansätze Skalierungsinvarianz. Allerdings fehlt in der Literatur ein systematischer theoretischer Rahmen für verhältnsbasierte Verlustfunktionen, insbesondere hinsichtlich ihrer allgemeinen mathematischen Eigenschaften (Stetigkeit, Konvexität, Differenzierbarkeit) und ihres Zusammenhangs mit dem Risikofunktional.

Methodik
Die Autoren schlagen eine formale Definition für verhältnsbasierte (rb) Verlustfunktionen vor und analysieren deren Eigenschaften systematisch.

• Definition: Eine überwachte Verlustfunktion $L: \mathcal{X} \times \mathcal{Y} \times \mathbb{R} \to [0, \infty)$ wird als verhältnsbasiert definiert, wenn es eine repräsentierende Funktion $\ell: (0, \infty) \to [0, \infty)$, eine Konstante $c \ge 0$ und eine Link-Funktion $u: \mathbb{R} \to \mathcal{Y}$ (messbar, surjektiv, monoton) gibt, sodass:
  $$L(x, y, t) = \ell\left(\frac{u(t) + c}{y + c}\right)$$
  wobei $\mathcal{Y} = (a, b)$ mit $0 \le a < b \le \infty$. Der Fall $c=0$ wird als „streng verhältnsbasiert" bezeichnet. Die Link-Funktion $u$ transformiert reellwertige Vorhersagen $t$ in den Ausgaberaum $\mathcal{Y}$, um sicherzustellen, dass das Verhältnis wohldefiniert ist.
• Theoretische Analyse: Der Artikel untersucht, wie Eigenschaften der repräsentierenden Funktion $\ell$ und der Link-Funktion $u$ (z. B. Stetigkeit, Lipschitz-Stetigkeit, Konvexität, Differenzierbarkeit) auf die Verlustfunktion $L$ und das entsprechende Risikofunktional $R_{L,P}(f)$ übertragen werden. Die Analyse stützt sich auf Standardergebnisse der statistischen Lerntheorie (z. B. Csiszár, Steinwart und Christmann) bezüglich der Vererbung von Eigenschaften vom Verlust auf das Risiko.
• Vergleich: Die Autoren analysieren den Zusammenhang zwischen verhältnsbasierten und distanzbasierten Verlusten und zeigen auf, dass diese zwar über logarithmische Transformationen aufeinander abgebildet werden können, in ihren ursprünglichen Argumenträumen jedoch nicht äquivalent sind.

Hauptbeiträge

1. Allgemeiner Rahmen: Der Artikel etabliert einen einheitlichen theoretischen Rahmen für verhältnsbasierte Verlustfunktionen und unterscheidet diese von bestehenden randbasierten (Klassifikation) und distanzbasierten (Regression) Ansätzen.
2. Eigenschaftsübertragung: Er liefert strenge Lemmata und Propositionen, die die Bedingungen detailliert beschreiben, unter denen $L$ Stetigkeit, Differenzierbarkeit, Konvexität und Lipschitz-Stetigkeit von $\ell$ und $u$ erbt. Ein zentrales Ergebnis ist die Spannung zwischen Konvexität und Lipschitz-Stetigkeit in verhältnsbasierten Settings: Konvexität erfordert oft $c=0$ (streng verhältnsbasiert), während globale Lipschitz-Stetigkeit oft $c>0$ erfordert, um das Verhältnis nahe Null oder im Unendlichen zu begrenzen.
3. Neue und untersuchte Verlustfunktionen: Die Autoren katalogisieren bestehende verhältnsbasierte Verluste aus der Literatur (z. B. Least Absolute Relative Error, Least Product Relative Error, Logarithmic RMSE) und schlagen mehrere neue Funktionen vor, darunter:
   • Huber-artige logarithmische und relative Verluste.
   • Log-cosh-log- und Cosh-log-relative Verluste.
   • Geglättete robuste Versionen von Least Absolute Relative Error (LARE) und Least Product Relative Error (LPRE), inspiriert durch Hampels Verlust.
   • Gewichtete und unempfindliche Varianten verhältnsbasierter Verluste.
4. Risikoanalyse: Der Artikel behandelt die Endlichkeit des Risikofunktionals und zeigt, dass die Beschränktheit von $\ell$ oder spezifische Bedingungen an $u$ und $c$ notwendig sind, um eine endliches Risiko für messbare Funktionen zu gewährleisten, insbesondere wenn $\mathcal{Y} = (0, \infty)$.
5. Alternative Definitionen: Die Autoren betrachten kurz eine alternative Definition unter Verwendung des inversen Verhältnisses ($\frac{y+c}{u(t)+c}$) und zeigen auf, dass zwar die Eigenschaften weitgehend gelten, die ursprüngliche Definition (1) jedoch technische Vorteile beim Nachweis globaler Lipschitz-Stetigkeit und der Beschränktheit des Risikos bietet.

Ergebnisse

• Konvexität: Der Artikel beweist, dass für $\mathcal{Y}=(0,1)$ nicht-konstante konvexe verhältnsbasierte Verluste unabhängig von $c$ generell unmöglich sind. Für $\mathcal{Y}=(0, \infty)$ mit $c=0$ und $u(t)=e^t$ können jedoch konvexe Verluste konstruiert werden, wenn $\ell$ bestimmte Differentialungleichungen erfüllt (z. B. $\ell(r) = e^{\tilde{\ell}(r)} + e^{\tilde{\ell}(r^{-1})} - 2e^{\tilde{\ell}(1)}$).
• Lipschitz-Stetigkeit: Globale Lipschitz-Stetigkeit ist erreichbar, wenn der Ausgaberaum beschränkt ist oder wenn $c>0$ mit beschränkten Domänen verwendet wird. Für unbeschränkte Domänen mit $c=0$ geht globale Lipschitz-Stetigkeit oft verloren, es sei denn, $\ell$ ist spezifisch beschränkt.
• Differenzierbarkeit: Die Differenzierbarkeit von $L$ hängt von der Differenzierbarkeit sowohl von $\ell$ als auch von $u$ ab. Der Artikel liefert explizite Formeln für die erste und zweite Ableitung.
• Nemitski-Eigenschaft: Die Autoren etablieren Bedingungen, unter denen verhältnsbasierte Verluste die Nemitski-Eigenschaft erfüllen, was für die Existenz von Minimierern und die Stetigkeit des Risikofunktionals entscheidend ist.
• Eigenschaftstabellen: Umfassende Tabellen (Tabelle 2 und Tabelle 3) fassen die Eigenschaften (Konvexität, Lipschitz-Stetigkeit, Differenzierbarkeit) verschiedener vorgeschlagener und bestehender Verlustfunktionen unter verschiedenen Link-Funktionen ($u(t) = e^t$ vs. logistisch) und Konstanten ($c=0$ vs. $c>0$) zusammen.

Bedeutung und Behauptungen
Die Autoren stellen ausdrücklich fest, dass der Artikel eine Übersicht und theoretische Untersuchung darstellt und keine Herleitung spezifischer Lernraten, Konsistenzbeweise oder Stabilitätsergebnisse für einen bestimmten Algorithmus liefert. Die Bedeutung liegt in:

• Grundlegende Arbeit: Bereitstellung des notwendigen mathematischen Fundaments (Stetigkeit, Konvexität, Differenzierbarkeit), um zukünftige Forschung zu verhältnsbasierten Lernalgorithmen zu ermöglichen.
• Überbrückung der Lücke: Hervorhebung, dass relative Fehler zwar in der Praxis weit verbreitet sind (z. B. in Dosis-Wirkungs-Studien oder Inflationsmodellierung), ihnen jedoch die systematische theoretische Behandlung fehlt, die distanzbasierten Verlusten zuteilwird.
• Zukünftige Richtungen: Der Artikel zielt darauf ab, die Forschung zu stimulieren, um zusätzliche konvexe und Lipschitz-stetige verhältnsbasierte Verluste zu finden, Repräsentantensätze abzuleiten und statistische Robustheitsergebnisse (Einflussfunktionen, Maxbias) für kernelbasierte Methoden und CNNs unter Verwendung dieser Verluste zu etablieren. Die Autoren weisen darauf hin, dass die Wahl zwischen distanzbasierten und verhältnsbasierten Ansätzen durch die spezifische Fehlerstruktur der Anwendung (additiv vs. multiplikativ) und nicht allein durch mathematische Bequemlichkeit bestimmt werden sollte.