Ratio-based Loss Functions

Technische Samenvatting: Verhoudingsgebaseerde Verliesfuncties

Probleemstelling
Bij toezicht op machine learning is de keuze van de verliesfunctie een kritisch onderdeel naast de hypothese-ruimte en de set van waarschijnlijkheidsmaten. Hoewel op afstand gebaseerde verliesfuncties (die vertrouwen op $|y - f(x)|$) standaard zijn voor regressie onder aannames van additieve fouten (signaal plus ruis), slagen ze er niet in om relatieve fouten effectief te vangen. In veel real-world toepassingen—zoals medische dosering, financiële modellering en kwaliteitscontrole—zijn uitgangsruimten strikt positief ($Y \subset (0, \infty)$), en zijn foutstructuren vaak multiplicatief (signaal maal ruis). Op afstand gebaseerde benaderingen zijn inherent schaalafhankelijk; een constante absolute fout kan verwaarloosbaar zijn voor grote waarden, maar kritiek voor kleine waarden. Omgekeerd bieden verhoudingsgebaseerde benaderingen schaal-invariantie. De literatuur mist echter een systematisch theoretisch kader voor verhoudingsgebaseerde verliesfuncties, met name wat betreft hun algemene wiskundige eigenschappen (continuïteit, convexiteit, differentieerbaarheid) en hun relatie tot het risicofunctional.

Methodologie
De auteurs stellen een formele definitie voor verhoudingsgebaseerde (rb) verliesfuncties voor en analyseren systematisch hun eigenschappen.

• Definitie: Een toezicht-verliesfunctie $L: \mathcal{X} \times \mathcal{Y} \times \mathbb{R} \to [0, \infty)$ wordt gedefinieerd als verhoudingsgebaseerd als er een representatieve functie $\ell: (0, \infty) \to [0, \infty)$, een constante $c \ge 0$, en een linkfunctie $u: \mathbb{R} \to \mathcal{Y}$ (meetbaar, surjectief, monotoon) bestaan zodanig dat:
  $$L(x, y, t) = \ell\left(\frac{u(t) + c}{y + c}\right)$$
  waarbij $\mathcal{Y} = (a, b)$ met $0 \le a < b \le \infty$. Het geval $c=0$ wordt "strikt verhoudingsgebaseerd" genoemd. De linkfunctie $u$ transformeert reëelwaardige voorspellingen $t$ naar de uitgangsruimte $\mathcal{Y}$ om te waarborgen dat de verhouding goed gedefinieerd is.
• Theoretische Analyse: Het artikel onderzoekt hoe eigenschappen van de representatieve functie $\ell$ en de linkfunctie $u$ (bijv. continuïteit, Lipschitz-continuïteit, convexiteit, differentieerbaarheid) overdragen naar de verliesfunctie $L$ en het corresponderende risicofunctional $R_{L,P}(f)$. De analyse leunt op standaardresultaten uit de statistische leertheorie (bijv. Csiszár, Steinwart en Christmann) met betrekking tot de overerving van eigenschappen van het verlies naar het risico.
• Vergelijking: De auteurs analyseren de relatie tussen verhoudingsgebaseerde en op afstand gebaseerde verliezen, en tonen aan dat hoewel ze via logaritmische transformaties aan elkaar kunnen worden gekoppeld, ze niet equivalent zijn in hun oorspronkelijke argumentruimten.

Belangrijkste Bijdragen

1. Algemeen Kader: Het artikel vestigt een unificerend theoretisch kader voor verhoudingsgebaseerde verliesfuncties, en onderscheidt deze van bestaande op marge gebaseerde (classificatie) en op afstand gebaseerde (regressie) benaderingen.
2. Overdracht van Eigenschappen: Het biedt rigoureuze lemma's en proposities die de voorwaarden specificeren waaronder $L$ continuïteit, differentieerbaarheid, convexiteit en Lipschitz-continuïteit overneemt van $\ell$ en $u$. Een belangrijke bevinding is de spanning tussen convexiteit en Lipschitz-continuïteit in verhoudingsgebaseerde settings: convexiteit vereist vaak $c=0$ (strikt verhoudingsgebaseerd), terwijl globale Lipschitz-continuïteit vaak $c>0$ vereist om de verhouding dicht bij nul of oneindig te begrenzen.
3. Nieuwe en Gevraagde Verliesfuncties: De auteurs catalogiseren bestaande verhoudingsgebaseerde verliezen uit de literatuur (bijv. Least Absolute Relative Error, Least Product Relative Error, Logarithmic RMSE) en stellen verschillende nieuwe functies voor, waaronder:
   • Huber-type logaritmische en relatieve verliezen.
   • Log-cosh-log en Cosh-log relatieve verliezen.
   • Geglazuurde robuuste versies van Least Absolute Relative Error (LARE) en Least Product Relative Error (LPRE) geïnspireerd door Hampel's verlies.
   • Gewogen en ongevoelige varianten van verhoudingsgebaseerde verliezen.
4. Risico-analyse: Het artikel adresseert de eindigheid van het risicofunctional, en toont aan dat begrensdheid van $\ell$ of specifieke voorwaarden op $u$ en $c$ noodzakelijk zijn om eindig risico voor meetbare functies te waarborgen, met name wanneer $\mathcal{Y} = (0, \infty)$.
5. Alternatieve Definities: De auteurs overwegen kort een alternatieve definitie met behulp van de omgekeerde verhouding ($\frac{y+c}{u(t)+c}$) en tonen aan dat hoewel eigenschappen grotendeels gelden, de oorspronkelijke definitie (1) technische voordelen biedt bij het bewijzen van globale Lipschitz-continuïteit en risico-begrenzing.

Resultaten

• Convexiteit: Het artikel bewijst dat voor $\mathcal{Y}=(0,1)$ niet-constante convexe verhoudingsgebaseerde verliezen over het algemeen onmogelijk zijn, ongeacht $c$. Echter, voor $\mathcal{Y}=(0, \infty)$ met $c=0$ en $u(t)=e^t$ kunnen convexe verliezen worden geconstrueerd als $\ell$ voldoet aan specifieke differentiaal-ongelijkheden (bijv. $\ell(r) = e^{\tilde{\ell}(r)} + e^{\tilde{\ell}(r^{-1})} - 2e^{\tilde{\ell}(1)}$).
• Lipschitz-continuïteit: Globale Lipschitz-continuïteit is haalbaar als de uitgangsruimte begrensd is of als $c>0$ wordt gebruikt met begrensde domeinen. Voor onbegrensde domeinen met $c=0$ gaat globale Lipschitz-continuïteit vaak verloren, tenzij $\ell$ specifiek begrensd is.
• Differentieerbaarheid: De differentieerbaarheid van $L$ hangt af van de differentieerbaarheid van zowel $\ell$ als $u$. Het artikel biedt expliciete formules voor de eerste en tweede afgeleiden.
• Nemitski-eigenschap: De auteurs stellen voorwaarden vast waaronder verhoudingsgebaseerde verliezen voldoen aan de Nemitski-eigenschap, wat cruciaal is voor het bestaan van minimalizers en de continuïteit van het risicofunctional.
• Tabellen van Eigenschappen: Uitgebreide tabellen (Tabel 2 en Tabel 3) vatten de eigenschappen (convexiteit, Lipschitz-continuïteit, differentieerbaarheid) samen van diverse voorgestelde en bestaande verliesfuncties onder verschillende linkfuncties ($u(t) = e^t$ versus logistisch) en constanten ($c=0$ versus $c>0$).

Betekenis en Aanspraken
De auteurs stellen expliciet dat het artikel een survey en theoretisch onderzoek is, en geen afleiding van specifieke leersnelheden, consistentiebewijzen of stabiliteitsresultaten voor een specifiek algoritme. De betekenis ligt in:

• Fundamenteel Werk: Het verschaffen van de nodige wiskundige onderbouwing (continuïteit, convexiteit, differentieerbaarheid) om toekomstig onderzoek naar verhoudingsgebaseerde leeralgoritmen mogelijk te maken.
• Overbrugging van de Kloof: Het benadrukken dat hoewel relatieve fouten in de praktijk wijdverbreid worden gebruikt (bijv. in dosis-respons studies of inflatiemodellering), ze het systematische theoretische behandelen missen dat op afstand gebaseerde verliezen wel krijgen.
• Toekomstige Richtingen: Het artikel beoogt onderzoek te stimuleren naar het vinden van aanvullende convexe en Lipschitz-continue verhoudingsgebaseerde verliezen, het afleiden van representeerdersstellingen, en het vaststellen van statistische robuustheidsresultaten (invloedsfuncties, maxbias) voor op kernel gebaseerde methoden en CNN's die deze verliezen gebruiken. De auteurs merken op dat de keuze tussen op afstand gebaseerde en verhoudingsgebaseerde benaderingen gedreven moet worden door de specifieke foutstructuur van de toepassing (additief versus multiplicatief) en niet alleen door wiskundig gemak.