Ratio-based Loss Functions

Sintesi Tecnica: Funzioni di Perdita Basate sul Rapporto

Enunciato del Problema
Nell'apprendimento automatico supervisionato, la scelta della funzione di perdita è un componente critico, al pari dello spazio delle ipotesi e dell'insieme delle misure di probabilità. Sebbene le funzioni di perdita basate sulla distanza (che si affidano a $|y - f(x)|$) siano lo standard per la regressione sotto ipotesi di errore additivo (segnale più rumore), esse falliscono nel catturare efficacemente gli errori relativi. In molte applicazioni del mondo reale—come il dosaggio medico, la modellazione finanziaria e il controllo di qualità—gli spazi di output sono strettamente positivi ($Y \subset (0, \infty)$) e le strutture di errore sono spesso moltiplicative (segnale moltiplicato per il rumore). Gli approcci basati sulla distanza sono intrinsecamente dipendenti dalla scala; un errore assoluto costante può essere trascurabile per valori grandi ma critico per valori piccoli. Al contrario, gli approcci basati sul rapporto offrono invarianza di scala. Tuttavia, la letteratura manca di un quadro teorico sistematico per le funzioni di perdita basate sul rapporto, in particolare riguardo alle loro proprietà matematiche generali (continuità, convessità, differenziabilità) e alla loro relazione con il funzionale di rischio.

Metodologia
Gli autori propongono una definizione formale per le funzioni di perdita basate sul rapporto (rb) e ne analizzano sistematicamente le proprietà.

• Definizione: Una funzione di perdita supervisionata $L: \mathcal{X} \times \mathcal{Y} \times \mathbb{R} \to [0, \infty)$ è definita basata sul rapporto se esiste una funzione rappresentante $\ell: (0, \infty) \to [0, \infty)$, una costante $c \ge 0$ e una funzione di collegamento $u: \mathbb{R} \to \mathcal{Y}$ (misurabile, suriettiva, monotona) tali che:
  $$L(x, y, t) = \ell\left(\frac{u(t) + c}{y + c}\right)$$
  dove $\mathcal{Y} = (a, b)$ con $0 \le a < b \le \infty$. Il caso $c=0$ è definito "strettamente basato sul rapporto". La funzione di collegamento $u$ trasforma le previsioni a valori reali $t$ nello spazio di output $\mathcal{Y}$ per garantire che il rapporto sia ben definito.
• Analisi Teorica: Il documento investiga come le proprietà della funzione rappresentante $\ell$ e della funzione di collegamento $u$ (ad esempio, continuità, continuità di Lipschitz, convessità, differenziabilità) si trasferiscano alla funzione di perdita $L$ e al corrispondente funzionale di rischio $R_{L,P}(f)$. L'analisi si basa su risultati standard della teoria dell'apprendimento statistico (ad esempio, Csiszár, Steinwart e Christmann) riguardanti l'ereditarietà delle proprietà dalla perdita al rischio.
• Confronto: Gli autori analizzano la relazione tra le perdite basate sul rapporto e quelle basate sulla distanza, dimostrando che, sebbene possano essere mappate l'una nell'altra tramite trasformazioni logaritmiche, non sono equivalenti nei loro spazi di argomento originali.

Contributi Chiave

1. Quadro Generale: Il documento stabilisce un quadro teorico unificato per le funzioni di perdita basate sul rapporto, distinguendole dagli approcci esistenti basati sul margine (classificazione) e su quelli basati sulla distanza (regressione).
2. Trasferimento delle Proprietà: Fornisce lemmi e proposizioni rigorosi che dettagliano le condizioni sotto le quali $L$ eredita la continuità, la differenziabilità, la convessità e la continuità di Lipschitz da $\ell$ e $u$. Una scoperta chiave è la tensione tra convessità e continuità di Lipschitz negli scenari basati sul rapporto: la convessità richiede spesso $c=0$ (rapporto strettamente basato), mentre la continuità di Lipschitz globale richiede spesso $c>0$ per limitare il rapporto vicino allo zero o all'infinito.
3. Nuove e Esaminate Funzioni di Perdita: Gli autori catalogano le perdite basate sul rapporto esistenti dalla letteratura (ad esempio, Errore Relativo Assoluto Minimo, Errore Relativo di Prodotto Minimo, RMSE Logaritmico) e propongono diverse nuove funzioni, tra cui:
   • Perdite logaritmiche e relative di tipo Huber.
   • Perdite relative Log-cosh-log e Cosh-log.
   • Versioni robuste e levigate dell'Errore Relativo Assoluto Minimo (LARE) e dell'Errore Relativo di Prodotto Minimo (LPRE) ispirate alla perdita di Hampel.
   • Varianti ponderate e insensibili delle perdite basate sul rapporto.
4. Analisi del Rischio: Il documento affronta la finitezza del funzionale di rischio, mostrando che la limitatezza di $\ell$ o condizioni specifiche su $u$ e $c$ sono necessarie per garantire un rischio finito per funzioni misurabili, in particolare quando $\mathcal{Y} = (0, \infty)$.
5. Definizioni Alternative: Gli autori considerano brevemente una definizione alternativa utilizzando il rapporto inverso ($\frac{y+c}{u(t)+c}$) e dimostrano che, sebbene le proprietà valgano in gran parte, la definizione originale (1) offre vantaggi tecnici nella prova della continuità di Lipschitz globale e della limitatezza del rischio.

Risultati

• Convessità: Il documento dimostra che per $\mathcal{Y}=(0,1)$, perdite basate sul rapporto non costanti e convesse sono generalmente impossibili indipendentemente da $c$. Tuttavia, per $\mathcal{Y}=(0, \infty)$ con $c=0$ e $u(t)=e^t$, è possibile costruire perdite convesse se $\ell$ soddisfa specifiche disuguaglianze differenziali (ad esempio, $\ell(r) = e^{\tilde{\ell}(r)} + e^{\tilde{\ell}(r^{-1})} - 2e^{\tilde{\ell}(1)}$).
• Continuità di Lipschitz: La continuità di Lipschitz globale è raggiungibile se lo spazio di output è limitato o se viene utilizzato $c>0$ con domini limitati. Per domini illimitati con $c=0$, la continuità di Lipschitz globale è spesso persa a meno che $\ell$ non sia specificamente limitato.
• Differenziabilità: La differenziabilità di $L$ dipende dalla differenziabilità sia di $\ell$ che di $u$. Il documento fornisce formule esplicite per le derivate prima e seconda.
• Proprietà di Nemitski: Gli autori stabiliscono le condizioni sotto le quali le perdite basate sul rapporto soddisfano la proprietà di Nemitski, che è cruciale per l'esistenza dei minimizzatori e la continuità del funzionale di rischio.
• Tabelle delle Proprietà: Tabelle esaustive (Tabella 2 e Tabella 3) riassumono le proprietà (convessità, continuità di Lipschitz, differenziabilità) di varie funzioni di perdita proposte ed esistenti sotto diverse funzioni di collegamento ($u(t) = e^t$ vs. logistica) e costanti ($c=0$ vs. $c>0$).

Significato e Affermazioni
Gli autori dichiarano esplicitamente che il documento è un saggio e un'indagine teorica piuttosto che una derivazione di specifici tassi di apprendimento, prove di consistenza o risultati di stabilità per un particolare algoritmo. Il significato risiede in:

• Lavoro Fondamentale: Fornire le basi matematiche necessarie (continuità, convessità, differenziabilità) per abilitare future ricerche su algoritmi di apprendimento basati sul rapporto.
• Colmare il Divario: Evidenziare che, sebbene gli errori relativi siano ampiamente utilizzati nella pratica (ad esempio, negli studi dose-risposta o nella modellazione dell'inflazione), manca loro il trattamento teorico sistematico concesso alle perdite basate sulla distanza.
• Direzioni Future: Il documento mira a stimolare la ricerca per trovare ulteriori perdite basate sul rapporto convesse e con continuità di Lipschitz, derivare teoremi del rappresentante e stabilire risultati di robustezza statistica (funzioni di influenza, maxbias) per metodi basati su kernel e CNN che utilizzano queste perdite. Gli autori notano che la scelta tra approcci basati sulla distanza e basati sul rapporto dovrebbe essere guidata dalla struttura di errore specifica dell'applicazione (additiva vs. moltiplicativa) piuttosto che dalla sola convenienza matematica.