Ratio-based Loss Functions

Resumen Técnico: Funciones de Pérdida Basadas en Razones

Enunciado del Problema
En el aprendizaje automático supervisado, la elección de la función de pérdida es un componente crítico junto con el espacio de hipótesis y el conjunto de medidas de probabilidad. Si bien las funciones de pérdida basadas en distancia (que dependen de $|y - f(x)|$) son estándar para la regresión bajo supuestos de error aditivo (señal más ruido), no logran capturar eficazmente los errores relativos. En muchas aplicaciones del mundo real, como la dosificación médica, el modelado financiero y el control de calidad, los espacios de salida son estrictamente positivos ($Y \subset (0, \infty)$) y las estructuras de error son a menudo multiplicativas (señal por ruido). Los enfoques basados en distancia son inherentemente dependientes de la escala; un error absoluto constante puede ser insignificante para valores grandes pero crítico para valores pequeños. Por el contrario, los enfoques basados en razones ofrecen invariancia de escala. Sin embargo, la literatura carece de un marco teórico sistemático para las funciones de pérdida basadas en razones, particularmente en lo que respecta a sus propiedades matemáticas generales (continuidad, convexidad, diferenciabilidad) y su relación con el funcional de riesgo.

Metodología
Los autores proponen una definición formal para las funciones de pérdida basadas en razones (rb) y analizan sistemáticamente sus propiedades.

• Definición: Una función de pérdida supervisada $L: \mathcal{X} \times \mathcal{Y} \times \mathbb{R} \to [0, \infty)$ se define como basada en razones si existe una función representativa $\ell: (0, \infty) \to [0, \infty)$, una constante $c \ge 0$ y una función de enlace $u: \mathbb{R} \to \mathcal{Y}$ (medible, sobreyectiva, monótona) tal que:
  $$L(x, y, t) = \ell\left(\frac{u(t) + c}{y + c}\right)$$
  donde $\mathcal{Y} = (a, b)$ con $0 \le a < b \le \infty$. El caso $c=0$ se denomina "estrictamente basado en razones". La función de enlace $u$ transforma las predicciones de valor real $t$ en el espacio de salida $\mathcal{Y}$ para asegurar que la razón esté bien definida.
• Análisis Teórico: El artículo investiga cómo las propiedades de la función representativa $\ell$ y de la función de enlace $u$ (por ejemplo, continuidad, continuidad de Lipschitz, convexidad, diferenciabilidad) se transfieren a la función de pérdida $L$ y al funcional de riesgo correspondiente $R_{L,P}(f)$. El análisis se basa en resultados estándar de la teoría del aprendizaje estadístico (por ejemplo, Csiszár, Steinwart y Christmann) con respecto a la herencia de propiedades desde la pérdida hasta el riesgo.
• Comparación: Los autores analizan la relación entre las pérdidas basadas en razones y las basadas en distancia, demostrando que, aunque pueden mapearse entre sí mediante transformaciones logarítmicas, no son equivalentes en sus espacios de argumentos originales.

Contribuciones Clave

1. Marco General: El artículo establece un marco teórico unificado para las funciones de pérdida basadas en razones, distinguiéndolas de los enfoques existentes basados en márgenes (clasificación) y basados en distancia (regresión).
2. Transferencia de Propiedades: Proporciona lemas y proposiciones rigurosos que detallan las condiciones bajo las cuales $L$ hereda la continuidad, diferenciabilidad, convexidad y continuidad de Lipschitz de $\ell$ y $u$. Un hallazgo clave es la tensión entre la convexidad y la continuidad de Lipschitz en configuraciones basadas en razones: la convexidad a menudo requiere $c=0$ (razón estricta), mientras que la continuidad de Lipschitz global a menudo requiere $c>0$ para acotar la razón cerca de cero o infinito.
3. Funciones de Pérdida Nuevas y Revisadas: Los autores catalogan las pérdidas basadas en razones existentes de la literatura (por ejemplo, Error Relativo Absoluto Mínimo, Error Relativo de Producto Mínimo, RMSE Logarítmica) y proponen varias funciones nuevas, incluyendo:
   • Pérdidas logarítmicas y relativas de tipo Huber.
   • Pérdidas relativas Log-cosh-log y Cosh-log.
   • Versiones suavizadas y robustas del Error Relativo Absoluto Mínimo (LARE) y del Error Relativo de Producto Mínimo (LPRE) inspiradas en la pérdida de Hampel.
   • Variantes ponderadas e insensibles de pérdidas basadas en razones.
4. Análisis de Riesgo: El artículo aborda la finitud del funcional de riesgo, mostrando que la acotación de $\ell$ o condiciones específicas sobre $u$ y $c$ son necesarias para garantizar un riesgo finito para funciones medibles, particularmente cuando $\mathcal{Y} = (0, \infty)$.
5. Definiciones Alternativas: Los autores consideran brevemente una definición alternativa utilizando la razón inversa ($\frac{y+c}{u(t)+c}$) y demuestran que, aunque las propiedades se mantienen en gran medida, la definición original (1) ofrece ventajas técnicas para probar la continuidad de Lipschitz global y la acotación del riesgo.

Resultados

• Convexidad: El artículo demuestra que para $\mathcal{Y}=(0,1)$, las pérdidas basadas en razones convexas no constantes son generalmente imposibles independientemente de $c$. Sin embargo, para $\mathcal{Y}=(0, \infty)$ con $c=0$ y $u(t)=e^t$, se pueden construir pérdidas convexas si $\ell$ satisface ciertas desigualdades diferenciales (por ejemplo, $\ell(r) = e^{\tilde{\ell}(r)} + e^{\tilde{\ell}(r^{-1})} - 2e^{\tilde{\ell}(1)}$).
• Continuidad de Lipschitz: La continuidad de Lipschitz global es alcanzable si el espacio de salida está acotado o si se utiliza $c>0$ con dominios acotados. Para dominios no acotados con $c=0$, la continuidad de Lipschitz global a menudo se pierde a menos que $\ell$ esté específicamente acotada.
• Diferenciabilidad: La diferenciabilidad de $L$ depende de la diferenciabilidad tanto de $\ell$ como de $u$. El artículo proporciona fórmulas explícitas para las derivadas primera y segunda.
• Propiedad de Nemitski: Los autores establecen las condiciones bajo las cuales las pérdidas basadas en razones satisfacen la propiedad de Nemitski, lo cual es crucial para la existencia de minimizadores y la continuidad del funcional de riesgo.
• Tablas de Propiedades: Tablas exhaustivas (Tabla 2 y Tabla 3) resumen las propiedades (convexidad, continuidad de Lipschitz, diferenciabilidad) de varias funciones de pérdida propuestas y existentes bajo diferentes funciones de enlace ($u(t) = e^t$ frente a logística) y constantes ($c=0$ frente a $c>0$).

Significado y Afirmaciones
Los autores declaran explícitamente que el artículo es una encuesta e investigación teórica en lugar de una derivación de tasas de aprendizaje específicas, pruebas de consistencia o resultados de estabilidad para un algoritmo particular. El significado radica en:

• Trabajo Fundacional: Proporcionar la base matemática necesaria (continuidad, convexidad, diferenciabilidad) para habilitar futuras investigaciones sobre algoritmos de aprendizaje basados en razones.
• Cerrar la Brecha: Destacar que, si bien los errores relativos se utilizan ampliamente en la práctica (por ejemplo, en estudios de dosis-respuesta o modelado de inflación), carecen del tratamiento teórico sistemático que se otorga a las pérdidas basadas en distancia.
• Direcciones Futuras: El artículo busca estimular la investigación para encontrar pérdidas basadas en razones adicionales que sean convexas y continuas de Lipschitz, derivar teoremas de representador y establecer resultados de robustez estadística (funciones de influencia, sesgo máximo) para métodos basados en núcleos y CNN que utilicen estas pérdidas. Los autores señalan que la elección entre enfoques basados en distancia y basados en razones debe estar impulsada por la estructura de error específica de la aplicación (aditiva frente a multiplicativa) y no solo por la conveniencia matemática.