Ratio-based Loss Functions

Resumo Técnico: Funções de Perda Baseadas em Razão

Enunciado do Problema
Na aprendizagem de máquina supervisionada, a escolha da função de perda é um componente crítico, juntamente com o espaço de hipóteses e o conjunto de medidas de probabilidade. Embora as funções de perda baseadas em distância (que dependem de $|y - f(x)|$) sejam padrão para regressão sob suposições de erro aditivo (sinal mais ruído), elas falham em capturar erros relativos de forma eficaz. Em muitas aplicações do mundo real — como dosagem médica, modelagem financeira e controle de qualidade — os espaços de saída são estritamente positivos ($Y \subset (0, \infty)$) e as estruturas de erro são frequentemente multiplicativas (sinal vezes ruído). Abordagens baseadas em distância são inerentemente dependentes da escala; um erro absoluto constante pode ser negligenciável para valores grandes, mas crítico para valores pequenos. Por outro lado, abordagens baseadas em razão oferecem invariância de escala. No entanto, a literatura carece de um quadro teórico sistemático para funções de perda baseadas em razão, particularmente no que diz respeito às suas propriedades matemáticas gerais (continuidade, convexidade, diferenciabilidade) e sua relação com o funcional de risco.

Metodologia
Os autores propõem uma definição formal para funções de perda baseadas em razão (rb) e analisam sistematicamente suas propriedades.

• Definição: Uma função de perda supervisionada $L: \mathcal{X} \times \mathcal{Y} \times \mathbb{R} \to [0, \infty)$ é definida como baseada em razão se existir uma função representadora $\ell: (0, \infty) \to [0, \infty)$, uma constante $c \ge 0$ e uma função de ligação $u: \mathbb{R} \to \mathcal{Y}$ (mensurável, sobrejetiva, monótona) tal que:
  $$L(x, y, t) = \ell\left(\frac{u(t) + c}{y + c}\right)$$
  onde $\mathcal{Y} = (a, b)$ com $0 \le a < b \le \infty$. O caso $c=0$ é denominado "estritamente baseado em razão". A função de ligação $u$ transforma previsões de valor real $t$ no espaço de saída $\mathcal{Y}$ para garantir que a razão seja bem definida.
• Análise Teórica: O artigo investiga como as propriedades da função representadora $\ell$ e da função de ligação $u$ (por exemplo, continuidade, continuidade de Lipschitz, convexidade, diferenciabilidade) se transferem para a função de perda $L$ e para o funcional de risco correspondente $R_{L,P}(f)$. A análise baseia-se em resultados padrão da teoria da aprendizagem estatística (por exemplo, Csiszár, Steinwart e Christmann) sobre a herança de propriedades da perda para o risco.
• Comparação: Os autores analisam a relação entre perdas baseadas em razão e perdas baseadas em distância, demonstrando que, embora possam ser mapeadas uma na outra por meio de transformações logarítmicas, elas não são equivalentes em seus espaços de argumento originais.

Principais Contribuições

1. Quadro Geral: O artigo estabelece um quadro teórico unificado para funções de perda baseadas em razão, distinguindo-as das abordagens existentes baseadas em margem (classificação) e baseadas em distância (regressão).
2. Transferência de Propriedades: Fornece lemas e proposições rigorosas detalhando as condições sob as quais $L$ herda continuidade, diferenciabilidade, convexidade e continuidade de Lipschitz de $\ell$ e $u$. Uma descoberta chave é a tensão entre convexidade e continuidade de Lipschitz em configurações baseadas em razão: a convexidade frequentemente requer $c=0$ (razão estritamente baseada), enquanto a continuidade de Lipschitz global frequentemente requer $c>0$ para limitar a razão perto de zero ou infinito.
3. Novas e Levantadas Funções de Perda: Os autores catalogam perdas baseadas em razão existentes na literatura (por exemplo, Erro Absoluto Relativo Mínimo, Erro Relativo de Produto Mínimo, RMSE Logarítmico) e propõem várias novas funções, incluindo:
   • Perdas logarítmicas e relativas do tipo Huber.
   • Perdas relativas Log-cosh-log e Cosh-log.
   • Versões suavizadas e robustas do Erro Absoluto Relativo Mínimo (LARE) e do Erro Relativo de Produto Mínimo (LPRE) inspiradas na perda de Hampel.
   • Variantes ponderadas e insensíveis de perdas baseadas em razão.
4. Análise de Risco: O artigo aborda a finitude do funcional de risco, mostrando que a limitação de $\ell$ ou condições específicas sobre $u$ e $c$ são necessárias para garantir risco finito para funções mensuráveis, particularmente quando $\mathcal{Y} = (0, \infty)$.
5. Definições Alternativas: Os autores consideram brevemente uma definição alternativa usando a razão inversa ($\frac{y+c}{u(t)+c}$) e demonstram que, embora as propriedades se mantenham em grande parte, a definição original (1) oferece vantagens técnicas na prova da continuidade de Lipschitz global e da limitação do risco.

Resultados

• Convexidade: O artigo prova que, para $\mathcal{Y}=(0,1)$, perdas baseadas em razão convexas não constantes são geralmente impossíveis, independentemente de $c$. No entanto, para $\mathcal{Y}=(0, \infty)$ com $c=0$ e $u(t)=e^t$, perdas convexas podem ser construídas se $\ell$ satisfizer desigualdades diferenciais específicas (por exemplo, $\ell(r) = e^{\tilde{\ell}(r)} + e^{\tilde{\ell}(r^{-1})} - 2e^{\tilde{\ell}(1)}$).
• Continuidade de Lipschitz: A continuidade de Lipschitz global é alcançável se o espaço de saída for limitado ou se $c>0$ for usado com domínios limitados. Para domínios ilimitados com $c=0$, a continuidade de Lipschitz global é frequentemente perdida, a menos que $\ell$ seja especificamente limitado.
• Diferenciabilidade: A diferenciabilidade de $L$ depende da diferenciabilidade de $\ell$ e de $u$. O artigo fornece fórmulas explícitas para as derivadas primeira e segunda.
• Propriedade de Nemitski: Os autores estabelecem condições sob as quais perdas baseadas em razão satisfazem a propriedade de Nemitski, que é crucial para a existência de minimizadores e a continuidade do funcional de risco.
• Tabelas de Propriedades: Tabelas abrangentes (Tabela 2 e Tabela 3) resumem as propriedades (convexidade, continuidade de Lipschitz, diferenciabilidade) de várias funções de perda propostas e existentes sob diferentes funções de ligação ($u(t) = e^t$ versus logística) e constantes ($c=0$ versus $c>0$).

Significado e Alegações
Os autores afirmam explicitamente que o artigo é uma pesquisa e investigação teórica e não uma derivação de taxas de aprendizagem específicas, provas de consistência ou resultados de estabilidade para um algoritmo particular. O significado reside em:

• Trabalho Fundamental: Fornecer a base matemática necessária (continuidade, convexidade, diferenciabilidade) para permitir pesquisas futuras sobre algoritmos de aprendizagem baseados em razão.
• Preenchendo a Lacuna: Destacar que, embora erros relativos sejam amplamente utilizados na prática (por exemplo, em estudos de dose-resposta ou modelagem de inflação), eles carecem do tratamento teórico sistemático concedido a perdas baseadas em distância.
• Direções Futuras: O artigo visa estimular a pesquisa na busca por perdas adicionais baseadas em razão que sejam convexas e Lipschitz contínuas, na derivação de teoremas representadores e no estabelecimento de resultados de robustez estatística (funções de influência, maxbias) para métodos baseados em kernel e CNNs que utilizam essas perdas. Os autores observam que a escolha entre abordagens baseadas em distância e baseadas em razão deve ser impulsionada pela estrutura de erro específica da aplicação (aditiva versus multiplicativa) e não apenas pela conveniência matemática.