Learning with the Nash-Sutcliffe loss

Este artigo estabelece uma fundamentação teórico-decisória para o uso da eficiência de Nash-Sutcliffe (NSE) na avaliação e estimação de modelos de previsão, demonstrando que a minimização da perda de Nash-Sutcliffe equivale a estimar um funcional médio ponderado por dados, o que valida o uso de modelos globais para séries temporais dependentes com propriedades estocásticas distintas.

O essencial

Imagine que você é um treinador de uma equipe de futebol com 10 jogadores diferentes. O seu objetivo é prever quantos gols cada um fará na próxima partida.

Até agora, a maneira padrão de avaliar quem é o melhor treinador era usar uma régua chamada MSE (Erro Quadrático Médio). Essa régua é simples: ela mede a distância entre a sua previsão e o gol real. Se você errar por 1 gol, a penalidade é 1. Se errar por 10 gols, a penalidade é 100. É uma régua justa, mas ela trata todos os jogadores da mesma forma, independentemente de quão "instáveis" ou "variáveis" eles são.

Agora, imagine que existe outra régua, muito popular no mundo da hidrologia (estudo de rios e chuvas), chamada NSE (Eficiência de Nash-Sutcliffe). Essa régua é diferente. Ela não pergunta apenas "quão longe você errou?". Ela pergunta: "Quão melhor você foi do que apenas chutar o número médio de gols que esse jogador fez no passado?"

Se o seu modelo é melhor que a média histórica, a régua NSE dá uma nota positiva. Se é pior, a nota é negativa. O problema é que, por muito tempo, os cientistas usaram essa régua NSE para avaliar modelos que foram treinados com a régua MSE. Era como treinar um jogador para correr rápido (MSE) e depois julgá-lo em uma prova de natação (NSE). Não faz sentido!

O que os autores descobriram?

Hristos Tyralis e Georgia Papacharalampous, os autores deste artigo, decidiram consertar essa bagunça. Eles disseram: "Se vamos usar a régua NSE para julgar, precisamos treinar o modelo pensando na régua NSE."

Eles criaram um novo conceito chamado Função de Perda Nash-Sutcliffe. Pense nela como um "espelho" da régua NSE. Em vez de tentar maximizar a nota (NSE), eles minimizam a "perda" (o erro).

Aqui está a mágica que eles descobriram:

1. O Alvo Muda: Quando você treina um modelo para minimizar o erro quadrático (MSE), o modelo aprende a prever a média (o valor central). É como se o modelo dissesse: "Vou prever que o jogador fará 2 gols, porque é a média dele".
2. A Nova Realidade: Quando você treina para minimizar a Perda Nash-Sutcliffe, o modelo aprende a prever algo diferente: uma Média Ponderada.
   • Analogia: Imagine que você tem 10 jogadores. Alguns são muito consistentes (sempre fazem 2 gols). Outros são caóticos (às vezes 0, às vezes 10). A perda Nash-Sutcliffe dá mais "peso" ou importância aos jogadores consistentes e menos peso aos caóticos. O modelo, ao ser treinado com essa perda, ajusta suas previsões para agradar mais aos jogadores consistentes, porque eles "custam" menos em termos de erro relativo.

A Grande Lição: "Não misture o treino com a prova"

O ponto central do artigo é um aviso prático: Se você quer que seu modelo seja avaliado pelo NSE (a régua de eficiência relativa), você deve treiná-lo usando a "Perda Nash-Sutcliffe".

Se você treinar com o método antigo (MSE) e depois avaliar com NSE, você estará usando um mapa errado para chegar ao destino. O modelo pode parecer bom em uma régua e ruim na outra.

Como eles provaram isso?

Eles usaram matemática avançada (que chamam de "teoria da decisão") para provar que:

• A perda NSE é "estritamente consistente" para um alvo específico (a média ponderada).
• Eles criaram uma nova fórmula de regressão linear (chamada Regressão Linear Nash-Sutcliffe) que faz exatamente isso: treina o modelo para minimizar essa perda específica.

O que acontece na prática?

Eles testaram isso com dados reais de rios e temperatura na França e com simulações de computador.

• Resultado: Quando usaram a nova regressão (treinada para a perda NSE), os modelos ficaram muito melhores na métrica NSE do que os modelos tradicionais.
• A Surpresa: Em alguns casos, o modelo tradicional (MSE) parecia melhor em termos de erro absoluto, mas falhava miseravelmente na métrica NSE. Isso mostra que, se o seu chefe ou sua métrica de sucesso é o NSE, você precisa mudar sua forma de treinar.

Resumo em uma frase

Pare de treinar seus modelos de previsão pensando apenas em "erro absoluto" se o seu objetivo final é medir "eficiência relativa". Use a ferramenta certa para o trabalho certo: treine com a Perda Nash-Sutcliffe para ganhar na Eficiência Nash-Sutcliffe. É como treinar especificamente para a prova que você vai fazer, em vez de treinar para uma prova diferente e esperar que as habilidades se transfiram.

Resumo técnico

Título: Aprendizado com a Perda de Nash-Sutcliffe

Autores: Hristos Tyralis e Georgia Papacharalampous

---

1. O Problema

A Eficiência de Nash-Sutcliffe (NSE) é uma métrica amplamente utilizada, especialmente nas ciências ambientais e hidrológicas, para avaliar a precisão de previsões em múltiplas séries temporais. Ela é definida como uma transformação do Erro Quadrático Médio (MSE), onde valores mais altos indicam melhor desempenho.

No entanto, o artigo identifica uma falha fundamental na prática atual:

• Falta de Fundamento Teórico: O uso comum de maximizar a média da NSE (ou minimizar a perda de Nash-Sutcliffe) carece de uma base na teoria da decisão.
• Inconsistência de Estimação e Avaliação: Os pesquisadores frequentemente treinam modelos minimizando o MSE (que visa a média condicional) e avaliam o desempenho usando a NSE. O artigo demonstra que, sob a teoria de funções de perda estritamente consistentes, o MSE e a NSE visam funcionais estatísticos diferentes.
• Viés na Comparação: A prática de comparar modelos através da média da NSE em várias séries temporais assume implicitamente que todas as séries provêm de um único processo estocástico não estacionário, o que nem sempre é válido.

2. Metodologia

Os autores aplicam a teoria de funções de perda estritamente consistentes e funcionais elicíveis (Gneiting, 2011) para redefinir a base teórica da NSE.

• Definição da Perda de Nash-Sutcliffe ($L_{NS}$): Eles reorientam a NSE para uma forma de perda (negativamente orientada): $L_{NS} = 1 - NSE$.
• Caracterização do Funcional: Eles provam matematicamente que minimizar a perda esperada $L_{NS}$ não estima a média simples (componente a componente), mas sim um Funcional de Nash-Sutcliffe.
  • Este funcional é definido como uma média ponderada pelos dados dos componentes.
  • A ponderação ($w$) é inversamente proporcional à variância interna de cada série temporal em relação à sua própria média.
• Análise de Consistência e Identificabilidade:
  • Demonstram que $L_{NS}$ é estritamente consistente para o Funcional de Nash-Sutcliffe.
  • Apresentam funções de identificação estritas para verificar se um modelo está realmente prevendo esse funcional.
• Regressão Linear de Nash-Sutcliffe: Introduzem um novo método de estimação para modelos lineares que minimiza diretamente a perda de Nash-Sutcliffe.
  • Diferente da Regressão Linear Ordinária (OLS), que minimiza o erro quadrático, a Regressão de Nash-Sutcliffe é formulada como uma Regressão de Mínimos Quadrados Ponderados (WLS), onde os pesos são derivados dos dados (variabilidade de cada série).
• Duas Orientações de Dados: O artigo distingue cuidadosamente entre duas configurações de dados:
  1. $d \times n$: Onde cada coluna é uma série temporal de comprimento $d$ (comum em grandes amostras hidrológicas).
  2. $n \times d$: Onde cada linha é uma observação multivariada no tempo (configuração padrão de previsão).

3. Principais Contribuições

1. Fundamentação Teórica: Estabelecem a primeira base teórica rigorosa para o uso da NSE em avaliação e estimação de modelos, provando que ela elicia um funcional específico (a média ponderada pelos dados), e não a média aritmética.
2. Descoberta do Funcional de Nash-Sutcliffe: Identificam que o alvo da NSE é uma média condicional onde séries com menor variabilidade interna recebem maior peso. Isso explica por que a NSE pode favorecer modelos que performam bem em séries de baixa variância, mesmo que o erro absoluto seja maior.
3. Novo Algoritmo de Regressão: Desenvolvem a Regressão Linear de Nash-Sutcliffe, que fornece estimativas de parâmetros diferentes das obtidas pelo OLS quando o objetivo é otimizar a NSE.
4. Guia Prático: Fornecem diretrizes claras sobre quando e como usar a NSE, alertando para a necessidade de alinhar o método de treinamento (perda) com a métrica de avaliação.

4. Resultados

Os resultados foram validados através de simulações e aplicações com dados reais (hidrometeorológicos):

• Simulações (Dados Sintéticos):
  • Em distribuições não-Gaussianas (ex: log-normal), o Funcional de Nash-Sutcliffe diverge significativamente da média simples.
  • Modelos treinados com OLS (minimizando MSE) performaram pior quando avaliados pela NSE em comparação com modelos treinados com a perda de Nash-Sutcliffe.
  • A Regressão de Nash-Sutcliffe reduziu drasticamente a perda de Nash-Sutcliffe (melhoria de ~68% em fluxo de água e ~37% em temperatura) em comparação com métodos tradicionais, mantendo um desempenho aceitável no MSE.
• Aplicações Reais (Bacias Hidrográficas Francesas):
  • Ao prever vazão e temperatura, a regressão proposta superou consistentemente a regressão linear multidimensional padrão (OLS) e modelos univariados independentes quando a métrica de avaliação foi a NSE média.
  • Os resultados confirmam que ignorar a estrutura de pesos inerente à NSE durante o treinamento leva a previsões subótimas para essa métrica específica.

5. Significado e Implicações

Este trabalho tem um impacto profundo na modelagem estatística e no aprendizado de máquina aplicados a séries temporais:

• Alinhamento Estimação-Avaliação: Reforça o princípio de que a função de perda usada no treinamento deve ser estritamente consistente com o funcional que se deseja prever e a métrica usada para avaliação. Usar MSE para treinar e NSE para avaliar é uma prática inconsistente que gera subotimização.
• Interpretação de Métricas: Explica por que a NSE pode variar amplamente entre diferentes locais ou séries temporais, não apenas devido à habilidade do modelo, mas devido às propriedades estocásticas intrínsecas dos dados (variabilidade).
• Mudança de Paradigma: Sugere que, em cenários onde a NSE é a métrica padrão (como em hidrologia), os pesquisadores devem abandonar a minimização do MSE em favor de métodos como a Regressão de Nash-Sutcliffe ou algoritmos de aprendizado de máquina otimizados diretamente para essa perda.
• Validade Estatística: Alerta que comparar médias de NSE entre séries temporais de naturezas diferentes (ex: fluxo diário vs. mensal) é estatisticamente inválido, pois elas não compartilham o mesmo processo estoc subjacente.

Em resumo, o artigo transforma a NSE de uma "métrica empírica" para uma "ferramenta de decisão teórica", fornecendo o caminho correto para estimar modelos que realmente otimizam o desempenho sob essa métrica.