Measures of predictive accuracy, miscalibration and discrimination

Resumo Técnico: Medidas de Precisão Preditiva, Má Calibração e Discriminação

Declaração do Problema
O artigo aborda a avaliação de preditores pontuais de valor real para a média de uma variável de resposta $Y$. No âmbito da estrutura teórica de decisão estabelecida por Gneiting (2011), a avaliação de previsões pontuais baseia-se em funções de perda consistentes, especificamente divergências de Bregman, onde a previsão ótima é a média condicional. Embora o critério primário para avaliação seja a perda esperada (precisão), previsões boas devem também exibir calibração da média (o preditor iguala a média condicional) e alta discriminação (o preditor varia significativamente da média incondicional).

Os autores identificam uma lacuna na literatura relativa a métricas práticas amplamente utilizadas: a Área entre as Curvas de Concentração e de Lorenz (ABC) para má calibração, o Índice de Gini para discriminação, e suas variantes ao quadrado. Embora essas métricas sejam populares na ciência atuarial e no aprendizado de máquina, seu alinhamento teórico com o requisito da teoria de decisão de regras de pontuação consistentes não é claro. Especificamente, é desconhecido se essas métricas fornecem avaliações "honestas" que não dependem do preditor específico sendo avaliado.

Metodologia
O estudo opera dentro de um cenário de teoria de decisão onde $(Y, X)$ é um par aleatório, $X$ é um preditor $\mathcal{A}$-mensurável, e $L$ é uma função de perda consistente para a média. Os autores utilizam:

1. Divergências de Bregman: Caracterizadas por funções convexas $\phi$ ou como integrais de divergências elementares de Bregman $L_\theta$ com respeito a uma medida $H$.
2. Decomposição de Murphy: Uma decomposição da perda esperada em componentes de Incerteza, Discriminação e Má Calibração.
3. Curvas de Lorenz e de Concentração: Ferramentas padrão para medir desigualdade e calibração em contextos atuariais.
4. Dominação Estocástica: Utilizando dominância estocástica de terceiro grau e propriedades das curvas de Murphy para analisar a dominância de previsões quando as curvas se intersectam.

Principais Contribuições e Resultados

1. Uma Nova Versão da Decomposição de Murphy
Os autores derivam uma representação novel da decomposição de Murphy onde os termos de má calibração e discriminação dependem apenas do preditor e de sua esperança condicional, não diretamente da resposta $Y$.

• Má Calibração ($MCB$): Definida como $S_L(E[Y|X], X)$, medindo a discrepância entre o preditor e sua versão calibrada.
• Discriminação ($DSC$): Definida como $S_L(E[Y|X], E[Y])$, medindo a discrepância entre o preditor calibrado e a média incondicional.
• Significância: Esta formulação fornece uma interpretação geométrica mais intuitiva e robustez às propriedades de cauda da resposta, uma vez que a resposta $Y$ não aparece explicitamente nas estatísticas uma vez que a média condicional é estabelecida.

2. Crítica à ABC e ABC2 (Medidas de Má Calibração)
O artigo investiga a estatística ABC (área entre as curvas de Lorenz e de concentração) e introduz uma nova versão ao quadrado da média, ABC2.

• Limitações da ABC: Os autores provam que $ABC=0$ é uma condição necessária, mas não suficiente, para calibração da média. Um preditor pode ter $ABC=0$ enquanto está mal calibrado (por exemplo, quando as curvas de Lorenz e de concentração se intersectam).
• Propriedades da ABC2: $ABC2=0$ é mostrado ser uma condição necessária e suficiente para calibração da média.
• Desalinhamento Teórico: Crucialmente, tanto ABC quanto ABC2 são mostrados como dependendo de pesos dependentes do preditor. Eles não podem ser representados como a perda esperada de uma única divergência de Bregman fixa. Consequentemente, eles falham em alinhar-se com o quadro da teoria de decisão de regras de pontuação consistentes. O artigo demonstra que a minimização de divergências de Bregman ponderadas com pesos dependentes do preditor pode levar a previsões "desonestas", onde um preditor enviesado é preferido a um não enviesado.

3. Crítica ao Índice de Gini (Medida de Discriminação)
Os autores relacionam o Índice de Gini ao termo de discriminação da decomposição de Murphy.

• Decomposição: O Índice de Gini é mostrado como uma soma do termo de discriminação de Murphy (baseado em uma divergência de Bregman específica do preditor) e um termo de desvio absoluto médio.
• Desalinhamento Teórico: Similar à ABC, o Índice de Gini implica uma função de perda que depende da distribuição do próprio preditor ($H(\theta) = F_X(\theta)$). Como notado por Hand (2009) para classificação, isso significa que o Índice de Gini avalia diferentes classificadores usando métricas diferentes, violando o princípio das regras de pontuação consistentes.
• Discrepâncias de Classificação: O artigo fornece exemplos onde a classificação de preditores pelo Índice de Gini difere da classificação pelo termo de discriminação de Murphy, particularmente quando as curvas de Lorenz se intersectam.

4. Dominância de Previsão com Curvas Intersectantes
Reconhecendo que curvas de Lorenz não intersectantes (dominância estrita) são raras na prática, os autores estendem a teoria para casos onde as curvas se cruzam.

• Equivalência de Cruzamentos: É provado que, para preditores calibrados na média, o número de pontos de cruzamento entre curvas de Lorenz é idêntico ao número de pontos de cruzamento entre as curvas de Murphy.
• Dominância de Cruzamento Único: No caso de um único cruzamento, os autores estabelecem critérios de dominância mais fracos para subclasses de divergências de Bregman usando dominância estocástica de terceiro grau.
• Papel da Variância: Diferentemente do Índice de Gini, que falha em fornecer uma classificação consistente no caso de cruzamento único, a classificação é determinada pela variância dos preditores e pela classe específica de divergências de Bregman (caracterizada pelas propriedades de convexidade da função geradora $\phi$). Especificamente, para certas classes de funções de perda (por exemplo, perdas de desvio de Tweedie com parâmetros específicos), um preditor com maior variância pode dominar um com menor variância, ou vice-versa, dependendo da curvatura da função de perda.

Significância e Alegações
O artigo argumenta que, embora métricas como ABC, ABC2 e o Índice de Gini sejam informativas e populares na prática, elas são teoricamente falhas para seleção e avaliação de modelos sob o quadro da teoria de decisão de Gneiting (2011).

• Avaliação Desonesta: Como essas métricas dependem de pesos dependentes do preditor, elas não constituem regras de pontuação consistentes. Elas podem levar à seleção de preditores subótimos ou "desonestos".
• Recomendação: Os autores defendem o uso de estatísticas de má calibração e discriminação derivadas da decomposição de Murphy (baseadas em divergências de Bregman fixas) como as ferramentas preferenciais para avaliar previsões pontuais. Essas medidas alinham-se com o requisito da teoria de decisão de que a função de perda deve ser independente do preditor específico sendo avaliado.
• Implicação Prática: Quando as curvas de Lorenz se intersectam, o Índice de Gini é insuficiente para classificar a discriminação; em vez disso, deve-se considerar a classe específica de divergências de Bregman relevante para a aplicação e as propriedades de variância dos preditores.

O artigo conclui que a nova representação da decomposição de Murphy oferece uma base robusta, interpretável e teoricamente sólida para avaliação de previsões, superior às métricas tradicionais baseadas em curvas no contexto de pontuação consistente.