📊 statistics

Measures of predictive accuracy, miscalibration and discrimination

Este artículo critica las medidas de precisión predictiva ampliamente utilizadas, como los puntajes ABC y Gini, por su falta de alineación con funciones de pérdida consistentes con la media, proponiendo en su lugar una nueva descomposición de Murphy y métricas basadas en la curva de Lorenz para garantizar una evaluación honesta de los modelos y un análisis robusto de la dominancia de las previsiones.

Autores originales: Łukasz Delong, Mario Wüthrich

Publicado 2026-05-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Łukasz Delong, Mario Wüthrich

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un entrenador tratando de elegir al mejor pronosticador del tiempo para tu ciudad. Tienes dos candidatos, Alicia y Bob. Ambos te dan un número cada día prediciendo la temperatura. ¿Cómo decides quién es mejor?

Este artículo es como un reglamento para el entrenador, escrito por los estadísticos Lukasz Delong y Mario Wüthrich. Argumenta que la forma en que usualmente juzgamos a estos pronosticadores a menudo es defectuosa, y ofrece una manera mejor y más honesta de hacerlo.

Aquí está el desglose de sus hallazgos usando analogías simples:

1. La Regla de Oro: Consistencia

El artículo comienza con una regla fundamental: Debes juzgar a un pronosticador usando la misma "regla" con la que los entrenaste.

Si quieres que tus pronosticadores predigan la temperatura promedio, debes juzgarlos basándote en qué tan cerca están del promedio. Si usas una regla diferente (como una que los castiga por estar demasiado altos pero los ignora por estar demasiado bajos), podrías elegir a un ganador que en realidad es terrible prediciendo el promedio. Los autores dicen que debemos usar "funciones de pérdida consistentes" (específicamente llamadas divergencias de Bregman). Piensa en esto como una balanza perfectamente calibrada que solo mide el peso con precisión si estás pesando la cosa correcta.

2. Las Dos Fallos en una Predicción

Los autores desglosan el rendimiento de una predicción en dos partes, usando un concepto llamado Descomposición de Murphy. Imagina que una predicción es un lanzamiento de dardo a un blanco.

Mala Calibración (La Apuntación): Esto mide si el pronosticador es "honesto". Si un pronosticador dice "Hará 70 grados", ¿realmente resulta ser 70 grados en promedio? Si están consistentemente equivocados (por ejemplo, siempre dicen 70, pero en realidad es 65), están "mal calibrados".
Discriminación (La Dispersión): Esto mide si el pronosticador es "útil". Si un pronosticador simplemente dice "Hará 70 grados" todos los días, podría estar perfectamente calibrado (si el promedio es 70), pero es inútil porque no te dice cuándo hará calor o frío. Un buen pronosticador necesita variar sus predicciones para coincidir con el clima cambiante.

3. El Problema con las Herramientas Populares (Las Puntuaciones "ABC" y "Gini")

En el mundo real (especialmente en seguros y finanzas), a la gente le encanta usar dos herramientas específicas para juzgar pronosticadores:

La Puntuación ABC: Esto mira el área entre dos curvas (curvas de Lorenz y de Concentración). Es como mirar un gráfico para ver cuánto "se retuercen" las predicciones de los pronosticadores en comparación con la verdad.
El Índice Gini: Esta es una estadística famosa usada para medir la desigualdad (como la riqueza). Aquí, se usa para ver cuánto varían las predicciones de un pronosticador.

La Gran Advertencia del Artículo:
Los autores demuestran que estas herramientas populares son jueces "deshonestos".

El Problema de la "Regla Móvil": Las puntuaciones ABC y Gini cambian sus reglas dependiendo de a quién están juzgando. Es como un árbitro en un partido de fútbol que cambia el tamaño de las porterías dependiendo de qué equipo está jugando. Si usas estas puntuaciones para elegir al mejor pronosticador, podrías elegir a aquel que simplemente resulta encajar con las reglas cambiantes del árbitro, no a aquel que es realmente el mejor.
La Trampa del "Cero": Los autores muestran que la puntuación ABC puede ser cero (perfectamente plana) incluso si el pronosticador está mintiendo (mal calibrado). Es como un velocímetro que marca "0 mph" incluso cuando el coche está conduciendo hacia atrás. La nueva puntuación ABC2 corrige esta trampa específica, pero aún sufre del problema de la "Regla Móvil".

La Solución: Quédate con las medidas de la Descomposición de Murphy. Estas usan la "regla consistente" (divergencia de Bregman) y no cambian sus reglas basándose en el pronosticador. Ofrecen una comparación justa y honesta.

4. Cuando las Curvas se Cruzan (El Desempate)

Usualmente, comparamos pronosticadores mirando sus curvas. Si una curva está siempre por encima de la otra, es fácil decir quién es mejor. Pero en la vida real, las curvas a menudo se cruzan entre sí (como dos corredores que intercambian posiciones durante una carrera).

La Vieja Visión: Si las curvas se cruzan, no podíamos decir fácilmente quién era mejor.
La Nueva Visión: Los autores muestran que cuando estas curvas se cruzan, se cruzan el mismo número de veces que las "curvas de Murphy" (los gráficos técnicos usados para la regla consistente).
La Nueva Regla: Si las curvas se cruzan exactamente una vez, todavía podemos tomar una decisión justa, pero tenemos que ser más específicos. No podemos simplemente decir "El pronosticador A es mejor". Tenemos que decir: "El pronosticador A es mejor si nos importan más las grandes tormentas (alta varianza)", o "El pronosticador B es mejor si nos importan más las lloviznas pequeñas".

Demuestran que en estos escenarios de cruce, la Varianza (cuánto saltan las predicciones) se convierte en el factor decisivo, no el índice Gini.

Resumen: ¿Qué Deberías Hacer?

Si estás evaluando predicciones (como el clima, riesgos de seguros o precios de acciones):

No confíes en la puntuación ABC ni en el índice Gini para elegir al ganador. Son como árbitros sesgados que cambian las reglas a mitad del juego.
Usa la Descomposición de Murphy. Desglosa la puntuación en "Honestidad" (Mala Calibración) y "Utilidad" (Discriminación) usando una regla consistente e inmutable.
Si los gráficos se cruzan, no entres en pánico. Mira la varianza y el tipo específico de error que te importa. El artículo te ofrece una nueva forma matemáticamente sólida de decidir quién gana incluso cuando la carrera está reñida.

En resumen: Deja de usar las métricas populares y llamativas que hacen trampa. Usa las métricas honestas y consistentes que realmente miden lo que afirmas medir.

Resumen Técnico: Medidas de Precisión Predictiva, Miscalibración y Discriminación

Enunciado del Problema
El artículo aborda la evaluación de predictores puntuales de valor real para la media de una variable de respuesta $Y$ . Dentro del marco de la teoría de la decisión establecido por Gneiting (2011), la evaluación de predicciones puntuales se basa en funciones de pérdida consistentes, específicamente divergencias de Bregman, donde la predicción óptima es la media condicional. Si bien el criterio principal para la evaluación es la pérdida esperada (precisión), las buenas predicciones deben exhibir también calibración media (el predictor es igual a la media condicional) y alta discriminación (el predictor varía significativamente respecto a la media incondicional).

Los autores identifican una brecha en la literatura respecto a métricas prácticas ampliamente utilizadas: el Área entre las Curvas de Concentración y Lorenz (ABC) para la miscalibración, el índice de Gini para la discriminación, y sus variantes al cuadrado. Aunque estas métricas son populares en la ciencia actuarial y el aprendizaje automático, su alineación teórica con el requisito de la teoría de la decisión de reglas de puntuación consistentes no está clara. Específicamente, se desconoce si estas métricas proporcionan evaluaciones "honestas" que no dependan del predictor específico que se está evaluando.

Metodología
El estudio opera dentro de un entorno de teoría de la decisión donde $(Y, X)$ es un par aleatorio, $X$ es un predictor $\mathcal{A}$ -medible, y $L$ es una función de pérdida consistente para la media. Los autores utilizan:

Divergencias de Bregman: Caracterizadas por funciones convexas $\phi$ o como integrales de divergencias de Bregman elementales $L_\theta$ con respecto a una medida $H$ .
Descomposición de Murphy: Una descomposición de la pérdida esperada en componentes de Incertidumbre, Discriminación y Miscalibración.
Curvas de Lorenz y Concentración: Herramientas estándar para medir la desigualdad y la calibración en contextos actuariales.
Dominio Estocástico: Utilizando el dominio estocástico de tercer grado y las propiedades de las curvas de Murphy para analizar el dominio de las predicciones cuando las curvas se intersectan.

Contribuciones y Resultados Clave

1. Una Nueva Versión de la Descomposición de Murphy
Los autores derivan una representación novedosa de la descomposición de Murphy donde los términos de miscalibración y discriminación dependen únicamente del predictor y su esperanza condicional, no directamente de la respuesta $Y$ .

Miscalibración ($MCB$): Definida como $S_L(E[Y|X], X)$ , midiendo la discrepancia entre el predictor y su versión calibrada.
Discriminación ($DSC$): Definida como $S_L(E[Y|X], E[Y])$ , midiendo la discrepancia entre el predictor calibrado y la media incondicional.
Significado: Esta formulación proporciona una interpretación geométrica más intuitiva y robustez frente a las propiedades de la cola de la respuesta, ya que la respuesta $Y$ no aparece explícitamente en las estadísticas una vez establecida la media condicional.

2. Crítica de ABC y ABC2 (Medidas de Miscalibración)
El artículo investiga la estadística ABC (área entre las curvas de Lorenz y concentración) e introduce una nueva versión al cuadrado de la media, ABC2.

Limitaciones de ABC: Los autores demuestran que $ABC=0$ es una condición necesaria pero no suficiente para la calibración media. Un predictor puede tener $ABC=0$ mientras está mal calibrado (por ejemplo, cuando las curvas de Lorenz y concentración se intersectan).
Propiedades de ABC2: Se muestra que $ABC2=0$ es una condición necesaria y suficiente para la calibración media.
Desalineación Teórica: Crucialmente, tanto ABC como ABC2 dependen de pesos dependientes del predictor. No pueden representarse como la pérdida esperada de una única divergencia de Bregman fija. En consecuencia, no se alinean con el marco de la teoría de la decisión de las reglas de puntuación consistentes. El artículo demuestra que minimizar divergencias de Bregman ponderadas con pesos dependientes del predictor puede llevar a predicciones "deshonestas", donde un predictor sesgado es preferido sobre uno no sesgado.

3. Crítica del Índice de Gini (Medida de Discriminación)
Los autores relacionan el índice de Gini con el término de discriminación de la descomposición de Murphy.

Descomposición: Se muestra que el índice de Gini es una suma del término de discriminación de Murphy (basado en una divergencia de Bregman específica del predictor) y un término de desviación absoluta media.
Desalineación Teórica: Similar a ABC, el índice de Gini implica una función de pérdida que depende de la distribución del propio predictor ( $H(\theta) = F_X(\theta)$ ). Como señaló Hand (2009) para la clasificación, esto significa que el índice de Gini evalúa diferentes clasificadores utilizando diferentes métricas, violando el principio de las reglas de puntuación consistentes.
Discrepancias en la Clasificación: El artículo proporciona ejemplos donde la clasificación de predictores por el índice de Gini difiere de la clasificación por el término de discriminación de Murphy, particularmente cuando las curvas de Lorenz se intersectan.

4. Dominio de Predicción con Curvas que se Intersectan
Reconociendo que las curvas de Lorenz no intersectantes (dominio estricto) son raras en la práctica, los autores extienden la teoría a casos donde las curvas se cruzan.

Equivalencia de Cruces: Se demuestra que para predictores calibrados en media, el número de puntos de cruce entre las curvas de Lorenz es idéntico al número de puntos de cruce entre las curvas de Murphy.
Dominio de Cruce Único: En el caso de un solo cruce, los autores establecen criterios de dominio más débiles para subclases de divergencias de Bregman utilizando el dominio estocástico de tercer grado.
Rol de la Varianza: A diferencia del índice de Gini, que no proporciona una clasificación consistente en el caso de un solo cruce, la clasificación está determinada por la varianza de los predictores y la clase específica de divergencias de Bregman (caracterizada por las propiedades de convexidad de la función generadora $\phi$ ). Específicamente, para ciertas clases de funciones de pérdida (por ejemplo, pérdidas de desviación de Tweedie con parámetros específicos), un predictor con mayor varianza puede dominar a uno con menor varianza, o viceversa, dependiendo de la curvatura de la función de pérdida.

Significado y Afirmaciones
El artículo argumenta que, si bien métricas como ABC, ABC2 y el índice de Gini son informativas y populares en la práctica, son teóricamente defectuosas para la selección y evaluación de modelos bajo el marco de la teoría de la decisión de Gneiting (2011).

Evaluación Deshonest: Dado que estas métricas dependen de pesos dependientes del predictor, no constituyen reglas de puntuación consistentes. Pueden llevar a la selección de predictores subóptimos o "deshonestos".
Recomendación: Los autores abogan por el uso de estadísticas de miscalibración y discriminación derivadas de la descomposición de Murphy (basadas en divergencias de Bregman fijas) como las herramientas preferidas para evaluar predicciones puntuales. Estas medidas se alinean con el requisito de la teoría de la decisión de que la función de pérdida debe ser independiente del predictor específico que se está evaluando.
Implicación Práctica: Cuando las curvas de Lorenz se intersectan, el índice de Gini es insuficiente para clasificar la discriminación; en su lugar, se debe considerar la clase específica de divergencias de Bregman relevante para la aplicación y las propiedades de varianza de los predictores.

El artículo concluye que la nueva representación de la descomposición de Murphy ofrece una base robusta, interpretable y teóricamente sólida para la evaluación de predicciones, superior a las métricas tradicionales basadas en curvas en el contexto de la puntuación consistente.