📊 statistics

Beyond Point Estimates: Distributional Uncertainty in Machine Learning Performance Evaluation

Este artículo aboga por una perspectiva distribucional en la evaluación del aprendizaje automático al tratar las métricas de rendimiento como variables aleatorias y analizar sus distribuciones empíricas mediante cuantiles e intervalos de confianza, demostrando que es factible realizar inferencia estadística significativa sobre la variabilidad del modelo incluso con tamaños de muestra pequeños para respaldar comparaciones de modelos más orientadas al riesgo y diferenciadas.

Autores originales: Christoph Lehmann, Yahor Paromau

Publicado 2026-05-13

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Christoph Lehmann, Yahor Paromau

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un chef tratando de perfeccionar una nueva receta. En el mundo del Aprendizaje Automático (ML), la "receta" es el modelo, y la "prueba de sabor" es la métrica de rendimiento (como la precisión o la tasa de error).

La Vieja Forma: La Única Prueba de Sabor
Tradicionalmente, cuando los chefs (o científicos de datos) evalúan una receta, la cocinan una vez, la prueban y dicen: "Esta sopa tiene un 9 sobre 10". Tratan ese único número como la verdad absoluta.

Pero aquí está el problema: Cocinar no es perfectamente predecible. Si cambias el orden en que añades los ingredientes, usas un lote ligeramente diferente de especias, o remueves la olla a una velocidad distinta, la sopa podría saber ligeramente diferente cada vez. En ML, estos "ingredientes" son cosas como cómo se divide los datos, cómo la computadora inicia sus cálculos, o cómo ajusta sus configuraciones.

El viejo método ignora esto. Asume que una sola prueba de sabor representa toda la olla de sopa.

La Nueva Forma: La "Distribución de Sabores"
Este artículo propone una nueva forma de pensar: En lugar de preguntar "¿Cuál es la puntuación?", pregunta "¿Cómo se ve el rango de puntuaciones?"

Imagina que, en lugar de probar la sopa una vez, la cocinas 20 veces con ligeras variaciones aleatorias en tu técnica. Obtienes 20 puntuaciones de sabor diferentes.

Algunas podrían ser 8.5.
Algunas podrían ser 9.2.
Una podría ser una decepcionante 7.0.

El artículo sugiere que no deberíamos simplemente promediar estos valores para obtener un "9.0". En su lugar, deberíamos observar la distribución (la dispersión) de esas 20 puntuaciones. Esto nos da una imagen mucho más clara de la fiabilidad.

Conceptos Clave Explicados con Analogías

1. Los Escenarios de "Peor Caso" y "Mejor Caso" (Cuantiles)
En lugar de solo conocer el promedio, este método observa los bordes de la distribución.

La Analogía: Piensa en un pronóstico del tiempo. Un pronóstico estándar podría decir: "Habrán 75°F". Pero un pronóstico distribucional dice: "Probablemente estará entre 70°F y 80°F, pero hay un 10% de probabilidad de que baje a 65°F".
En el Artículo: Observan puntos específicos en la dispersión, llamados cuantiles.
- El percentil 90 podría decirte: "En el 90% de los casos, nuestro modelo funciona al menos tan bien como esto".
- El percentil 10 podría decirte: "En el 10% de los casos, el modelo funciona peor que esto".
- Esto es crucial para el "riesgo". Si estás construyendo un coche autónomo, no solo te importa la velocidad promedio; te importa el escenario del peor caso (la cola de la distribución).

2. El "Intervalo de Confianza" (La Red de Seguridad)
Dado que no podemos cocinar la sopa 1,000 veces (toma demasiado tiempo y dinero), usualmente solo la cocinamos unas pocas veces (digamos, de 10 a 25 veces). Debido a que la muestra es pequeña, nuestra suposición sobre el escenario del "peor caso" podría ser inestable.

La Analogía: Imagina que estás adivinando la altura de un árbol basándote en mirarlo desde la distancia. Podrías adivinar "50 pies". Pero como estás lejos, no estás 100% seguro. Así que dices: "Estoy bastante seguro de que está entre 45 y 55 pies". Ese rango (45–55) es tu Intervalo de Confianza.
En el Artículo: Los autores muestran que incluso con un número pequeño de "ejecuciones de cocina" (10–25), podemos calcular estas redes de seguridad. Descubrieron que, aunque los intervalos se vuelven más amplios (menos precisos) si miras las colas extremas (los casos muy peores o muy mejores), siguen siendo útiles para el terreno medio.

3. El Desafío de la "Muestra Pequeña"
El artículo reconoce una gran restricción: Ejecutar un modelo de aprendizaje automático 1,000 veces es costoso y lento. La mayoría de la gente solo puede permitirse ejecutarlo de 10 a 25 veces.

El Hallazgo: Los autores realizaron simulaciones masivas (cocinando la sopa 1,000 veces en una simulación por computadora) para ver cómo se veía la distribución "real". Luego, tomaron pequeños recortes de 10, 15 o 25 ejecuciones e intentaron adivinar el panorama completo.
El Resultado: Incluso con solo 15 o 20 ejecuciones, puedes obtener una idea sorprendentemente buena de la estabilidad del modelo. Puedes decir si un modelo es "consistente" (todas las puntuaciones están cerca entre sí) o "inestable" (las puntuaciones saltan salvajemente).

Por Qué Esto Importa (Según el Artículo)
El artículo argumenta que observar la dispersión de los resultados es mejor que observar un único promedio.

Dos Modelos, Mismo Promedio: Imagina que el Modelo A y el Modelo B tienen ambos una precisión promedio del 87%.
- Modelo A es consistente: Siempre puntúa entre 86% y 88%.
- Modelo B es salvaje: A veces puntúa 95%, pero otras veces cae en picada a 70%.
La Vieja Forma: Diría: "Son lo mismo".
La Nueva Forma: Diría: "El Modelo A es más seguro. El Modelo B es riesgoso debido a su amplia dispersión".

Resumen
Este artículo es una guía para pasar de "¿Cuál es la puntuación?" a "¿Qué tan fiable es la puntuación?". Nos enseña a tratar los resultados del aprendizaje automático no como números fijos, sino como una nube de posibilidades. Al utilizar herramientas estadísticas para mapear esta nube (incluso con datos limitados), podemos tomar decisiones más inteligentes y seguras sobre qué modelos confiar, especialmente en situaciones donde el fracaso no es una opción.

Los autores proporcionan métodos prácticos para hacer esto sin necesidad de suposiciones matemáticas complejas, convirtiéndolo en una herramienta que ingenieros y científicos pueden utilizar ahora mismo.

Resumen Técnico: Más allá de las estimaciones puntuales: Incertidumbre distribucional en la evaluación del rendimiento del aprendizaje automático

Declaración del Problema

Los modelos de aprendizaje automático (AA) se evalúan tradicionalmente utilizando estimaciones puntuales de métricas de rendimiento (por ejemplo, precisión, puntuación F1, RMSE). Este enfoque trata el rendimiento como un valor fijo, sin capturar la variabilidad inherente inducida por elementos estocásticos del proceso de entrenamiento, como la división de datos, la inicialización de pesos y la optimización de hiperparámetros. Aunque estos factores suelen reconocerse como "factores de confusión", generalmente se analizan de manera no sistemática, con un enfoque principal en lograr un único valor óptimo de métrica.

El artículo argumenta que el entrenamiento de AA debe considerarse como un experimento científico donde la Métrica Objetivo de Interés (TMoI) es una variable aleatoria condicional a estos factores de confusión. Sin embargo, las restricciones prácticas a menudo limitan el número de ejecuciones de entrenamiento repetidas (tamaño de muestra $n$ ) a rangos pequeños o medios (por ejemplo, $n \approx 10\text{--}25$ ) debido a los costos computacionales. En consecuencia, existe una brecha en la comprensión de cómo realizar inferencia estadística significativa sobre la distribución subyacente del rendimiento dados estos tamaños de muestra limitados, particularmente para cuantiles de cola que son críticos para aplicaciones orientadas al riesgo (por ejemplo, medicina, banca).

Metodología

El trabajo propone una perspectiva distribucional donde las métricas de rendimiento se tratan como cantidades aleatorias. La metodología se centra en estimar cuantiles y sus correspondientes Intervalos de Confianza (IC) utilizando estadística frecuentista.

Marco Estadístico

El estudio asume una muestra independiente e idénticamente distribuida (i.i.d.) de valores de TMoI derivados de ejecuciones de entrenamiento controladas por semillas. Evalúa dos tareas estadísticas principales:

Estimación Puntual de Cuantiles: El artículo compara dos estimadores:
- Cuantil Muestral ( $\hat{Q}$ ): Basado en estadísticos de orden (función escalón).
- Cuantil Interpolado Linealmente ( $\hat{Q}_L$ ): Un estimador más suave que utiliza interpolación lineal de estadísticos de orden.
Estimación por Intervalos (Intervalos de Confianza): Se investigan tres enfoques no paramétricos para construir IC para cuantiles, junto con el intervalo $t$ $t$ estándar para la media como línea base:
- IC No Paramétricos Exactos: Basados en estadísticos de orden y la distribución binomial. Estos son libres de distribución pero requieren tamaños de muestra mínimos específicos para existir para un nivel de confianza dado.
- IC No Paramétricos Asintóticos: Basados en la normalidad asintótica de los cuantiles muestrales. Estos también tienen requisitos de tamaño de muestra mínimo, particularmente para cuantiles extremos.
- IC de Bootstrap Semiparamétricos: Utiliza un estimador de cuantil semiparamétrico (Hut02) que extrapola hacia las colas utilizando una función de cuantil. Este enfoque evita suposiciones paramétricas estrictas mientras aborda la inestabilidad del bootstrap estándar para cuantiles cercanos a las colas.

Diseño Experimental

La metodología se valida a través de dos vías principales:

Casos de Uso con Datos Reales: Se analizaron tres tareas de AA:
- Personajes de Los Simpson: Clasificación de imágenes (20 clases).
- CIFAR10: Clasificación de imágenes (10 clases).
- Superconductores: Regresión (predicción de temperatura crítica).
  Para cada uno, se realizaron aproximadamente 500–1,000 repeticiones controladas por semillas para generar distribuciones empíricas de "verdad fundamental". De estas, se extrajeron submuestras más pequeñas ( $n=10, 15, 25, 50$ ) para simular restricciones realistas y probar el rendimiento de los estimadores.
Estudios de Simulación: Se realizaron simulaciones controladas utilizando distribuciones con soporte acotado (relevante para métricas como la precisión) y formas variables (Beta sesgada a la izquierda, normal y mezcla normal) para validar la robustez de los métodos bajo condiciones teóricas conocidas.

Resultados Clave

Estimación Puntual

Sesgo y RMSE: Tanto el cuantil muestral como los estimadores interpolados linealmente exhiben un sesgo relativo bajo (máximo $\approx 1\%$ ) y un Error Cuadrático Medio (RMSE) comparable.
Forma de la Distribución: La estimación es más confiable para cuantiles centrales (alrededor de 0.5) y se vuelve más desafiante para cuantiles de cola (por ejemplo, 0.05, 0.95).
Elección del Estimador: No hay una diferencia práctica sustancial entre el cuantil muestral y el estimador interpolado linealmente para los tamaños de muestra y distribuciones probados.

Estimación por Intervalos

Cobertura y Tamaño de Muestra:
- Para tamaños de muestra hasta $n=25$ , se recomienda un nivel de confianza de 0.90. Niveles de confianza más altos (por ejemplo, 0.95 o 0.99) resultan en intervalos excesivamente largos que reducen la precisión, particularmente para $n$ pequeño.
- IC Exactos y Asintóticos: Estos métodos funcionan bien cuando se cumplen los requisitos de tamaño de muestra. Sin embargo, a menudo fallan en producir intervalos válidos para cuantiles extremos con $n$ pequeño (por ejemplo, $n=10$ ).
- IC de Bootstrap: El bootstrap semiparamétrico proporciona una alternativa práctica cuando otros métodos son inválidos debido a restricciones de tamaño de muestra. Aunque pueden exhibir una cobertura empírica ligeramente menor (descendiendo a $\approx 0.85$ para $n=10$ ) e intervalos más largos, siguen siendo aplicables donde los métodos exactos/asintóticos no pueden calcularse.
Asimetría: La incertidumbre de estimación es asimétrica; los cuantiles inferiores generalmente requieren tamaños de muestra más grandes que los cuantiles superiores para el mismo nivel de confianza. Esto puede mitigarse transformando la métrica (por ejemplo, usando $-X$ para la precisión) para desplazar el cuantil de interés a la cola superior.
Comparación con la Media: El intervalo $t$ para la media produce consistentemente intervalos más cortos con alta estabilidad. Sin embargo, el artículo señala que, aunque la media es estable, falla en capturar el comportamiento de cola y el riesgo. Los IC de cuantiles propuestos, aunque más amplios, proporcionan información necesaria sobre la variabilidad y los escenarios del peor caso.
Impacto Distribucional: La asimetría y la multimodalidad en la distribución subyacente afectan significativamente la longitud del intervalo. Por ejemplo, en distribuciones sesgadas, los cuantiles en la cola larga exhiben mayor incertidumbre e IC más largos.

Significado y Afirmaciones

El artículo afirma cerrar la brecha entre la teoría estadística y la práctica del AA al proporcionar un marco para la evaluación distribucional que es viable bajo restricciones computacionales realistas.

Interpretación Orientada al Riesgo: La contribución principal es permitir una visión orientada al riesgo del rendimiento del modelo. En lugar de depender de promedios, los practicantes pueden hacer afirmaciones probabilísticas (por ejemplo, "la precisión cae por debajo del 90% en, como máximo, el 10% de los casos") respaldadas por intervalos de confianza.
Viabilidad con Muestras Pequeñas: El estudio demuestra que la inferencia estadística significativa es posible incluso con tamaños de muestra pequeños ( $n \approx 10\text{--}25$ ), que son comunes en AA debido al alto costo del entrenamiento repetido.
Aplicabilidad Práctica: Los métodos propuestos (particularmente el IC asintótico no paramétrico y el bootstrap semiparamétrico) son libres de distribución, fáciles de implementar y aplicables tanto a métricas de clasificación como de regresión.
Comparación Diferenciada de Modelos: El enfoque permite una comparación más matizada de modelos. Dos modelos pueden tener un rendimiento medio similar, pero sus intervalos de confianza pueden revelar diferencias en estabilidad y variabilidad que las estimaciones puntuales pasan por alto.

Los autores concluyen que, aunque las estimaciones puntuales estándar son insuficientes para aplicaciones de alto riesgo, la evaluación distribucional propuesta proporciona una extensión práctica a los flujos de trabajo estándar de AA, ofreciendo una caracterización más detallada de la incertidumbre sin requerir suposiciones paramétricas.