🤖 machine learning

Universal distribution of the empirical coverage in split conformal prediction

Este artículo establece las distribuciones exactas y universales de la cobertura empírica para la predicción conformal dividida en modo por lotes, demostrando que estas distribuciones dependen únicamente del nivel de error de cobertura nominal y del tamaño de la muestra de calibración para proporcionar un criterio para determinar la cantidad mínima de datos de calibración requeridos.

Autores originales: Paulo C. Marques F

Publicado 2026-08-18

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Paulo C. Marques F

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la previsión moderna, desde predecir el clima de mañana hasta estimar el precio de una casa, el resultado más común es un único número. Un modelo observa los datos y dice: "La temperatura será de 72 grados" o "La casa vale 450.000 dólares". Si bien estas predicciones puntuales son útiles, a menudo ocultan una pieza de información crucial: qué tan seguro está el modelo. Si un modelo está adivinando de forma errática, un solo número ofrece una falsa sensación de precisión. Para solucionar esto, los estadísticos han desarrollado un marco llamado predicción conforme. En lugar de ofrecer solo una respuesta, este método produce un rango de posibilidades, o un conjunto de resultados probables, que viene con una garantía estadística. Promete que la respuesta verdadera caerá dentro de este conjunto un cierto porcentaje de las veces, por ejemplo, el 95 por ciento. Este enfoque es poderoso porque funciona con casi cualquier herramienta de predicción existente, no requiere suposiciones específicas sobre cómo se distribuyen los datos y proporciona estas garantías incluso cuando la cantidad de datos es limitada.

Sin embargo, una pregunta práctica permanece para cualquiera que intente usar estas herramientas: ¿cuántos datos se necesitan para que la garantía se cumpla? En una configuración típica, un conjunto de datos se divide en dos partes. Una parte entrena al modelo y la otra parte, conocida como muestra de calibración, se utiliza para ajustar el tamaño del conjunto de predicción. Si la muestra de calibración es demasiado pequeña, los conjuntos de predicción resultantes podrían ser demasiado estrechos para contener realmente los valores reales, rompiendo la promesa de la garantía. Si es demasiado grande, los conjuntos de predicción se vuelven innecesariamente amplios, lo que los hace menos útiles. Durante años, los profesionales han tenido que adivinar el tamaño adecuado para esta muestra de calibración, recurriendo a menudo a reglas empíricas aproximadas o estimaciones conservadoras que podrían desperdiciar valiosos datos.

Un estudio reciente de Paulo C. Marques F., en el Instituto de Educación e Investigación Insper en Brasil, ha resuelto este problema al encontrar el comportamiento matemático exacto de estos conjuntos de predicción. El investigador se centró en una versión específica del método llamada predicción conforme dividida (split conformal prediction), que opera en lotes. Imagine un escenario en el que un modelo ya ha sido entrenado y calibrado, y ahora se le pide que prediga los resultados de un gran grupo de eventos futuros todos a la vez. El estudio plantea una pregunta simple pero profunda: si observamos un lote de predicciones futuras, ¿cuál es la distribución real de cuántas de ellas resultan ser correctas?

El artículo establece que la respuesta es universal. No depende del tipo específico de datos, la complejidad del modelo o los patrones subyacentes en el mundo. En cambio, el comportamiento de los conjuntos de predicción está determinado enteramente por dos números: el nivel de confianza deseado (el nivel de falta de cobertura nominal) y el tamaño de la muestra de calibración utilizada para ajustar el sistema. El investigador demostró que, para un lote finito de observaciones futuras, el número de predicciones correctas sigue un patrón estadístico preciso conocido como distribución Beta-Binomial. Además, a medida que el lote de observaciones futuras crece infinitamente, la proporción de predicciones correctas se estabilza en un patrón específico conocido como distribución Beta. Estos hallazgos no son meras sugerencias o resultados de simulaciones por computadora; son pruebas matemáticas rigurosas derivadas de la suposición de que los puntos de datos son intercambiables, lo que significa que su orden no importa y provienen de la misma fuente subyacente.

El resultado más significativo de este trabajo es un nuevo y preciso criterio para elegir el tamaño de la muestra de calibración. Debido a que el investigador ahora conoce la distribución exacta de la cobertura, es posible calcular la cantidad mínima de datos de calibración requeridos para asegurar que los conjuntos de predicción sean precisos dentro de un margen de error específico, con un alto grado de certeza. Por ejemplo, si un usuario desea estar un 95 por ciento seguro de que sus conjuntos de predicción son correctos dentro de un margen de error del 5 por ciento, el artículo proporciona una forma directa de encontrar el número exacto de muestras de calibración necesarias. El estudio presenta una tabla exhaustiva que enumera estos tamaños de muestra mínimos para diversas combinaciones de niveles de confianza, márgenes de error y requisitos de certeza.

Esta tabla revela que el tamaño de muestra requerido puede variar drásticamente según qué tan estrictos sean los requisitos. Para un nivel de confianza estándar del 90 por ciento con un margen de error generoso del 10 por ciento, una muestra de calibración relativamente pequeña de alrededor de 40 a 50 observaciones podría ser suficiente. Sin embargo, si el usuario exige un nivel de confianza del 99 por ciento con un margen de error muy ajustado del 1 por ciento, el tamaño de muestra requerido salta a más de 40.000 observaciones. El estudio aclara que estos números no son arbitrarios; son los mínimos matemáticos derivados de la distribución exacta de la cobertura empírica. Esto permite a los profesionales dejar de adivinar y empezar a calcular, asegurando que utilicen la cantidad justa de datos para cumplir con sus objetivos de fiabilidad sin desperdiciar recursos en una calibración excesiva.

El artículo también aborda una distincción sutil pero importante en cómo se comportan estas predicciones. Si bien el rendimiento promedio de los conjuntos de predicción es bien conocido por estar cerca del nivel de confianza objetivo, el rendimiento real en cualquier lote individual puede variar. El estudio muestra que esta variación no es ruido aleatorio, sino que sigue una forma predecible. Al comprender esta forma, los usuarios pueden apreciar que, incluso con un modelo perfecto y una muestra de calibración correctamente dimensionada, existe una fluctuación natural en cuántas predicciones futuras serán correctas. La investigación confirma que esta fluctuación es inherente al método y está totalmente caracterizada por el tamaño de la muestra de calibración y el nivel de confianza elegido.

En el contexto de las aplicaciones de aprendizaje automático, este trabajo proporciona una herramienta fundamental para la fiabilidad. Transforma la elección del tamaño de la muestra de calibración de un arte en una ciencia. El investigador demuestra que las propiedades de la predicción conforme dividida son robustas y universales, manteniéndose independientemente del algoritmo específico utilizado para generar las predicciones. Ya sea que la tarea sea predecir un valor continuo como el precio de una acción o una etiqueta categórica como un diagnóstico de enfermedad, las reglas para determinar la cantidad necesaria de datos de calibración siguen siendo las mismas. El estudio no pretende mejorar la precisión de los modelos subyacentes en sí mismos, sino que asegura que los intervalos de confianza construidos alrededor de esos modelos sean matemáticamente sólidos y de tamaño óptimo.

Los hallazgos son particularmente relevantes para campos donde los datos son costosos o escasos, ya que permiten a los usuarios determinar el límite inferior preciso de datos necesarios para lograr un nivel deseado de confianza. Por el contrario, en escenarios donde los datos son abundantes, el estudio advierte contra la ineficiencia de utilizar conjuntos de calibración innecesariamente grandes, lo que puede conducir a intervalos de predicción excesivamente conservadores y poco informativos. Al proporcionar una fórmula clara y universal para la distribución de la cobertura empírica, el artículo equipa a investigadores y profesionales con la capacidad de diseñar sus sistemas de predicción con un nivel de precisión que antes no estaba disponible. El resultado es un marco más eficiente y fiable para cuantificar la incertidumbre en la era de la inteligencia artificial.

Resumen Técnico: Distribución Universal de la Cobertura Empírica en la Predicción Conforme Dividida (Split Conformal Prediction)

Planteamiento del Problema
La predicción conforme dividida es una técnica ampliamente adoptada para generar conjuntos de predicción con garantías estadísticas, equilibrando el rendimiento predictivo y la eficiencia computacional. Si bien la validez marginal de estos conjuntos está bien establecida (asegurando que la etiqueta verdadera se encuentre dentro del conjunto de predicción con una probabilidad de al menos $1-\alpha$ ), el comportamiento de la cobertura empírica sobre un lote finito de observables futuros permanece menos caracterizado. Específicamente, existe la necesidad de comprender la distribución exacta de la cobertura empírica cuando se aplica a un lote de datos futuros, así como la distribución de su límite cuando el tamaño del lote tiende al infinito. Esta comprensión es crítica para determinar el tamaño mínimo de la muestra de calibración requerido en aplicaciones prácticas para asegurar que la cobertura empírica permanezca dentro de una tolerancia deseada del nivel nominal.

Metodología
El artículo opera dentro de un marco de aprendizaje supervisado asumiendo una secuencia de pares aleatorios $(X, Y)$ que son intercambiables. Los datos se particionan en una muestra de entrenamiento, una muestra de calibración de tamaño $n$ y una secuencia de observables futuros. La metodología se basa en los siguientes componentes principales:

Intercambiabilidad y Puntuaciones de Conformidad: El autor utiliza el supuesto de intercambiabilidad de los datos. Definen una función de conformidad $\rho$ y las asociadas puntuaciones de conformidad $S_i$ . Un lema clave establece que, bajo el supuesto de intercambiabilidad, la secuencia de puntuaciones de conformidad es, por sí misma, intercambiable.
Conjuntos de Predicción: Para un nivel de falta de cobertura nominal especificado $\alpha$ , los conjuntos de predicción conforme se construyen utilizando el estadístico de orden $\lceil(1-\alpha)(n+1)\rceil$ de las puntuaciones de conformidad de la calibración.
Indicadores de Cobertura: El artículo define indicadores de cobertura binaria $Z_i$ para los observables futuros, donde $Z_i=1$ si la respuesta verdadera está contenida en el conjunto de predicción.
Derivación Estadística:
- Lote Finito: Aprovechando la intercambiabilidad de los indicadores de cobertura (derivada de la intercambiabilidad de las puntuaciones de conformidad) y herramientas combinatorias estándar, el autor deriva la distribución exacta de la suma de estos indicadores para un lote de tamaño $m$ .
- Límite de Lote Infinito: El artículo aplica el teorema de representación de de Finetti a la secuencia de indicadores de cobertura intercambiables para determinar la distribución del límite casi seguro de la cobertura empírica cuando el tamaño del lote $m \to \infty$ .

Contribuciones Clave y Resultados

Distribución Exacta para Lotes Finitos (Teorema la 1):
El artículo deriva la distribución exacta de la cobertura empírica $C_m^{(n,\alpha)}$ para un lote finito de $m$ observables futuros. El resultado muestra que $m \times C_m^{(n,\alpha)}$ sigue una distribución Beta-Binomial con parámetros determinados por el nivel de falta de cobertura nominal $\alpha$ y el tamaño de la muestra de calibración $n$ . Específicamente, los parámetros son $\lceil(1-\alpha)(n+1)\rceil$ y $\lfloor\alpha(n+1)\rfloor$ . Esta distribución es "universal", lo que significa que depende únicamente de $n$ y $\alpha$ , no de la distribución subyacente de los datos ni del modelo predictivo específico utilizado.
Distribución del Límite Casi Seguro (Teorema 2):
A medida que el tamaño del lote futuro $m$ tiende a infinito, la cobertura empírica $C_m^{(n,\alpha)}$ converge casi seguramente a una variable aleatoria $C_\infty^{(n,\alpha)}$ . El artículo demuestra que esta variable aleatoria límite sigue una distribución Beta con los mismos parámetros que el caso finito: $\text{Beta}(\lceil(1-\alpha)(n+1)\rceil, \lfloor\alpha(n+1)\rfloor)$ .
Criterio Universal para el Tamaño de la Muestra de Calibración:
Basándose en la distribución límite, el autor establece un criterio para seleccionar el tamaño mínimo de la muestra de calibración $n$ . Dado un nivel nominal $\alpha$ , una tolerancia $\epsilon$ y un umbral de probabilidad $\tau$ , se puede calcular el $n$ más pequeño tal que la probabilidad de que la cobertura empírica se desvíe de $1-\alpha$ por más de $\epsilon$ sea a lo sumo $1-\tau$ .

Significancia y Aplicación Práctica
El artículo enfatiza que estos resultados son eminentemente prácticos. Las distribuciones derivadas permiten a los profesionales ir más allá de los límites conservadores de la validez marginal para lograr un control más preciso de la cobertura empírica.

Tablas Universales: El autor proporciona "Tablas universales de tolerancia de cobertura" (Tabla 1) que enumeran el tamaño mínimo de muestra de calibración requerido para diversas combinaciones de $\alpha$ , $\epsilon$ y $\tau$ .
Comparación con Trabajos Previos: El artículo señala que, si bien la necesidad de comprender la distribución de la cobertura empírica fue discutida previamente (por ejemplo, en [8]), los valores derivados en este trabajo son ligeramente menores que los de la literatura previa, ofreciendo un criterio más eficiente para la selección del tamaño de la muestra.
Reproducibilidad: El autor proporciona código en R en un repositorio para reproducir los valores de las tablas y simular los resultados de los Teoremas 1 y 2, facilitando la aplicación de estos hallazgos teóricos en escenarios del mundo real.

En resumen, el artículo proporciona una caracterización rigurosa y libre de distribución de la cobertura empírica en la predicción conforme dividida, transformando la selección de los tamaños de muestra de calibración de un proceso heurístico a uno fundamentado en límites probabilísticos exactos.

Más como este