📊 statistics

Replicable Conformal Prediction

Este artículo presenta un método para lograr la predicción conforme replicable mediante el uso de una semilla aleatoria compartida y el redondeo de los umbrales a una cuadrícula gruesa, lo que garantiza conjuntos de predicción idénticos entre analistas independientes mientras mantiene garantías de cobertura válidas a un costo cuantificable en el tamaño del conjunto y en los requisitos de datos.

Autores originales: Marios Papamichalis, Regina Ruane, Theofanis Papamichalis

Publicado 2026-08-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Marios Papamichalis, Regina Ruane, Theofanis Papamichalis

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial moderna, los modelos suelen tratarse como productos terminados, como la lente de una cámara o un escáner médico, listos para ser utilizados por cualquiera que los necesite. Pero antes de que un modelo pueda ser confiado para tomar decisiones en el mundo real, debe ser calibrado. Este proceso es como sintonizar una radio para encontrar la frecuencia exacta donde la señal es clara y la estática desaparece. En el campo específico de la predicción conforme, este ajuste determina cuánta incertidumbre admite un modelo. En lugar de dar una única respuesta, el modelo proporciona un conjunto de posibles respuestas, prometiendo que la respuesta verdadera está dentro de ese conjunto la mayor parte del tiempo. Esto es crucial en campos de alto riesgo como la medicina o el derecho, donde conocer los límites de una predicción es tan importante como la predicción misma. Sin embargo, surge un problema extraño cuando dos equipos diferentes intentan ajustar el mismo modelo utilizando sus propios datos separados. Incluso si siguen exactamente las mismas reglas, terminan con configuraciones ligeramente diferentes, lo que conduce a conjuntos de respuestas distintos. Esta inconsistencia no es solo una molestia menor; crea un vacío legal donde un actor malintencionado podría probar repetidamente diferentes configuraciones hasta encontrar una que parezca buena en el papel pero que falle en la realidad, todo esto mientras parece seguir las reglas.

Los investigadores Marios Papamichalis, Regina Ruane y Theofanis Papamichalis se propusieron resolver este problema de inconsistencia. Se plantearon una pregunta simple pero profunda: ¿Pueden dos equipos independientes, trabajando con sus propios datos, producir exactamente el mismo conjunto de respuestas cada vez? Descubrieron que si los equipos intentan ser perfectamente precisos, no pueden tener éxito sin ignorar sus datos por completo, lo que haría que el sistema fuera inútil. Las matemáticas demuestran que el acuerdo exacto es imposible cuando los datos son continuos y los equipos son independientes. Sin embargo, el equipo encontró una manera de acercarse mucho. Desarrollaron un método llamado RECAL, que implica un truco ingenioso de redondear los ajustes de sintonización al punto más cercano en una cuadrícula compartida e invisible. Al acordar esta cuadrícula y un punto de partida de antemano, los equipos pueden asegurar que sus configuraciones finales caigan en el mismo lugar con una probabilidad muy alta.

Los investigadores probaron esta idea con datos del mundo real, incluyendo imágenes de una base de datos masiva de fotografías y texto generado por varios modelos de lenguaje extensos diferentes. Encontraron que, sin su método, dos equipos honestos casi nunca producirían el mismo resultado; sus respuestas diferirían en casi la mitad de los casos. Con el nuevo método, pudieron obligar a los equipos a acordar exactamente el mismo clasificador en más del 90 por ciento de los casos, e incluso el 100 por ciento de las veces cuando buscaban un acuerdo más estricto. Este acuerdo tiene un pequeño precio: los conjuntos de respuestas se vuelven ligeramente más grandes para asegurar que la respuesta verdadera sea capturada. Pero los investigadores demostraron que este costo es inevitable para cualquier sistema que exija tales niveles de consistencia. El tamaño de la penalización depende de la cantidad de datos disponibles; con más datos, la penalización se reduce, pero nunca desaparece por completo.

Quizás el hallazgo más crítico es cómo este método protege contra la manipulación. Los investigadores demostraron que si un adversario intenta ejecutar el proceso de calibración veinte veces y elige la versión que parezca más favorable, el método estándar falla por completo, produciendo respuestas que son peligrosamente poco fiables. El nuevo método, sin embargo, actúa como un escudo. Debido a que los ajustes están bloqueados a la cuadrícula compartida, el adversario no puede encontrar una versión "mejor"; se ve obligado a elegir de una lista muy pequeña de opciones idénticas o casi idénticas. Esto significa que el sistema permanece honesto y fiable incluso cuando alguien intenta activamente engañarlo. El equipo verificó estos resultados a través de diferentes tipos de datos, desde registros hospitalarios hasta modelos de lenguaje, mostrando que la teoría se sostiene en la práctica. También demostraron que, sin un punto de partida compartido, lo mejor que alguien puede hacer es reducir las posibilidades a solo dos opciones adyacentes, lo cual sigue siendo una mejora significativa respecto al caos total del estándar actual.

Este trabajo establece un nuevo estándar para cómo podemos confiar en los sistemas de inteligencia artificial cuando son desplegados por diferentes grupos. Muestra que, si bien el acuerdo perfecto e independiente de los datos es matemáticamente imposible, podemos acercarnos lo suficiente como para que los sistemas sean verificables y seguros. La solución requiere una semilla compartida, una especie de apretón de manos digital que asegure que todos están mirando el mismo mapa, y la voluntad de aceptar un poco de incertidumbre adicional a cambio de una consistencia total. En un mundo donde los modelos de IA se utilizan cada vez más para tomar decisiones críticas, la capacidad de garantizar que dos analistas diferentes lleguen a la misma conclusión no es solo un detalle técnico; es un requisito fundamental para la confianza. Los investigadores han proporcionado las herramientas para hacer que esa garantía sea una realidad, convirtiendo una imposibilidad teórica en un estándar práctico y replicable.

Resumen Técnico: Predicción Conforme Replicable

Planteamiento del Problema
La predicción conforme de división estándar (split conformal prediction) produce clasificadores con valores de conjunto que garantizan la cobertura en muestras finitas. Sin embargo, cuando dos analistas independientes calibran un predictor conforme sobre muestras de retención separadas, casi con seguridad despliegan clasificadores diferentes. Esto ocurre porque el umbral calibrado es un estadístico de orden de puntuaciones distribuidas continuamente; por lo tanto, la probabilidad de que dos calibraciones independientes produzcan el mismo umbral (y, por consiguiente, el mismo clasificador) es cero.

Esta falta de replicabilidad crea problemas significativos para los artefactos de despliegue que requieren hashing, almacenamiento en caché, versionado o auditoría. Además, la inestabilidad es explotable: un adversario puede redibujar su conjunto de calibración múltiples veces y seleccionar el dibujo más favorable, lo que conduce a una subcobertura sistemática que permanece indetectable mediante las comprobaciones de soporte estándar. Aunque existen nociones de "estabilidad de un solo punto", estas no garantizan que el clasificador desplegado sea idéntico entre ejecuciones.

Metodología: RECAL
El artículo propone RECAL (Replicable Calibration), un procedimiento que asegura que dos analistas independientes desplieguen el mismo clasificador con alta probabilidad ( $1-\rho$ ) preservando al mismo tiempo las garantías de cobertura marginal.

Semilla Compartida y Redondeo: RECAL utiliza una semilla aleatoria compartida para generar un desplazamiento aleatorio $u$ para un ancho de rejilla fijo $\beta$ . Los analistas computan el umbral conforme estándar $\hat{\tau}$ y lo redondean hacia arriba al punto de rejilla más cercano definido por $u + \beta\mathbb{Z}$ .
- El redondeo hacia arriba garantiza que la garantía de cobertura marginal ( $\ge 1-\alpha$ ) se preserve incondicionalmente, ya que los conjuntos de predicción solo crecen.
- La rejilla compartida asegura que si los umbrales no redondeados $\hat{\tau}$ y $\hat{\tau}'$ caen dentro de la misma celda de rejilla (o cruzan un límite de una forma específica), los umbrales redondeados $\tau$ y $\tau'$ serán idénticos.
Marco Teórico:
- Imposibilidad de la Replicación Exacta: El artículo demuestra que la replicación exacta (probabilidad 1 de salida idéntica) es imposible para cualquier procedimiento que permanezca uniformemente válido para toda distribución. Además, con una semilla compartida, la replicación exacta obliga a que la salida sea ajena a los datos (data-oblivious), lo que vuelve al clasificador no informativo.
- Supuesto de Margen Local: El análisis se basa en una condición de margen local (Supuesto 1), asumiendo que la distribución de las puntuaciones tiene una densidad acotada lejos de cero e infinito en un vecindario de la cuantía objetivo. Esto permite obtener constantes explícitas en los límites de complejidad de muestra.
- Variante sin Semilla: Sin una semilla compartida, el artículo muestra que la replicación de un único elemento (singleton replication) exacta es imposible por debajo de una probabilidad de fallo de $1/2$ . Sin embargo, una rejilla determinista puede confinar a todos los analistas a una lista común de dos clasificadores adyacentes con alta probabilidad, lo cual es óptimo en entornos sin semilla.
Robustez ante la Selección: El artículo analiza la "recalibración selectiva", donde un adversario selecciona el mejor de $M$ dibujos de calibración. Demuestra que si un procedimiento es $\rho$ -replicable, la probabilidad de que un adversario encuentre un clasificador distinto entre $M$ dibujos está acotada por $\min\{1, (M-1)\rho\}$ . Esto evita la subcobertura sistemática observada en la predicción conforme de división estándar bajo selección.

Contribuciones Clave

Teoría de la Imposibilidad: Los autores establecen que la replicación exacta es incompatible con la validez no trivial y que la aleatoriedad compartida es necesaria para una replicabilidad significativa. Caracterizan la frontera para la replicación sin semilla como una lista de dos elementos de clasificadores adyacentes.
Algoritmo RECAL: Un calibrador conforme de división replicable y concreto. El artículo proporciona constantes de muestra finita explícitas para el tamaño de calibración $n$ necesario para lograr una replicabilidad $\rho$ y un error de cobertura $\epsilon$ : $n = O(\kappa^2 \alpha(1-\alpha) / (\epsilon^2 \rho^2))$ , donde $\kappa$ acota la relación de densidad de puntuación local.
Límites Inferiores: El artículo deriva límites inferiores con constantes explícitas, mostrando que la complejidad de muestra y la inflación en el tamaño del conjunto (cobertura) son inevitables para cualquier calibrador de umbral. El costo en el tamaño del conjunto se muestra como $\Omega(\sqrt{\alpha(1-\alpha)/n}/\rho)$ .
Procedimiento de Inserción (Plug-in): Se introduce un procedimiento piloto para estimar la constante de densidad $\kappa$ a partir de los datos, eliminando la necesidad de un $\hat{\kappa}$ preespecificado asintóticamente.
Validación Empírica: Experimentos en ImageNet (sintético y real), una tarea de dígitos de pocos datos y cuatro familias de modelos de lenguaje de gran tamaño (GPT-2, Pythia, Qwen, Llama) demuestran que RECAL logra los objetivos de replicabilidad predichos. Los experimentos confirslan que la predicción conforme estándar tiene una identidad cercana a cero, mientras que RECAL logra una identidad alta (ej. 0.95–1.00) con un costo cuantificable en el tamaño del conjunto de predicción.

Resultados

Replicabilidad: RECAL logra con éxito la tasa de no-replicación objetivo $\rho$ . Por ejemplo, con $\rho=0.1$ , el método logró tasas de identidad de 0.95 en datos de imágenes sintéticas y de 0.89–0.96 en modelos de lenguaje reales.
Cobertura: La cobertura marginal se preserva ( $\ge 1-\alpha$ ). La cobertura realizada se concentra en los átomos de la rejilla, evitando las fluctuaciones de la distribución Beta de la predicción conforme estándar.
Costo de Tamaño de Conjunto: El método incurre en un costo en el tamaño de los conjuntos de predicción. En modelos de lenguaje reales, el tamaño del conjunto aumentó entre un 55% y un 59% con $\rho=0.1$ . El artículo señala que para modelos con vocabularios de cola pesada (ej. Qwen), este costo puede ser significativamente mayor debido a la geometría del espacio de puntuación, aunque esto es una propiedad del espacio de puntuación y no un fallo del método.
Ataque de Selección: En una prueba de estrés donde un adversario seleccionó el dibujo de menor cobertura entre 20 recalibraciones, la predicción conforme de división estándar presentó una subcobertura significativa (0.892 frente al nominal 0.900). RECAL, sin embargo, mantuvo la cobertura por encima del nivel nominal porque todos los candidatos fueron redondeados hacia arriba, resultando en umbrales válidos.

Significado y Reivindicaciones
El artículo afirma proporcionar el primer marco para la replicabilidad en la predicción conforme, abordando una brecha crítica donde los métodos estándar fallan al no producir artefactos idénticos entre ejecuciones independientes. La importancia radica en:

Auditabilidad y Almacenamiento en Caché: Habilitar el despliegue de predictores conformes verificables, almacenados en caché y versionados, lo cual es esencial para auditorías regulatorias y sistemas de producción.
Robustez ante la Selección: Proporcionar una defensa teórica y práctica contra los "ataques de selección" donde las partes eligen arbitrariamente los conjuntos de calibración para manipular la cobertura.
Caracterización de Intercambios (Trade-offs): Cuantificar explícitamente el costo de la replicabilidad en términos de tamaño de muestra y tamaño del conjunto de predicción, demostrando que estos costos son inevitables y proporcionando las tasas óptimas.

Los autores se muestran modestos respecto a las limitaciones, señalando que los experimentos de imágenes reales utilizaron probabilidades de validación cruzada en lugar de logits brutos de una única red congelada, y que el seguimiento de división de sitio clínico estuvo limitado por tamaños de muestra pequeños ( $n \le 303$ ). También reconocen que, aunque la eliminación asintótica de la constante de densidad $\kappa$ es posible, la eliminación uniforme en muestras finitas sigue siendo un problema abierto.

Más como este