📊 statistics

Online Selective Conformal Prediction with Asymmetric Rules: A Permutation Test Approach

Este artículo propone PEMI, un marco de inferencia conformal basado en permutaciones que garantiza una cobertura exacta para la predicción selectiva en entornos online, permitiendo el uso de cualquier regla de selección asimétrica mediante la identificación de permutaciones que preservan el evento de selección.

Autores originales: Mingyi Zheng, Ying Jin

Publicado 2026-02-11

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Mingyi Zheng, Ying Jin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Problema: El "Efecto Selección" (O por qué los expertos se equivocan)

Imagina que eres un reclutador de talentos. No entrevistas a todo el mundo; solo llamas a los candidatos que tienen un currículum brillante. Si luego analizas el éxito de tus empleados y dices: "En promedio, mis empleados son geniales", estás cometiendo un error de lógica. No estás diciendo que toda la población es genial, sino que tus criterios de selección filtraron solo a los mejores.

En la Inteligencia Artificial (IA) pasa lo mismo. Muchas veces, un modelo de IA no nos da una respuesta para todo, sino que solo "se atreve" a responder cuando está muy seguro o cuando el caso le parece interesante (esto se llama selección basada en datos).

El problema es que, si la IA solo responde cuando "cree" que sabe algo, sus medidas de incertidumbre (qué tan segura está) dejan de ser honestas. Es como si un estudiante solo respondiera las preguntas que ya sabe: su nota será un 10, pero eso no significa que sepa todo el temario. La IA se vuelve "demasiado confiada" porque solo habla cuando le conviene.

La Solución: PEMI (El "Simulador de Mundos Paralelos")

Los autores proponen un método llamado PEMI. Para entenderlo, imagina que la IA es un juez en un concurso de cocina. El juez solo decide comentar los platos que le parecen excepcionales.

Si queremos saber si el juez es realmente objetivo, no podemos simplemente mirar sus comentarios. Tenemos que hacer un experimento mental:

El Mundo Real: El juez vio un plato de pasta increíble y decidió comentarlo.
El Simulador de Mundos Paralelos (PEMI): Empezamos a mezclar los ingredientes de todos los platos que pasaron por la cocina (los datos) en diferentes órdenes y combinaciones. Creamos miles de "mundos paralelos" donde los platos son distintos.
La Regla de Oro: Solo nos fijamos en aquellos mundos paralelos donde el juez habría tomado la misma decisión (es decir, mundos donde también hubiera decidido comentar un plato).
La Calibración: Dentro de ese grupo de "mundos donde el juez comenta", miramos qué tan comunes son los resultados. Así, podemos decir con total honestidad: "En los casos donde el juez decide hablar, su margen de error es de este tamaño".

¿Por qué es especial este método?

Antes de este estudio, los científicos tenían un problema: sus métodos solo funcionaban si el orden de los datos no importaba. Pero en la vida real, el orden sí importa.

Imagina que estás aprendiendo a jugar al póker. Lo que aprendes en la primera mano influye en cómo juegas la décima. Los métodos antiguos se rompían cuando la IA tomaba decisiones basadas en lo que había pasado antes (como un médico que decide hacer una prueba solo porque los resultados anteriores fueron sospechosos).

PEMI es como un detective todoterreno: no le importa si la decisión de la IA depende del pasado, de las características del objeto o de una serie de eventos complicados. PEMI puede "reordenar el universo" de tal manera que la lógica de la IA se mantenga intacta, permitiéndonos medir su error de forma exacta.

¿Para qué sirve esto en la vida real? (El ejemplo de la medicina)

El artículo prueba este método con datos reales de descubrimiento de fármacos.

Imagina que una IA está analizando miles de compuestos químicos para ver si pueden curar una enfermedad. El científico no quiere que la IA analice todo (sería carísimo), así que le dice: "Solo analízame los compuestos que parezcan tener una alta probabilidad de éxito".

Gracias a PEMI, cuando la IA dice: "Este compuesto tiene un 90% de probabilidad de funcionar", el científico puede confiar plenamente en ese número, sabiendo que la IA no está siendo "presumida", sino que su nivel de confianza ha sido ajustado matemáticamente para compensar el hecho de que solo está eligiendo los mejores candidatos.

En resumen: PEMI es una herramienta matemática que le devuelve la humildad a la Inteligencia Artificial, permitiéndole decir "no estoy seguro" de manera honesta, incluso cuando solo decide hablar de las cosas que le parecen importantes.

Resumen Técnico: Predicción Conforme Selectiva en Línea con Reglas Asimétricas: Un Enfoque de Prueba de Permutaciones

1. El Problema: La Ruptura de la Simetría en la Selección Online

La predicción conforme (CP) es un marco para cuantificar la incertidertid de modelos de "caja negra" garantizando que el conjunto de predicción cubra el valor real con una probabilidad predefinida ( $1-\alpha$ ). Sin embargo, en muchos escenarios prácticos, solo nos interesa realizar predicciones para un subconjunto de datos que han sido "seleccionados" por un mecanismo basado en datos (por ejemplo, un científico solo analiza fármacos con alta actividad predicha).

El problema central que aborda este artículo es la predicción conforme selectiva en línea. En un entorno online, los datos llegan secuencialmente y las decisiones de selección en el tiempo $t$ dependen de los datos observados anteriormente. Esto introduce una asimetría inherente: el orden de los datos importa. Los métodos de CP tradicionales y los métodos de selección offline existentes asumen que el mecanismo de selección es invariante a las permutaciones (simétrico), lo cual no ocurre en el flujo de datos en línea. Esta asimetría rompe la validez de la cobertura garantizada, ya que la selección sesga la distribución de los datos seleccionados.

2. Metodología: PEMI (PErmutation-based Mondrian Conformal Inference)

Los autores proponen un nuevo marco general denominado PEMI. La idea fundamental es realizar la inferencia selectiva no sobre puntos de datos individuales, sino sobre el conjunto de todas las permutaciones posibles de los datos observados.

El proceso de PEMI se resume en los siguientes pasos:

Identificación del Conjunto de Referencia: Para un nuevo punto de prueba con un valor hipotético $y$ , el método identifica todas las permutaciones de los datos observados que habrían resultado en la misma decisión de selección que la observada en la realidad. Este subconjunto de permutaciones se denomina "conjunto de referencia".
Calibración mediante Prueba de Permutaciones: En lugar de comparar el puntaje de conformidad del nuevo punto con todos los puntos de calibración, se compara únicamente con los puntajes de conformidad generados por las permutaciones que preservan el evento de selección.
Construcción del Conjunto de Predicción: Un valor $y$ se incluye en el conjunto de predicción si su p-valor de permutación (calculado sobre el conjunto de referencia) es mayor que el nivel de significancia $\alpha$ .

El marco es extremadamente flexible, ya que permite utilizar tanto el conjunto completo de permutaciones como una muestra de Monte Carlo para reducir la carga computacional, manteniendo la validez de la cobertura en muestras finitas.

3. Contribuciones Clave

Generalidad: A diferencia de trabajos previos (como EXPRESS o CAP) que solo funcionan con reglas de selección "impulsadas por decisiones" (decision-driven), PEMI funciona con cualquier regla de selección asimétrica, incluyendo reglas basadas en covariables, valores p/e conformes y resultados previos.
Extensiones Teóricas: El marco se extiende para:
- Incorporar datos offline (etiquetados previamente).
- Manejar múltiples muestras de prueba simultáneamente.
- Controlar la Tasa de Cobertura Falsa (FCR) mediante taxonomías de selección refinadas.
Eficiencia Computacional: El artículo desarrolla algoritmos eficientes para casos comunes, evitando la necesidad de iterar sobre todos los valores posibles de $y$ en problemas de regresión, mediante el uso de cuantiles y particiones de intervalos.

4. Resultados y Validación

Los autores validan su método mediante simulaciones y un conjunto de datos real de descubrimiento de fármacos (DTI):

Cobertura Exacta: En el dataset de fármacos, PEMI logra una cobertura selectiva-condicional válida ( $1-\alpha$ ) de manera consistente, mientras que la CP estándar falla (sub-cobertura) y otros métodos como EXPRESS resultan excesivamente conservadores (conjuntos de predicción demasiado grandes o infinitos).
Eficiencia de los Conjuntos: PEMI produce conjuntos de predicción con tamaños razonables y evita la "vacuidad" (conjuntos de tamaño infinito) que sufren otros métodos cuando la regla de selección es muy estricta.
Robustez: Las simulaciones demuestran que el método es robusto ante la mala especificación del modelo, diferentes niveles de ruido y diversas funciones de puntaje de conformidad (como CQR).

5. Significado e Impacto

La importancia de este trabajo radica en su capacidad para proporcionar garantías de incertidumbre rigurosas en procesos de toma de decisiones en tiempo real. En campos críticos como la medicina, la detección de anomalías o la optimización de recursos, donde la selección de qué investigar es parte del proceso, PEMI permite a los profesionales confiar en que las predicciones (y su rango de error) son estadísticamente válidas, incluso cuando el proceso de selección es complejo y dependiente del tiempo.