Resumen Técnico: Conformal C2ST

Planteamiento del Problema

El artículo aborda el problema de la prueba de dos muestras (two-sample testing problem), una tarea fundamental en estadística y aprendizaje automático orientada a determinar si dos conjuntos de muestras, extraídos de las distribuciones subyacentes $p$ y $q$, son idénticamente distribuidos ($p=q$). Una aplicación primordial es la evaluación de modelos generativos y modelos de Estimación de Posterior Neuronal (NPE), donde $p$ representa el proceso de generación de datos real (o el posterior verdadero) y $q$ es una aproximación aprendida.

El enfoque estándar, la Prueba de Dos Muestras con Clasificador (C2ST), entrena un clasificador para distinguir entre muestras de $p$ y $q$. Si el clasificador logra una alta precisión, se considera que las distribuciones son diferentes. Sin embargo, el artículo identifica una limitación crítica: la fiabilidad y la potencia de C2ST dependen de la disponibilidad de un clasificador cercano al óptimo de Bayes. En la práctica, los clasificadores suelen ser débiles, sesgados, sobreajustados o están mal calibrados debido a la escasez de datos o a la capacidad limitada del modelo. Esto crea una ambigüedad: si un modelo "pasa" una prueba C2ST, no está claro si las distribuciones son verdaderamente idénticas o si el clasificador simplemente carece de la potencia para detectar la diferencia. Las garantías teóricas existentes para C2ST suelen asumir el acceso a un clasificador óptimo o asintóticamente consistente, una condición que rara vez se cumple en escenarios del mundo real como la NPE.

Metodología

Los autores proponen el Conformal C2ST, un marco que convierte las puntuaciones de cualquier clasificador entrenado —independientemente de su debilidad o sesgo— en valores $p$ exactos de muestra finita. El método se basa en el marco de predicción conformal de Hu & Lei (2024), pero lo adapta para el régimen específico de evaluación de modelos generativos accesibles donde las distribuciones marginales pueden ser iguales.

El mecanismo central implica la calibración conformal en lugar de un umbralización rígida:

1. Puntuación (Scoring): Se entrena un clasificador $f$ para distinguir entre $p$ y $q$, produciendo una puntuación $s(x)$ (por ejemplo, log-odds) para cualquier entrada $x$.
2. Valor $p$ Conformal: Para un punto de prueba $\tilde{X} \sim q$, se calcula un valor $p$ conformal $U$ comparando su puntuación contra un conjunto de puntuaciones de calibración extraídas de $p$. El valor $p$ representa el rango relativo de la puntuación del punto de prueba entre el conjunto de calibración.
3. Agregación: Para probar la hipótesis global $H_0: p=q$, este procedimiento se repite para múltiples puntos de prueba independientes de $q$. La colección resultante de valores $p$ se agrega (por ejemplo, mediante una prueba de Kolmogorov–Smirnov) para evaluar la desviación de la uniformidad.

El artículo introduce dos variantes específicas:

• Conformal Uniform Test: Utiliza un nuevo conjunto de calibración para cada punto de prueba. Esto ofrece validez exacta de muestra finita y maximiza la potencia, pero requiere muestreo adicional de $p$.
• Conformal Multiple Test: Utiliza un único conjunto de calibración compartido para todos los puntos de prueba. Esto iguala el presupuesto computacional de la C2ST estándar (una muestra de $p$ y una de $q$ por cada par) manteniendo la robustez.

Contribuciones Clave

1. Validez Teórica: Los autores establecen que el Conformal C2ST proporciona control de error de Tipo I exacto en muestras finitas bajo la hipótesis nula ($p=q$) para cualquier función de puntuación determinista. Esta validez se mantiene independientemente de la calidad del clasificador, desacoplando efectivamente el control del error de la precisión discriminativa.
2. Robustez ante Clasificadores Débiles: El artículo demuestra que la prueba mantiene una potencia no trivial bajo la alternativa ($p \neq q$) incluso cuando el clasificador es débil o está mal especificado. Los resultados teóricos muestran que la potencia se degrada suavemente (como $O(\epsilon^{2/3})$) con el error de estimación de la relación de densidades, siempre que el clasificador preserve una señal de ordenamiento razonable (medida por el AUC).
3. Ordenamiento sobre Precisión: La metodología desplaza el enfoque de la precisión de clasificación (umbral en 0.5) hacia la calidad del ordenamiento (ranking). La prueba depende del orden relativo de las puntuaciones (AUC), lo cual es más robusto al mal calibrado y a los límites de decisión débiles que las estimaciones de probabilidad absoluta.
4. Variantes Prácticas: La introducción de la variante "Multiple" permite realizar pruebas de dos muestras robustas sin aumentar el presupuesto de simulación en comparación con la C2ST estándar, lo que la hace viable para simuladores costosos.

Resultados Experimentales

Los autores evalúan el Conformal C2ST frente a diversas líneas base, incluyendo la C2ST estándar, la Calibración Basada en Simulación (SBC), la Prueba de Exactitud con Puntos Aleatorios (TARP), la Calibración Discriminativa (DC) y pruebas basadas en núcleos (MMDFuse) a través de varios entornos de prueba:

• Perturbaciones Controladas: En experimentos con posteriores gaussianos perturbados (desplazamientos de media, escalado de covarianza, colas pesadas), las variantes de Conformal C2ST superaron consistentemente a la C2ST estándar y otras líneas base en la detección de discrepancias sutiles. Notablemente, la DC falló en controlar el error de Tipo I en estos entornos.
• Degradación del Clasificador: Los autores degradaron sistemáticamente la calidad del clasificador interpolando parámetros entrenados con una inicialización aleatoria. Los resultados mostraron que la potencia de la C2ST estándar colapsó rápidamente a medida que el clasificador se debilitaba. En contraste, el Conformal C2ST mantuvo una alta potencia, demostrando resiliencia ante clasificadores sesgados o mal entrenados.
• Imágenes de Alta Dimensión: En CIFAR-10 con diversas corrupciones (desenfoque, rotación, ruido), el Conformal C2ST alcanzó el estado del arte en potencia y se mantuvo robusto cuando el clasificador subyacente era débil.
• Problema Inverso Científico Real: En un benchmark de lentes gravitacionales, el Conformal C2ST detectó sesgos en niveles más bajos que sus competidores y se mantuvo válido bajo la degradación del clasificador, mientras que otros métodos (como DC) resultaron inválidos debido a un error de Tipo I inflado.

Significación y Reivindicaciones

El artículo sostiene que el Conformal C2ST establece una herramienta de diagnóstico práctica y teóricamente fundamentada para la validación de modelos. Su principal significación radica en resolver la ambigüedad del "clasificador débil": un modelo que supera una prueba de Conformal C2ST es una indicación más confiable de igualdad distributiva que uno que supera una C2ST estándar, debido a que la validez de este último no depende de que el clasificador sea cercano al óptimo.

Los autores enfatizan que no se requiere estrictamente un clasificador cercano al óptimo de Bayes para una validación de modelo fiable; un ordenamiento débil pero informativo es suficiente. Esto hace que el método sea particularmente valioso para la evaluación de la NPE y de modelos generativos, donde obtener clasificadores perfectos suele ser inviable. El trabajo es de alcance modesto, centrándose en la validación del posterior aprendido $q$ frente al posterior verdadero $p$ (el escenario $M$-closed) en lugar del problema más amplio $M$-open de validar el propio simulador frente a datos del mundo real. Los autores también señalan limitaciones, como la naturaleza global de la prueba (no localiza los desajustes) y el costo computacional de la variante Uniform cuando el muestreo de $p$ es costoso.