Resumen Técnico: LOTTERY

Planteamiento del Problema

El artículo aborda el desafío de las pruebas de dos muestras adaptativas a los datos bajo condiciones de asimetría severa en el tamaño de la muestra. En muchos escenarios de monitoreo del mundo real (por ejemplo, detección de cambios en el conjunto de datos, detección adversarial, monitoreo de modelos), los profesionales poseen un abundante conjunto de datos de referencia histórico ($X \sim P$), pero reciben solo un puñado de muestras de consulta ($Y \sim Q$) para contrastar con la referencia.

Las pruebas de dos muestras basadas en aprendizaje existentes suelen depender de un paradigma de división de entrenamiento-prueba (train-test split) para desacoplar el aprendizaje de representaciones del contraste de hipótesis, asegurando un control válido del error de Tipo I. Sin embargo, en configuraciones de pocos ejemplos (few-shot settings) donde $|Y|$ es extremadamente pequeño, dividir los datos de consulta es perjudicial:

1. Inestabilidad del Aprendizaje: Usar un subconjunto minúsculo de $Y$ para el entrenamiento conduce a extractores de características de alta varianza e inestables.
2. Ruido en la Prueba: Asignar los pocos puntos restantes para la prueba resulta en una calibración ruidosa y un bajo poder estadístico.
3. Cuello de Botella: Simplemente aumentar el tamaño de la muestra de referencia no mitiga la escasez fundamental de los puntos de consulta.

La pregunta central planteada es: ¿Cómo se puede mantener la adaptatividad de las pruebas basadas en aprendizaje evitando el aprendizaje a partir de datos de consulta escasos?

Metodología: LOTTERY

Los autores proponen LOTTERY (Learning from Reference-Only samples in Two-sample Testing under sizE asymmetRY), un marco que cambia el paradigma de "aprender una discrepancia entre $X$ e $Y$" a "aprender una colección de señales de compatibilidad a partir de $X$ y contrastar $Y$ contra ellas".

1. Aprendizaje Basado Únicamente en la Referencia (RDR)

En lugar de dividir $Y$, LOTTERY aprende Representaciones Dependientes de la Referencia (RDRs) exclusivamente a partir de los abundantes datos de referencia $X$. Una RDR es una función $f: \mathcal{X} \to \mathbb{R}$ entrenada en $X$ tal que valores más grandes de $f(y)$ indican una menor compatibilidad con la distribución de referencia $P$.
El marco emplea una familia de RDRs complementarias para capturar diversos aspectos estructurales de $P$:

• ME-RDR (Media de la Embebición): Captura patrones de similitud local utilizando núcleos característicos y ubicaciones de prueba. Garantizado teóricamente para ser consistente ante cualquier alternativa $P \neq Q$.
• Mahalanobis-RDR: Captura la estructura global (cambios en media y covarianza).
• kNN-RDR: Captura la geometría de soporte y escala local mediante distancias de k-vecinos más cercanos.
• LOF-RDR: Captura irregularidades de densidad relativa local.

2. Agregación Guiada por la Incertidumbre

Dado que ninguna RDR es uniformemente poderosa contra todas las alternativas, LOTTERY agrega la evidencia de toda la familia. Para optimizar esta agregación sin utilizar datos de consulta, los autores introducen un esquema de ponderación guiado por la incertidumbre:

• Estabilidad: Cuantificada por la varianza de la media por lotes (batch mean) de la RDR al remuestrear desde el conjunto de calibración de referencia. Las RDRs inestables (alta varianza) son penalizadas con un menor peso.
• Sensibilidad: Cuantificada por la respuesta de la RDR a pequeñas perturbaciones controladas de los datos de referencia.
• Ponderación: El peso final para una RDR $f$ es $w_f = \hat{\delta}_f / \hat{\sigma}^2_f$, favoreciendo representaciones que son tanto estables bajo la hipótesis nula como sensibles a las desviaciones.
• Estadístico de Prueba: El estadístico final es una suma ponderada de desplazos estandarizados de la media al cuadrado: $T_{weight}(Y) = \sum_{f \in \mathcal{F}} w_f T_f(Y)$.

3. Prueba de Permutación Agrupada (Pooled Permutation Test)

Para asegurar un control válido del error de Tipo I sin dividir los datos de consulta, LOTTERY utiliza una prueba de permutación agrupada.

• Un conjunto de referencia mantenido fuera (held-out) $X_{hold}$ se combina con el lote de consulta $Y$ para formar una muestra agrupada $U$.
• Bajo la hipótesis nula ($P=Q$), todos los puntos en $U$ son intercambiables.
• El estadístico de la prueba se calcula para el $Y$ observado y se compara contra una distribución generada mediante el muestreo aleatorio de subconjuntos de tamaño $|Y|$ a partir de $U$.
• Esto produce un control exacto del error de Tipo I en muestras finitas al nivel $\alpha$.

Principales Contribuciones

1. Marco de Solo Referencia: Introduce un nuevo paradigma para las pruebas de dos muestras en el régimen de asimetría de tamaño y pocos ejemplos, eliminando la necesidad de dividir los escasos datos de consulta para el aprendizaje de representaciones.
2. Agregación Guiada por la Incertidumbre: Propone un mecanismo para ponderar adaptativamente múltiples representaciones dependientes de la referencia basándose en su estabilidad y sensibilidad, derivadas únicamente de los datos de referencia.
3. Garantías Teóricas:
   • Control del Error de Tipo I: Demuestra que el procedimiento de permutación agrupada controla el error de Tipo I al nivel $\alpha$ para muestras finitas.
   • Consistencia: Muestra que la potencia de la prueba converge a 1 a medida que los tamaños de muestra crecen, siempre que la familia de representaciones contenga al menos una representación consistente (ej. ME-RDR).
4. Desempeño Empírico: Demuestra un sólido desempeño en pruebas sintéticas y de mundo real, superando particularmente a los métodos basados en núcleos (kernel-based) y de aprendizaje basado en división en escenarios extremos de pocos ejemplos.

Resultados Experimentales

Los autores evalúan LOTTERY en datos sintéticos (BLOB) y conjuntos de datos del mundo real (Higgs Boson, detección adversarial de CIFAR-10).

• Variación del Tamaño de Referencia ($N$): Con un tamaño de consulta pequeño y fijo, LOTTERY muestra un crecimiento de potencia significativamente más rápido a medida que $N$ aumenta en comparación con las líneas base. Supera a todos los métodos cuando $N$ es suficientemente grande (ej. $N \ge 300$ en BLOB).
• Variación del Tamaño de Consulta ($M$): En regímenes extremos de pocos ejemplos (ej. $M=2$ a $M=10$), LOTTERY logra una potencia sustancialmente mayor que los métodos basados en núcleos (MMD-FUSE, MMDAgg) y las líneas base de aprendizaje basadas en división (MMD-Deep, RL-TST), que a menudo operan cerca de niveles de azar.
• Estudios de Ablación:
  • La eliminación del mecanismo de selección guiado por la incertidumbre conduce a una caída consistente en la potencia, confirmando el valor de penalizar las RDRs inestables.
  • La agregación de múltiples familias de RDR produce mejores resultados que cualquier RDR individual, confirmando su complementariedad a través de diferentes tipos de cambios de distribución (media global, varianza, densidad local).
• Error de Tipo I: Las comprobaciones empíricas confirman que la prueba mantiene el error de Tipo I cercano al nivel de significancia $\alpha = 0.05$ en todas las configuraciones.

Significado y Reivindicaciones

El artículo afirma que LOTTERY proporciona un enfoque fundamentado y efectivo para las pruebas de dos muestras bajo un desequilibrio extremo de clases. Su importancia radica en:

• Resolver el Cuello de Botella de Pocos Ejemplos: Evita la inestabilidad inherente a la división de pequeños lotes de consulta, una limitación que afecta a las pruebas adaptativas de datos existentes.
• Puente entre la Clasificación de Una Clase y la Prueba de Dos Muestras: Adapta el éxito de la clasificación de una clase (aprendizaje de una sola distribución) en un marco riguroso de prueba de dos muestras con garantías formales de error de Tipo I, distinguiéndose de la detección de anomalías estándar que a menudo carece de garantías de nivel-$\alpha$.
• Utilidad Práctica: Ofrece una herramienta de diagnóstico para aplicaciones de alto riesgo como la detección adversarial y el monitoreo de modelos, donde los datos de consulta son escasos pero los de referencia son abundantes, permitiendo una detección más fiable de cambios en la distribución y fallos silenciosos.

Los autores enfatizan que el método es de naturaleza estadística y está destinado a ser un componente de diagnóstico dentro de un proceso más amplio, más que una regla de decisión independiente para individuos.