Resumen Técnico: Apostar por Momentos – Legendre Jumper Martingales para Pruebas de Intercambiabilidad en Línea

Planteamiento del Problema

En la predicción conformal, la validez de los conjuntos de predicción depende del supuesto de intercambiabilidad, lo que implica que la secuencia de p-valores generados por un transductor conformal es independiente e idénticamente distribuida (IID) según una distribución uniforme en $[0, 1]$. Las violaciones de este supuesto indican cambios distribucionales.

Aunque se utilizan martingales de prueba conformal (CTM) para probar la intercambiabilidad en línea, el Simple Jumper (SJ) estándar (Vovk et al., 2022) tiene una limitación crítica: emplea una función de apuesta lineal basada en el polinomio de Legendre desplazado de primer grado. En consecuencia, el SJ está geométricamente restringido a detectar cambios en la media (localización) de los p-valores. No logra acumular riqueza significativa cuando el cambio de distribución preserva la media pero altera momentos de orden superior, como la varianza, la asimetría o la curtosis. Además, los intentos de combinar múltiples estrategias de apuesta suelen sufrir del "impuesto de salto" (jumping tax), donde el capital se diluye en un espacio de estados que crece exponencialmente, dificultando severamente la velocidad de detección.

Metodología

El artículo propone una familia de martingales de prueba conformal basados en polinomios de Legendre desplazados ($\tilde{P}_k$), los cuales son ortogonales en el intervalo $[0, 1]$. Estos polinomios sirven como la base para funciones de apuesta capaces de detectar desviaciones en momentos específicos de la distribución de los p-valores.

1. Simple Legendre Jumper (SLJ)

El SLJ generaliza al Simple Jumper reemplazando la función de apuesta lineal por un polinomio de Legendre desplazado de grado $k$ arbitrario:
$$f^{(k)}_\epsilon(p) = 1 + \epsilon \tilde{P}_k(p)$$
donde $\epsilon$ es un parámetro seleccionado de una cuadrícula discreta.

• Mecanismo: Para $k=1$, recupera el SJ estándar (detectando cambios en la media); para $k=2$, detecta cambios en la varianza; para $k=3$, la asimetría; y así sucesivamente.
• Limitación: Apostar exclusivamente en un único grado $k$ causa que la martingala pierda la capacidad de detectar cambios dominantes en otros momentos, lo que conduce a una acumulación de evidencia suboptimal.

2. Product Legendre Jumper (PLJ)

Para capturar desviaciones complejas y multimodales simultáneamente, el PLJ combina funciones de apuesta de múltiples grados $K$ en un único producto:
$$f^K_\epsilon(p) = \frac{\prod_{k \in K} (1 + \epsilon_k \tilde{P}_k(p))}{Z(\epsilon)}$$
donde $Z(\epsilon)$ es una constante de normalización requerida para $|K| \ge 3$ para asegurar que la integral de la función de apuesta sea igual a 1.

• El "Impuesto de Salto": El PLJ mantiene una cadena de Markov sobre el espacio de estados conjunto $\mathcal{E} = \prod_{k \in K} \mathcal{E}_k$. A medida que el número de grados $|K|$ aumenta, el tamaño del espacio de estados crece exponencialmente ($|\mathcal{E}| = g^{|K|}$). El "impuesto de salto" se refiere a la dilución del capital: cuando el entorno cambia, el mecanismo de salto distribuye el nuevo capital uniformemente a través de este enorme espacio de estados, retrasando la concentración de riqueza en la estrategia de apuesta óptima.

3. Variational Legendre Jumper (VLJ)

Para resolver la escala exponencial del PLJ, los autores introducen el Variational Legendre Jumper, inspirado en las aproximaciones de campo medio de la inferencia variacional.

• Desacoplamiento: En lugar de una única cadena de Markov sobre el espacio producto, el VLJ ejecuta $|K|$ sub-jumpers independientes (uno para cada grado $k \in K$).
• Consenso: En cada paso, el VLJ calcula un parámetro de consenso $\bar{\epsilon}_k$ para cada grado basándose en la media ponderada por la riqueza del estado del sub-jumper.
• Apuesta Global: La martingala global actualiza utilizando el producto normalizado de las funciones de apuesta evaluadas en estos parámetros de consenso.
• Complejidad: Esto reduce el costo computacional de exponencial $O(g^{|K|})$ a lineal $O(|K| \cdot g)$, haciendo que las pruebas de momentos de orden superior sean computacionalmente factibles con una pérdida mínima de potencia estadística.

4. Composite Legendre Jumper

Siguiendo el marco de Vovk et al. (2022), el Composite Legendre Jumper promedia la martingala base (SLJ, PLJ o VLJ) sobre una cuadrícula de tasas de salto $J \in \{10^{-4}, \dots, 1\}$.

• Robustez: Esto asegura la robustez cuando la escala temporal del cambio de distribución es desconocida.
• Suelo de Riqueza: La inclusión de $J=1$ garantiza que la martingala nunca caiga por debajo de $1/|\mathcal{E}|$, proporcionando un suelo de riqueza absoluto bajo intercambiabilidad que carecen las variantes de tasa fija.

Principales Contribuciones

1. Generalización de Funciones de Apuesta: La introducción del Simple Legendre Jumper, que extiende la función de apuesta lineal del Simple Jumper a polinomios de Legendre desplazados de grado arbitrario, permitiendo la detección de desviaciones en la varianza, asimetría y otros momentos de orden superior.
2. Abordaje del Impuesto de Salto: El desarrollo del Product Legendre Jumper para capturar desviaciones conjuntas, seguido del Variational Legendre Jumper, que factoriza el problema de adaptación conjunta mediante una aproximación de campo medio. Esto logra reducir la escala del espacio de estados de exponencial a lineal manteniendo la potencia estadística.
3. Robustez Compuesta: La integración de estos métodos en un Composite Legendre Jumper, que mezcla sobre tasas de salto para proporcionar una adaptación automática a escalas temporales de cambio desconocidas y un suelo de riqueza garantizado bajo la hipótesis nula.
4. Validación Empírica: Demostración en una tarea de clasificación del mundo real (conjunto de datos Wine Quality) utilizando un clasificador de k-vecinos más cercanos conformal bajo cuatro ordenamientos de datos: permutado (intercambiable), puntos de cambio abruptos (Red $\to$ White, White $\to$ Red) y orden original.

Resultados

Los autores evaluaron los métodos propuestos en el conjunto de datos Wine Quality utilizando un clasificador de vecinos más cercanos conformal bajo cuatro ordenamientos de datos: permutado (intercambiable), puntos de cambio abruptos (Red $\to$ White, White $\to$ Red) y orden original.

• Intercambiabilidad: Bajo datos permutados, todas las martingalas permanecieron cerca de cero o declinaron ligeramente, confirmando que no generan falsas alarmas.
• Cambio Distribucional: Bajo ordenamientos no intercambiables, los Product y Variational Legendre Jumpers con $K=\{1, 2, 3\}$ alcanzaron consistentemente los valores de log-martingala finales más altos, superando al Simple Legendre Jumper de un solo grado ($k=1$) en un 30%–60% en la escala logarítmica de evidencia.
• Fallo de Grado Único: Las martingalas que apostaban exclusivamente por la varianza ($k=2$) o la asimetría ($k=3$) funcionaron mal cuando el cambio involucraba múltiples momentos, acumulando órdenes de magnitud menos evidencia que los enfoques combinados.
• Eficiencia vs. Potencia: El Variational Legendre Jumper (VLJ) igualó casi exactamente el rendimiento del Product Legendre Jumper (PLJ), pero requirió significativamente menos estados (por ejemplo, 15 estados frente a 125 estados para $K=\{1, 2, 3\}$).
• Superioridad del Composite: El Composite Legendre Jumper superó decisivamente a las variantes de tasa fija bajo cambios distribucionales (alcanzando $\log_{10} M_n \approx 100$ frente a $\approx 90$ de la tasa fija) y evitó la lenta acumulación de pérdidas observada en las martingalas de tasa fija bajo intercambiabilidad.

Significado y Reivindicaciones

El artículo afirma que el Composite Legendre Jumper debería ser la elección por defecto para los profesionales cuando la escala temporal de los cambios distribucionales es desconocida. Ofrece una solución robusta que:

1. Detecta desviaciones multimodales complejas de la uniformidad que las funciones de apuesta lineales pasan por alto.
2. Evita la "maldición de la dimensionalidad" asociada con las estrategias de apuesta conjunta mediante la factorización variacional.
3. Proporciona un suelo de riqueza teórico y práctico, asegurando la estabilidad bajo la hipótesis nula.

Los autores señalan que, si bien la aproximación variacional funciona empíricamente al nivel del producto exacto, los límites teóricos sobre la pérdida de potencia estadística debido a la factorización de campo medio siguen siendo un problema abierto. También sugieren que trabajos futuros podrían explorar la selección de grados polinómicos basada en datos (análogo al enfoque de Ledwina para el test suave de Neyman) para optimizar aún más la eficiencia. La implementación está disponible en el paquete de Python online-cp.