On the last time and the number of times an estimator is more than epsilon from its target value

Este artículo establece las distribuciones límite de la última ocurrencia y el número total de veces que un estimador fuertemente consistente se desvía más de $\varepsilon$ de su valor objetivo, proporcionando resultados teóricos generales para comparar estimadores, definir nuevas propiedades de optimalidad para la máxima verosimilitud y construir intervalos de confianza secuenciales en contextos paramétricos y no paramétricos, tanto i.i.d. como no i.i.d.

Lo esencial

Imagina que eres un navegante en medio del océano, intentando llegar a una isla misteriosa llamada Verdad (que en el papel se llama $\theta_0$). Tienes un mapa imperfecto y una brújula que va mejorando a medida que avanzas. Cada vez que tomas una nueva muestra de agua (un dato), actualizas tu posición.

El problema es: ¿Cuánto tiempo tardarás en estar tan cerca de la isla que ya no te preocupes por la distancia? Y, más importante aún: ¿Cuántas veces te habrás desviado lo suficiente como para pensar "¡Oh no, me he perdido!" antes de finalmente estabilizarte?

Este artículo de los investigadores Nils Lid Hjort y Grete Fenstad es como un manual de navegación avanzado que responde a estas preguntas con matemáticas muy elegantes. Aquí te explico los conceptos clave usando analogías sencillas:

1. El "Último Momento de Desvío" ($N_\varepsilon$)

Imagina que tienes una regla de oro: "Si me alejo más de un metro de la isla, me considero perdido".

• La pregunta: ¿En qué momento exacto dejarás de alejarte más de ese metro para siempre?
• La respuesta del papel: Los autores descubren que, si esperas lo suficiente, la posición de ese "último momento de desvío" sigue una ley matemática muy específica. No es un número fijo, sino que tiene una distribución de probabilidad.
• La analogía: Es como lanzar una moneda al aire muchas veces. Sabes que eventualmente dejarás de obtener "cabezas" seguidas por un tiempo muy largo. El papel te dice exactamente cómo se comporta ese "último momento" cuando la tolerancia (el metro) se hace infinitamente pequeña.

2. El "Contador de Errores" ($Q_\varepsilon$)

Ahora, imagina que no solo te importa el último error, sino cuántas veces te has equivocado en total durante todo el viaje.

• La pregunta: ¿Cuántas veces cruzarás la línea de "un metro de distancia" antes de quedarte quieto?
• La analogía: Es como contar cuántas veces un niño en un columpio cruza una línea imaginaria antes de detenerse. El artículo demuestra que, al hacer la tolerancia muy pequeña, este conteo total también sigue una regla predecible.

3. La Carrera de Estrellas: ¿Quién es el mejor navegante?

En estadística, hay muchas formas de calcular la posición (estimadores). Algunos son como brújulas baratas (ruidosas) y otros como GPS de alta precisión.

• El hallazgo: Los autores crearon una nueva forma de comparar estos "navegantes". En lugar de solo ver quién llega primero, miran quién tiene menos probabilidades de desviarse en el largo plazo.
• La gran revelación: Descubrieron que el Estimador de Máxima Verosimilitud (una técnica estadística muy común y poderosa) es, en cierto sentido, el "campeón olímpico". Ningún otro método puede prometer que se quedará dentro de tu zona de seguridad (el radio de un metro) más rápido o con menos errores totales. Es el más eficiente.

4. El Caso Especial: El Mapa vs. La Realidad (Glivenko-Cantelli)

Hay un caso especial donde no estimamos un punto, sino todo un mapa (una distribución de probabilidad completa).

• La analogía: Imagina que en lugar de buscar una isla, estás intentando dibujar el contorno exacto de una costa.
• El resultado: Ellos demostraron que el "dibujo" que haces con tus datos (la función de distribución empírica) es el mejor posible. Nadie puede dibujar la costa con menos errores totales que este método estándar.

5. El Secreto de la "Velocidad Óptima" (Estimación de Densidad)

En un apartado más técnico, hablan de estimar la forma de una montaña (densidad de probabilidad) usando un filtro que se puede ajustar (un parámetro de suavizado).

• La analogía: Es como usar una cámara con un filtro de desenfoque. Si el filtro es muy grueso, la foto se ve borrosa; si es muy fino, se ve llena de ruido.
• El descubrimiento: La gente solía usar una fórmula estándar para ajustar ese filtro. Los autores descubrieron que, si quieres minimizar la cantidad de veces que te equivocas al describir la montaña, debes ajustar ese filtro un 0.8% más de lo que la fórmula tradicional sugería. ¡Es un ajuste fino que marca la diferencia entre un buen mapa y uno perfecto!

6. ¿Por qué importa esto? (Aplicaciones Reales)

Más allá de las matemáticas abstractas, esto sirve para:

• Diseñar experimentos: Saber exactamente cuántos datos necesitas recolectar para estar seguro de que tu resultado es bueno.
• Pruebas de hipótesis: Crear tests que, si se ejecutan de forma secuencial (dato a dato), tienen una probabilidad del 100% de detectar un efecto si existe.
• Construir zonas de confianza: Crear "redes" que atrapan el valor verdadero con una seguridad garantizada, ajustándose automáticamente a medida que llegan más datos.

En resumen

Este papel es como un manual de ingeniería de precisión para la estadística. Nos dice que, aunque el camino hacia la verdad es tortuoso y lleno de desviaciones, existe un patrón matemático hermoso y predecible en cómo nos equivocamos y cómo nos corregimos. Y lo mejor de todo: nos confirma que los métodos estadísticos que ya usamos (como el de Máxima Verosimilitud) son, de hecho, los mejores navegantes que tenemos, aunque siempre hay un pequeño margen para perfeccionar los detalles (como ese 1.008 en el ajuste de filtros).

Resumen técnico

Resumen Técnico: Tiempo Último y Número de Vías de Desviación en Estimadores

1. Planteamiento del Problema

El artículo aborda una cuestión fundamental en la teoría de la estimación estadística que va más allá de la consistencia fuerte tradicional ($\hat{\theta}_n \to \theta_0$ casi seguramente). Dado un estimador $\hat{\theta}_n$ basado en $n$ observaciones i.i.d. para un parámetro $\theta_0$, el problema no es solo si converge, sino cuán rápido lo hace en términos de desviaciones grandes.

Se definen dos variables aleatorias clave para un umbral de error $\varepsilon > 0$:

1. $N_\varepsilon$ (El "último $n$"): El último índice $n$ tal que la distancia entre el estimador y el parámetro verdadero excede $\varepsilon$:
   $$N_\varepsilon = \sup\{n \ge 1 : \|\hat{\theta}_n - \theta_0\| \ge \varepsilon\}$$
   Debido a la consistencia fuerte, $N_\varepsilon$ es finito con probabilidad 1.
2. $Q_\varepsilon$ (El "número de fallos"): El número total de veces que el estimador se desvía más de $\varepsilon$ de su objetivo a lo largo de toda la secuencia.

El objetivo del paper es derivar las distribuciones límite de estas variables (escaladas adecuadamente) cuando $\varepsilon \to 0$, y utilizar estos resultados para comparar la eficiencia asintótica de diferentes estimadores.

2. Metodología

La metodología se basa en la teoría de procesos estocásticos y el Teorema de Donsker (invarianza funcional).

• Representación del Estimador: Se asume que el estimador admite una representación asintótica de la forma:
  $$\hat{\theta}_n - \theta_0 = \Sigma_0^{1/2} \frac{1}{n} \sum_{i=1}^n Z_i + R_n$$
  donde $Z_i$ son variables i.i.d. con media 0 y covarianza identidad, $\Sigma_0$ es la matriz de covarianza límite, y $R_n$ es un término de residuo que decae suficientemente rápido ($D_m = \sqrt{m} \sup_{n \ge m} \|R_n\| \xrightarrow{p} 0$).

• Convergencia de Procesos: Utilizando el teorema de Donsker, el proceso escalado $\sqrt{m}(\hat{\theta}_{[mt]} - \theta_0)$ converge en distribución a un proceso de Wiener (movimiento browniano) escalado: $\Sigma_0^{1/2} W(t)$.

• Transformación de Variables: El problema se transforma estudiando el supremo del proceso normalizado:
  $$\sqrt{m} \sup_{n \ge m} \|\hat{\theta}_n - \theta_0\| \xrightarrow{d} \sup_{t \ge 1} \left\| \frac{\Sigma_0^{1/2} W(t)}{t} \right\|$$
  Mediante el truco de inversión temporal ($W^*(s) = sW(1/s)$), esto se relaciona con el máximo de un proceso browniano en el intervalo unitario $[0, 1]$.

• Acotación de Cola: Para asegurar que la convergencia en intervalos finitos $[1, c]$ se extiende a $[1, \infty)$, se utilizan desigualdades de concentración (generalizaciones de la desigualdad de Kolmogorov) para demostrar que la probabilidad de que el proceso exceda un umbral en la "cola" ($n > cm$) tiende a cero cuando $c \to \infty$.

3. Contribuciones y Resultados Clave

A. Distribuciones Límite para $N_\varepsilon$ y $Q_\varepsilon$

• Caso Unidimensional: Para estimadores que satisfacen las condiciones de regularidad, se demuestra que:
  $$\varepsilon^2 N_\varepsilon \xrightarrow{d} \sigma_0^2 W_{\max}^2$$
  donde $W_{\max} = \sup_{0 \le s \le 1} |W(s)|$ es el máximo absoluto de un movimiento browniano estándar en $[0,1]$.
  De manera similar, el número total de fallos escala como:
  $$\varepsilon^2 Q_\varepsilon \xrightarrow{d} \sigma_0^2 Q(0)$$
  donde $Q(0)$ es la medida de Lebesgue del conjunto de tiempos donde $|W(t)/t| \ge 1$.

• Caso Multidimensional ($p$-dimensional):
  Para una distancia general (incluyendo la distancia de Mahalanobis), la distribución límite involucra el máximo de un proceso gaussiano vectorial:
  $$\varepsilon^2 N_\varepsilon \xrightarrow{d} \sup_{0 \le s \le 1} \|\Sigma_0^{1/2} W(s)\|^2$$
  Si se usa la distancia de Mahalanobis ponderada por la información de Fisher ($J_0$), la distribución límite es universal para cualquier modelo paramétrico correcto: $\chi^2_{p, \max} = \sup_{0 \le s \le 1} \sum_{i=1}^p W_i(s)^2$.

B. Propiedades de Optimalidad Asintótica

• Estimadores de Máxima Verosimilitud (MLE): El paper establece una nueva propiedad de optimalidad para la secuencia de MLE. Bajo condiciones de regularidad estándar, la secuencia de MLE tiene la distribución límite estocásticamente más pequeña para $N_\varepsilon$ y $Q_\varepsilon$ en comparación con cualquier otra secuencia de estimadores asintóticamente equivalente.
• Eficiencia Relativa Asintótica (a.r.e.): Se propone una nueva definición de eficiencia basada en estos tiempos de fallo. La razón de los valores esperados de $N_\varepsilon$ o $Q_\varepsilon$ entre dos estimadores converge a la razón de sus varianzas asintóticas (o trazas de matrices de covarianza en el caso multivariante), recuperando la definición clásica de eficiencia de Pitman pero desde una perspectiva de "tiempo de parada" y "conteo de errores".

C. Aplicaciones Específicas

1. Funciones Suaves de Medias: Se confirma que funciones diferenciables de promedios i.i.d. satisfacen las condiciones de regularidad.
2. Teorema de Glivenko-Cantelli: Se deriva la distribución límite para el último $n$ donde la distancia de Kolmogorov-Smirnov $\|F_n - F\| \ge \varepsilon$. La variable límite es $K_{\max}^2$, donde $K$ es un proceso de Kiefer (un puente browniano bidimensional).
3. Estimación de Densidad No Paramétrica: En este contexto, la tasa de convergencia es diferente. Se demuestra que $\varepsilon^{5/2} N_\varepsilon$ tiene una distribución límite (debido a la tasa óptima $h_n \sim n^{-1/5}$).
   • Hallazgo sorprendente: El parámetro de suavizado óptimo para minimizar el número esperado de fallos ($E[N_\varepsilon]$) no es el que minimiza el error cuadrático medio (MSE) tradicional, sino que es aproximadamente 1.008 veces el valor tradicional sugerido por la teoría de MSE.

D. Convergencia de Momentos
Se establecen condiciones bajo las cuales los momentos convergen (e.g., $\varepsilon^2 E[N_\varepsilon] \to \sigma_0^2 E[W_{\max}^2]$). Se calcula que $E[W_{\max}^2] = 2G \approx 1.832$, donde $G$ es la constante de Catalan.

4. Significado e Impacto

• Nueva Perspectiva de Comparación: Proporciona una herramienta probabilística rigurosa para comparar estimadores no solo por su varianza asintótica, sino por su comportamiento en la "cola" de la secuencia de estimación (cuándo dejan de cometer errores grandes).
• Construcción de Regiones de Confianza Secuenciales: Los resultados permiten diseñar procedimientos de muestreo secuencial para construir regiones de confianza de volumen fijo o decreciente con cobertura garantizada (probabilidad 1 de que el parámetro esté dentro después de un cierto $N_\varepsilon$).
• Pruebas con Potencia 1: Facilita la construcción de pruebas secuenciales que detienen el muestreo tan pronto como se alcanza una precisión deseada, asegurando potencia 1.
• Generalidad: Los resultados cubren casos paramétricos, no paramétricos, multidimensionales y diversas funciones de distancia, extendiéndose incluso a situaciones no i.i.d. (como regresión lineal y series temporales con autocorrelación) en la versión técnica del informe.

En resumen, el artículo llena un vacío en la literatura estadística al cuantificar la "velocidad" de la consistencia fuerte mediante distribuciones límite explícitas, ofreciendo criterios de optimalidad que refuerzan la superioridad de los estimadores de máxima verosimilitud y proporcionando bases teóricas para métodos de inferencia secuencial avanzados.