📊 statistics

Power properties of the two-sample test based on the nearest neighbors graph

Este artículo amplía la comprensión teórica de las pruebas de dos muestras basadas en grafos de vecinos más cercanos al establecer umbrales de detección para los casos en que el número de vecinos crece con el tamaño de la muestra, proponiendo una prueba bilateral para cerrar una brecha de exponente y demostrando que el aumento de la densidad del grafo mejora la potencia estadística.

Autores originales: Rahul Raphael Kanekar

Publicado 2026-07-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Rahul Raphael Kanekar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective tratando de averiguar si dos grupos de personas pertenecen realmente al mismo grupo o si son secretamente diferentes. Tal vez tienes una pila de fotos de una fiesta de verano y otra pila de una gala de invierno, y quieres saber: "¿Son estas las mismas personas, solo vestidas de forma diferente, o son dos grupos completamente distintos?". En el mundo de la estadística, esto se llama el "problema de las dos muestras". Normalmente, si solo tienes un número para observar (como la altura), es fácil clasificarlos de menor a mayor para detectar la diferencia. Pero, ¿qué pasa si tienes que comparar a las personas basándote en una docena de rasgos a la vez: altura, peso, talla de calzado, color favorito y cuántas veces parpadearon? De repente, no hay una forma sencilla de "clasificarlos". No puedes decir que una persona es "mayor que" otra cuando son diferentes en tantos aspectos.

Para resolver esto, los estadísticos inventaron un truco ingenioso: dibujan un mapa. En lugar de clasificar, conectan los puntos. Imagina que cada persona es un punto en un papel gigante. Si dos puntos están cerca, dibujas una línea entre ellos. Al observar el patrón de estas líneas, puedes ver si los dos grupos se están mezclando o si permanecen separados. Si los grupos son iguales, las líneas se cruzarán por todas partes, conectando puntos de ambos grupos. Si los grupos son diferentes, las líneas se mantendrán mayoritariamente dentro de sus propios grupos, como dos vecindarios separados que no se hablan entre sí. Este es el corazón de las "pruebas basadas en grafos".

Ahora, aquí está el giro: ¿Cuántas líneas deberías dibujar? ¿Deberías conectar cada punto solo con su vecino más cercano, o deberías conectarlo con sus 10, 50 o incluso 100 vecinos más cercanos? Durante mucho tiempo, los científicos pensaron que conectar solo a unos pocos vecinos era la apuesta más segura. Pero en este artículo, Rahul Raphael Kanekar, de la Universidad de Stanford, plantea una pregunta audaz: ¿Qué pasaría si conectamos a más vecinos a medida que obtenemos más datos? ¿El hecho de hacer el mapa más "denso" nos ayuda a detectar las diferencias mejor, o solo crea un enredo desordenado de líneas que nos confunde?

El artículo profundiza en esta cuestión utilizando un tipo específico de mapa llamado "grafo de K-vecinos más cercanos". La "K" representa cuántos vecinos conectas. El principal descubrimiento del autor es que aumentar K (hacer el grafo más denso) en realidad potencia la capacidad de la prueba, pero solo si se hace con cuidado. Descubrió que si dejas que K crezca a medida que el tamaño de la muestra aumenta, puedes detectar diferencias que antes eran invisibles. Sin embargo, hay un inconveniente: la forma en que analizas los datos cambia dependiendo de qué tan "denso" sea el grafo y cuántas dimensiones (rasgos) estés midiendo.

El autor también introduce una nueva forma de observar los resultados. Tradicionalmente, los estadísticos utilizaban una prueba de "una sola vía" (one-sided), que solo comprueba si hay menos conexiones entre grupos de las esperadas. Pero el artículo muestra que este método puede ser engañoso; a veces, dependiendo de la dirección de la diferencia, podría perder la señal por completo. El autor propone en su lugar una prueba de "dos vías" (two-sided), que comprueba si hay cualquier desviación significativa, ya sea que haya demasiadas o muy pocas conexiones. Este nuevo enfoque es mucho más estable y fiable, especialmente cuando los datos son complejos.

A través de una mezcla de pesadas demostraciones matemáticas y simulaciones por computadora, el artículo demuestra que utilizar grafos más densos (conectando a más vecinos) es una estrategia ganadora. En simulaciones con miles de puntos de datos, la prueba de dos vías con un número creciente de vecinos superó consistentemente a los métodos anteriores, identificando correctamente diferencias que otras pruebas pasaron por alto. El artículo no solo sugiere esto; también proporciona los "umbrales de detección" matemáticos: las reglas exactas de cuánto deben diferir los grupos antes de que la prueba pueda detectarlos. Resulta que, para datos de alta dimensión, cuanto más vecinos conectes, más agudo será tu ojo de detective, siempre y que utilices la lente de dos vías adecuada para mirar a través de ella.

Resumen Técnico: Propiedades de Potencia de la Prueba de Dos Muestras Basada en el Grafo de Vecinos Más Cercanos

Planteamiento del Problema
Este artículo aborda el problema no paramétrico de dos muestras: probar la igualdad de dos distribuciones multivariantes, $H_0: F = G$ frente a $H_1: F \neq G$ , sin asumir formas paramétricas específicas. Si bien las pruebas basadas en grafos, que utilizan distancias entre puntos para construir un grafo (por ejemplo, Árboles de Expansión Mínima o grafos de $K$ -Vecinos Más Cercanos), ofrecen una alternativa libre de distribución a los métodos basados en rangos, su comprensión teórica ha sido limitada. Específicamente, la teoría asintótica existente se basa en el marco de "grafos estabilizadores" de Penrose y Yukich, el cual se aplica a grafos donde la estructura local es independiente de puntos distantes. Este marco es válido para una $K$ fija, pero falla cuando el número de vecinos $K$ aumenta con el tamaño de la muestra $N$ . El artículo investiga las propiedades de potencia de la prueba de $K$ -vecinos más cercanos ( $K$ -NN) cuando $K = k_N$ crece con $N$ , un régimen que carecía previamente de una justificación teórica rigurosa.

Metodología
Los autores emplean un entorno de Poissonización para facilitar el análisis asintótico, donde el tamaño de la muestra sigue una distribución de Poisson, lo que permite el uso de propiedades de independencia espacial. El estadístico de la prueba $T(G)$ cuenta el número de aristas en el grafo construido que conectan puntos de las dos muestras diferentes.

Pasos metodológicos clave:

Superación de la No-Estabilización: Dado que el grafo $k_N$ -NN no es estabilizador cuando $k_N \to \infty$ , los autores no pueden confiar en los teoremas de límite estándar para funcionales estabilizadores. En su lugar, realizan un análisis "directo" del estadístico de la prueba, cuantificando explícitamente la estructura de dependencia local inducida por el crecimiento del número de vecinos.
Normalidad Asintótica: Utilizando el método de Stein para grafos de dependencia aplicado a una versión truncada del estadístico, los autores establecen un Teorema del Límite Central (TLC) para el estadístico de la prueba bajo alternativas generales. Demuestran que para $k_N = o(N^{1/4})$ , el estadístico estandarizado converge a una distribución normal.
Análisis Condicional vs. No Condicional: El artículo deriva TLCs tanto para el estadístico no condicional como para un estadístico condicional (condicionado en las ubicaciones de los puntos, relevante para pruebas de permutación). El TLC condicional se cumple para un rango más amplio de $k_N$ ( $k_N = o(N)$ ), mientras que el TLC no condicional requiere el más estricto $k_N = o(N^{1/4})$ debido a la mayor dependencia entre puntos en la distribución marginal.
Análisis de Potencia Local: Los autores analizan los umbrales de detección para alternativas locales donde la diferencia de parámetros $\|\theta_N - \theta_1\|$ decae a un ritmo $\epsilon_N$ . Definen una dimensión crítica $d_c(\gamma) = \lfloor 8(1-\gamma) \rfloor$ (asumiendo $k_N = N^\gamma$ ) para categorizar el comportamiento de la prueba.

Contribuciones Clave

Extensión del Marco Teórico: El artículo extiende la comprensión teórica de las pruebas basadas en grafos más allá del marco de estabilización hacia el caso de un $K$ creciente, específicamente para el grafo $K$ -NN.
Umbrales de Detección: Los autores derivan umbrales de detección exactos para las versiones de una sola cola y de dos colas de la prueba. Demuestran que el comportamiento de estas pruebas diverge significativamente cuando la dimensión $d$ excede la dimensión crítica $d_c(\gamma)$ .
Resolución de la "Brecha de Exponente": Una contribución primaria es la propuesta y el análisis de una prueba de dos colas. Los autores muestran que la tradicional prueba de una sola cola sufre de una "brecha de exponente" en altas dimensiones ( $d > d_c(\gamma)$ ), donde su potencia depende críticamente de la dirección de la alternativa (sufriendo de una "maldición de la dimensionalidad" en algunas direcciones). La prueba de dos colas elimina esta brecha, proporcionando umbrales de detección estables independientemente de la dirección de la alternativa.
Mejora de la Potencia mediante la Densidad del Grafo: Los resultados proporcionan una justificación teórica para la observación empírica de que aumentar el número de vecinos más cercanos (grafos más densos) potencia la potencia de la prueba, particularmente para la versión de dos colas, a medida que el umbral de detección se acerca a la tasa paramétrica ( $N^{-1/2}$ ) conforme $k_N$ aumenta.

Resultados

Por debajo de la Crítica ( $d \leq d_c(\gamma)$ ): Tanto las pruebas de una sola cola como las de dos colas comparten el mismo umbral de detección de $N^{-1/4}$ . La potencia límite está determinada por la CDF de la normal estándar.
Por encima de la Crítica ( $d > d_c(\gamma)$ ):
- Prueba de una sola cola: Exhibe una brecha de exponente. El umbral de detección es ya sea $N^{-1/2 - 2(1-\gamma)/d}$ (una "bendición de la dimensionalidad") o $N^{-2(1-\gamma)/d}$ (una "maldición de la dimensionalidad"), dependiendo de la dirección de la alternativa. En la brecha entre estas tasas, la potencia es 0 o 1 dependiendo del signo de un término direccional específico $b(h, \theta_1)$ .
- Prueba de dos colas: Demuestra un comportamiento estable con un único umbral de detección de $N^{-1/2 - 2(1-\gamma)/d}$ . No sufre de la brecha de exponente y su potencia mejora con la dimensión, acercándose a la tasa paramétrica $N^{-1/2}$ a medida que $k_N$ crece.
Simulaciones: Resultados empíricos en datos sintéticos (perturbaciones de escala Gaussiana, familias log-normales) y datos reales (20 Newsgroups) validan los hallazgos teóricos. Confirman que la potencia de la prueba de una sola cola es altamente sensible a la dirección de la alternativa en altas dimensiones, mientras que la prueba de dos colas permanece robusta. Las simulaciones también sugieren que aumentar $K$ mejora la potencia, siendo $K \leq N/30$ un compromiso práctico entre la potencia y la validez de la aproximación normal.

Significancia
El artículo afirma llenar un vacío crítico en la literatura al vincular el crecimiento de $K$ con la potencia de las pruebas de dos muestras en familias paramétricas. Al analizar rigurosamente el grafo $K$ -NN no estabilizador, los autores proporcionan la primera justificación teórica para el uso de grafos más densos para mejorar la potencia de la prueba. Además, la identificación de la brecha de exponente en las pruebas de una sola cola y la demostración de que una versión de dos colas elimina esta inestabilidad ofrece una mejora metodológica concreta para los profesionales que trabajan con datos de alta dimensión. El trabajo sugiere que, si bien las pruebas de una sola cola pueden ser poco fiables en altas dimensiones debido a su sensibilidad direccional, las pruebas de dos colas basadas en grafos más densos ofrecen una alternativa robusta y potente.

Más como este