📊 statistics

Stop Using the Wilcoxon Test: Myth, Misconception and Misuse in IR Research

Este artículo sostiene que el uso generalizado de la prueba de rangos con signo de Wilcoxon en la evaluación de la recuperación de información se basa en una narrativa engañosa y es metodológicamente insostenible, ya que a menudo no logra controlar las tasas de error de tipo I y debería ser abandonado en favor de métodos estadísticos más fiables.

Autores originales: Julián Urbano

Publicado 2026-04-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Julián Urbano

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un juez en un concurso de cocina. Tienes dos chefs, el Chef X y el Chef Y, y les pides que cocinen los mismos 50 platos. Quieres saber: ¿Es el Chef X realmente mejor, o simplemente tuvo suerte con los ingredientes específicos que se le dieron?

Para responder a esto, los investigadores en Recuperación de Información (el campo de los motores de búsqueda) han estado utilizando durante décadas una herramienta matemática específica llamada prueba de Wilcoxon. Los libros de texto les dijeron que esta herramienta era el "plan de respaldo seguro" que usar cuando los datos parecían desordenados o extraños. Pensaron que era el "cinturón de seguridad" de la estadística.

Este artículo argumenta que el cinturón de seguridad es en realidad una trampa. El autor, Julián Urbano, dice que debemos dejar de usar la prueba de Wilcoxon inmediatamente porque no solo falla; nos miente activamente, especialmente en el mundo de los motores de búsqueda.

Aquí está el desglose del argumento del artículo usando analogías simples:

1. El Gran Mito: "No Paramétrico Significa Sin Reglas"

El Mito: Los libros de texto enseñaron a los investigadores que la prueba de Wilcoxon es "no paramétrica", lo que suena como si significara "no tiene reglas" o "funciona con cualquier tipo de datos". La gente pensaba: "Si mis datos no son perfectamente suaves y con forma de campana, usaré Wilcoxon porque es la opción de 'libre acceso'".

La Realidad: El artículo revela que Wilcoxon no es un libre acceso. Tiene una regla muy estricta y oculta: Simetría.

La Analogía: Imagina un columpio. La prueba de Wilcoxon solo funciona si el columpio está perfectamente equilibrado. Si el peso en un lado es ligeramente más pesado que en el otro (asimetría), la prueba se rompe.
El Problema: En el mundo real de los motores de búsqueda (datos de RI), los datos casi nunca están perfectamente equilibrados. Están desequilibrados. Al usar Wilcoxon en datos desequilibrados, los investigadores están esencialmente intentando equilibrar un columpio que ya está volcado. ¿El resultado? La prueba grita "¡Hay una diferencia!" incluso cuando no la hay.

2. El Error de Concepto: "La Prueba t Necesita Datos Perfectos"

El Error de Concepto: Se les dijo a las personas que la prueba t de Student estándar (la prueba "normal") solo funciona si los datos forman una curva de campana perfecta y suave. Dado que las puntuaciones de los motores de búsqueda a menudo son irregulares o discretas, la gente pensaba: "Oh, la prueba t fallará, así que debo usar Wilcoxon".

La Realidad: La prueba t es en realidad mucho más resistente de lo que la gente piensa.

La Analogía: Piensa en la prueba t como un camión pesado. Fue diseñado para conducir por autopistas suaves (curvas de campana perfectas), pero gracias a un principio llamado el "Teorema del Límite Central", en realidad puede manejar carreteras bacheadas, rocosas e irregulares perfectamente bien. Siempre que tengas suficientes puntos de datos (como conducir durante una distancia lo suficientemente larga), el camión suaviza los baches.
El Hallazgo: El artículo muestra que incluso cuando los datos son extraños, la prueba t se mantiene en la carretera y da la respuesta correcta. No se estrella.

3. El Uso Catastrófico: Por Qué Wilcoxon Falla

El artículo ejecutó miles de simulaciones por computadora utilizando datos reales de motores de búsqueda para ver qué sucede cuando se usan estas pruebas en datos "desordenados".

La Prueba t: Cuando los datos eran extraños (sesgados, con colas pesadas o discretos), la prueba t mantuvo su tasa de error constante en el 5%. Fue confiable.
La Prueba de Wilcoxon: Cuando los datos estaban ligeramente desequilibrados (asimétricos), la prueba de Wilcoxon se descontroló.
- La Analogía: Imagina un detector de humo que es tan sensible que se activa cuando solo tuestas una rebanada de pan. En las simulaciones del artículo, a medida que el tamaño de la muestra aumentaba, la prueba de Wilcoxon comenzó a gritar "¡FUEGO!" (rechazando la hipótesis nula) casi el 100% de las veces, incluso cuando no había fuego en absoluto.
- ¿Por qué? Porque dejó de probar "quién es mejor" y comenzó a probar "¿son los datos desequilibrados?". Dado que los datos de los motores de búsqueda casi siempre están desequilibrados, la prueba afirma falsamente que existe un ganador cuando no hay ninguno.

4. La Conclusión: Deja de Usar la Opción "Segura"

El autor concluye que la creencia de que Wilcoxon es la "alternativa segura" es una mentira peligrosa.

La Prueba t es el camión robusto que maneja los baches del mundo real.
La Prueba de Wilcoxon es una casa de vidrio frágil que se hace añicos en cuanto sopla el viento (asimetría).

El Veredicto: El artículo insta a la comunidad de Recuperación de Información a dejar de usar la prueba de Wilcoxon por completo. Seguir usándola crea una falsa sensación de seguridad y lleva a los investigadores a creer que han encontrado mejoras en sus motores de búsqueda cuando en realidad solo han encontrado ruido estadístico.

En resumen: El "plan de respaldo" es en realidad el que causa más accidentes. Es hora de retirarlo y ceñirse a la herramienta que realmente funciona: la prueba t.

1. Planteamiento del Problema

En la evaluación de la Recuperación de Información (RI), los investigadores comparan frecuentemente el rendimiento de los sistemas utilizando pruebas de significancia estadística. La prueba $t$ de Student y la prueba de rangos con signo de Wilcoxon son los dos métodos dominantes. Una creencia generalizada en la comunidad de RI, alimentada por libros de texto y directrices, es que la prueba de Wilcoxon es una alternativa "más segura" y no paramétrica a la prueba $t$ cuando las puntuaciones de las métricas (por ejemplo, NDCG, AP) no siguen una distribución normal.

El autor argumenta que esta narrativa es engañoso y perjudicial. El problema central es que la comunidad de RI aplica rutinariamente la prueba de Wilcoxon basándose en un malentendido de sus supuestos. Mientras que la prueba $t$ suele rechazarse debido a la percepción de no normalidad de las puntuaciones, la prueba de Wilcoxon se adopta bajo la falsa premisa de que es "libre de supuestos". En realidad, la prueba de Wilcoxon depende de un supuesto de simetría respecto a la distribución de las diferencias pareadas. El artículo postula que los datos de RI a menudo violan esta simetría, lo que hace que la prueba de Wilcoxon pierda el control de su tasa de error de Tipo I (falsos positivos), mientras que la prueba $t$ permanece robusta.

2. Metodología

El artículo emplea un enfoque multifacético que combina revisión bibliográfica, análisis teórico y simulación empírica:

Revisión Sistemática de la Literatura: El autor analizó 25 libros de texto de estadística (que cubren estadística general, estadística no paramétrica y aplicaciones específicas del campo) para rastrear los orígenes del mito de que "Wilcoxon es más seguro". La revisión se centró en cómo estos textos definen los métodos no paramétricos, describen los supuestos de la prueba $t$ y presentan la prueba de Wilcoxon.
Análisis Teórico:
- Prueba $t$ : El artículo aclara que la prueba $t$ no requiere que las puntuaciones crudas ( $X, Y$ ) sean normales, sino que la media muestral de las diferencias ( $\bar{D}$ ) sea aproximadamente normal. Por el Teorema del Límite Central (TLC), esta condición se cumple para tamaños de muestra moderados incluso si la distribución subyacente de las diferencias ( $D$ ) es no normal.
- Prueba de Wilcoxon: El artículo destaca que la prueba de rangos con signo de Wilcoxon es una prueba de la mediana, la cual es igual a la media solo si la distribución de las diferencias es simétrica. Si se viola la simetría, la prueba se convierte efectivamente en una prueba de simetría en lugar de una prueba de diferencias de medias, lo que conduce a valores $p$ inválidos.
Simulación Empírica (Monte Carlo):
- Fuente de Datos: Se recopilaron datos reales de RI de las pistas de TREC (Web, Microblog, Aprendizaje Profundo, Soporte a la Decisión Clínica, Medicina de Precisión), obteniendo 53.703 muestras de diferencias pareadas.
- Modelado de Distribuciones: El autor simuló 100.000 muestras bajo la hipótesis nula ( $H_0: \mu_D = 0$ $H_{0} : μ_{D} = 0$ ) utilizando cuatro distribuciones no normales específicas para modelar las características de los datos de RI:
  1. Asimetría: Utilizando distribuciones Normal Generalizada Asimétrica (AGN) y Tukey G-and-H (TGH).
  2. Pesadez de las colas: Utilizando Normal Generalizada Simétrica (SGN) y TGH.
  3. Discreción: Utilizando Beta-Binomial Irregular (IBB) para simular métricas como P@k y RR@k.
  4. Multimodalidad: (Discutida brevemente pero excluida de la simulación detallada debido a las dificultades de cuantificación).
- Parámetros: Las simulaciones variaron los tamaños de muestra ( $n = 5, 50, 500, 5000$ ) y los niveles de desviación de la normalidad (desde bajos hasta "patológicamente altos").
- Métrica: La métrica principal fue la tasa de error de Tipo I en $\alpha = 0.05$ .

3. Contribuciones Clave

A. Deconstrucción del "Mito, Malentendido, Mala Práctica"

El Mito: Los métodos no paramétricos son "libres de supuestos".
- Corrección: No lo son. La prueba de Wilcoxon asume la simetría de la distribución de las diferencias. Este es un supuesto más fuerte y a menudo más fácilmente violado que la normalidad aproximada requerida para la media de la prueba $t$ .
El Malentendido: La prueba $t$ $t$ requiere puntuaciones distribuidas normalmente.
- Corrección: La prueba $t$ requiere que la media muestral sea normal. Debido al TLC, esto se cumple para los tamaños de muestra de RI ( $n \ge 50$ ) incluso con datos sesgados o de colas pesadas.
La Mala Práctica: Usar Wilcoxon como un respaldo "seguro" para datos no normales.
- Corrección: Dado que los datos de RI son frecuentemente asimétricos, usar Wilcoxon introduce un riesgo severo de errores de Tipo I inflados, haciéndola menos segura que la prueba $t$ .

B. Evidencia Empírica del Fracaso

Las simulaciones demostraron que:

Discreción y Pesadez de las Colas: Tanto la prueba $t$ como la prueba de Wilcoxon funcionan bien (manteniendo tasas de error de $\approx 5\%$ ) bajo distribuciones discretas y de colas pesadas, siempre que $n$ no sea trivialmente pequeño.
Asimetría (El Fracaso Crítico):
- La prueba $t$ permanece robusta. Incluso bajo asimetría patológica, la tasa de error se mantiene cerca del 5% para $n \ge 500$ y solo se infla ligeramente (hasta ~10%) para $n=50$ .
- La prueba de Wilcoxon falla catastróficamente. A medida que aumenta el tamaño de la muestra, la tasa de error se dispara. Bajo fuerte asimetría con $n=500$ , la prueba rechaza la hipótesis nula casi el 100% de las veces, incluso cuando no existe una diferencia real. Efectivamente, prueba la asimetría en lugar de la diferencia de rendimiento.

C. Análisis de Inconsistencias en los Libros de Texto

La revisión reveló que solo ~50% de los libros de texto encuestados mencionan explícitamente el supuesto de simetría para la prueba de Wilcoxon. Muchos la presentan vagamente como una prueba para "datos ordinales" o "posición", oscureciendo el requisito crítico de simetría. Esta falta de claridad en la literatura fundamental ha propagado el mal uso en la investigación de RI.

4. Resultados

Tasas de Error de Tipo I:
- Simétricas/Colas pesadas/Discretas: Ambas pruebas mantienen tasas de error nominales ( $\approx 0.05$ ).
- Asimétricas:
  - Prueba $t$ : Las tasas de error permanecen cercanas a 0.05 para $n \ge 500$ ; ligera inflación para $n=50$ bajo sesgo extremo.
  - Wilcoxon: Las tasas de error aumentan linealmente con la asimetría y el tamaño de la muestra. En $n=5000$ con alta asimetría, la tasa de error alcanza 1.0 (tasa de falsos positivos del 100%).
Realidad de los Datos de RI: El análisis de los datos de TREC confirma que las diferencias en las métricas de RI son frecuentemente asimétricas (sesgo $|\gamma| \approx 0.5$ a $3.0$), colocándolas en la "zona de peligro" para la prueba de Wilcoxon.

5. Significado y Recomendaciones

Retiro de Wilcoxon: El artículo concluye que la prueba de rangos con signo de Wilcoxon debe ser abandonada en la evaluación de RI. Su uso es injustificado porque es estructuralmente propensa a fallar bajo las mismas condiciones (asimetría) que caracterizan los datos de RI.
Reevaluación de la prueba $t$ : Se recomienda la prueba $t$ como estándar para comparaciones pareadas en RI, ya que es robusta ante la no normalidad (sesgo, curtosis, discreción) típica de las métricas de RI, siempre que los tamaños de muestra sean razonables ( $n \ge 50$ ).
Cambio Metodológico: El autor aboga por ir más allá de la prueba de hipótesis de pares simple hacia el modelado explícito (por ejemplo, modelos mixtos lineales, Teoría de la Generalizabilidad). Estos enfoques pueden manejar mejor múltiples fuentes de varianza (temas, colecciones, evaluadores) y hacer transparentes los supuestos, en lugar de depender de pruebas de significancia de "caja negra".
Impacto Más Amplio: El artículo advierte contra la importación de reglas metodológicas de otros campos sin escrutinio. Destaca cómo las simplificaciones en los libros de texto pueden conducir a décadas de error metodológico en un dominio específico.

En resumen, el artículo proporciona un argumento estadístico y empírico riguroso de que la alternativa "segura" (Wilcoxon) es en realidad la opción más arriesgada en RI, y llama a un cambio inmediato de vuelta a la prueba $t$ o a marcos de modelado más sofisticados.