📊 statistics

Stop Using the Wilcoxon Test: Myth, Misconception and Misuse in IR Research

Este artigo argumenta que o uso generalizado do teste de postos sinalizados de Wilcoxon em avaliações de Recuperação de Informação baseia-se numa narrativa enganosa e é metodologicamente insustentável, pois frequentemente falha em controlar as taxas de erro do Tipo I e deveria ser abandonado em favor de métodos estatísticos mais fiáveis.

Autores originais: Julián Urbano

Publicado 2026-04-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Julián Urbano

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um juiz em uma competição de culinária. Você tem dois chefs, o Chef X e o Chef Y, e pede que eles cozinhem as mesmas 50 receitas. Você quer saber: O Chef X é realmente melhor, ou ele apenas teve sorte com os ingredientes específicos que recebeu?

Para responder a isso, pesquisadores em Recuperação de Informação (a área dos motores de busca) têm usado, há décadas, uma ferramenta matemática específica chamada teste de Wilcoxon. Eles foram informados por livros didáticos de que essa ferramenta é o "plano de segurança, o plano B" a ser utilizado quando os dados parecem bagunçados ou estranhos. Eles pensavam que era o "cinto de segurança" da estatística.

Este artigo argumenta que o cinto de segurança é, na verdade, uma armadilha. O autor, Julián Urbano, diz que devemos parar de usar o teste de Wilcoxon imediatamente, porque ele não apenas falha; ele ativamente nos mente, especialmente no mundo dos motores de busca.

Aqui está a explicação do argumento do artigo usando analogias simples:

1. O Grande Mito: "Não Paramétrico Significa Sem Regras"

O Mito: Os livros didáticos ensinaram aos pesquisadores que o teste de Wilcoxon é "não paramétrico", o que soa como se significasse "não tem regras" ou "funciona com qualquer tipo de dado". As pessoas pensavam: "Se meus dados não forem perfeitamente suaves e em forma de sino, usarei apenas o Wilcoxon porque é a opção 'livre para todos'."

A Realidade: O artigo revela que o Wilcoxon não é livre para todos. Ele tem uma regra muito estrita e oculta: Simetria.

A Analogia: Imagine um gangorra. O teste de Wilcoxon só funciona se a gangorra estiver perfeitamente equilibrada. Se o peso de um lado for ligeiramente mais pesado que o outro (assimetria), o teste quebra.
O Problema: No mundo real dos motores de busca (dados de RI), os dados quase nunca estão perfeitamente equilibrados. Eles estão desequilibrados. Ao usar o Wilcoxon em dados desequilibrados, os pesquisadores estão essencialmente tentando equilibrar uma gangorra que já está tombada. O resultado? O teste grita "Há uma diferença!" mesmo quando não há nenhuma.

2. O Equívoco: "O Teste T Precisa de Dados Perfeitos"

O Equívoco: As pessoas foram informadas de que o padrão teste t de Student (o teste "normal") só funciona se os dados formarem uma curva de sino perfeita e suave. Como as pontuações dos motores de busca são frequentemente irregulares ou discretas, as pessoas pensavam: "Ah, o teste t vai falhar, então devo usar o Wilcoxon."

A Realidade: O teste t é, na verdade, muito mais resistente do que as pessoas pensam.

A Analogia: Pense no teste t como um caminhão de serviço pesado. Ele foi projetado para rodar em rodovias lisas (curvas de sino perfeitas), mas graças a um princípio chamado "Teorema do Limite Central", ele consegue lidar perfeitamente com estradas irregulares, pedregosas e acidentadas. Desde que você tenha pontos de dados suficientes (como dirigir por uma distância longa o suficiente), o caminhão suaviza as irregularidades.
A Descoberta: O artigo mostra que, mesmo quando os dados são estranhos, o teste t permanece na estrada e dá a resposta correta. Ele não bate.

3. O Uso Catastrófico: Por Que o Wilcoxon Falha

O artigo executou milhares de simulações computacionais usando dados reais de motores de busca para ver o que acontece quando você usa esses testes em dados "bagunçados".

O Teste T: Quando os dados eram estranhos (assimétricos, com caudas pesadas ou discretos), o teste t manteve sua taxa de erro estável em 5%. Era confiável.
O Teste de Wilcoxon: Quando os dados estavam ligeiramente desequilibrados (assimétricos), o teste de Wilcoxon entrou em pane.
- A Analogia: Imagine um detector de fumaça tão sensível que dispara quando você apenas torra uma fatia de pão. Nas simulações do artigo, à medida que o tamanho da amostra aumentava, o teste de Wilcoxon começou a gritar "FOGO!" (rejeitando a hipótese nula) quase 100% das vezes, mesmo quando não havia fogo algum.
- Por quê? Porque ele parou de testar "quem é melhor" e começou a testar "os dados estão desequilibrados?". Como os dados de motores de busca são quase sempre desequilibrados, o teste afirma falsamente que existe um vencedor quando não há nenhum.

4. A Conclusão: Pare de Usar a Opção "Segura"

O autor conclui que a crença de que o Wilcoxon é a "alternativa segura" é uma mentira perigosa.

O Teste T é o caminhão robusto que lida com as irregularidades do mundo real.
O Teste de Wilcoxon é uma casa de vidro frágil que se estilhaça no momento em que o vento sopra (assimetria).

O Veredito: O artigo insta a comunidade de Recuperação de Informação a parar de usar o teste de Wilcoxon completamente. Continuá-lo a usar cria uma falsa sensação de segurança e leva os pesquisadores a acreditarem que encontraram melhorias em seus motores de busca quando, na verdade, apenas encontraram ruído estatístico.

Em resumo: O "plano de segurança" é, na verdade, aquele que causa a maioria dos acidentes. É hora de aposentá-lo e ficar com a ferramenta que realmente funciona: o teste t.

1. Declaração do Problema

Na avaliação de Recuperação de Informação (RI), pesquisadores comparam frequentemente o desempenho de sistemas utilizando testes de significância estatística. O teste $t$ de Student e o teste de postos sinalizados de Wilcoxon são os dois métodos dominantes. Uma crença generalizada na comunidade de RI, alimentada por livros didáticos e diretrizes, é a de que o teste de Wilcoxon é uma alternativa "mais segura" e não paramétrica ao teste $t$ quando as pontuações de métricas (por exemplo, NDCG, AP) não seguem uma distribuição normal.

O autor argumenta que essa narrativa é enganosa e prejudicial. O problema central é que a comunidade de RI aplica rotineiramente o teste de Wilcoxon com base em um mal-entendido de suas premissas. Embora o teste $t$ seja frequentemente rejeitado devido à não normalidade percebida das pontuações, o teste de Wilcoxon é adotado sob a falsa premissa de que é "livre de premissas". Na realidade, o teste de Wilcoxon depende de uma premissa de simetria relativa à distribuição das diferenças pareadas. O artigo postula que os dados de RI frequentemente violam essa simetria, fazendo com que o teste de Wilcoxon perca o controle de sua taxa de erro do Tipo I (falsos positivos), enquanto o teste $t$ permanece robusto.

2. Metodologia

O artigo emprega uma abordagem multifacetada combinando revisão de literatura, análise teórica e simulação empírica:

Revisão Sistemática da Literatura: O autor analisou 25 livros didáticos de Estatística (abrangendo estatística geral, estatística não paramétrica e aplicações específicas de campo) para rastrear as origens do mito de que "Wilcoxon é mais seguro". A revisão focou em como esses textos definem métodos não paramétricos, descrevem as premissas do teste $t$ e apresentam o teste de Wilcoxon.
Análise Teórica:
- Teste $t$ : O artigo esclarece que o teste $t$ não exige que as pontuações brutas ( $X, Y$ ) sejam normais, mas sim que a média amostral das diferenças ( $\bar{D}$ ) seja aproximadamente normal. Pelo Teorema do Limite Central (TLC), essa condição é atendida para tamanhos de amostra moderados, mesmo que a distribuição subjacente das diferenças ( $D$ ) seja não normal.
- Teste de Wilcoxon: O artigo destaca que o teste de postos sinalizados de Wilcoxon é um teste da mediana, que é igual à média apenas se a distribuição das diferenças for simétrica. Se a simetria for violada, o teste efetivamente torna-se um teste de simetria em vez de um teste de diferenças de médias, levando a valores $p$ inválidos.
Simulação Empírica (Monte Carlo):
- Fonte de Dados: Dados reais de RI foram coletados de trilhas do TREC (Web, Microblog, Deep Learning, Suporte à Decisão Clínica, Medicina de Precisão), resultando em 53.703 amostras de diferenças pareadas.
- Modelagem de Distribuição: O autor simulou 100.000 amostras sob a hipótese nula ( $H_0: \mu_D = 0$ $H_{0} : μ_{D} = 0$ ) usando quatro distribuições não normais específicas para modelar características de dados de RI:
  1. Assimetria: Usando Distribuição Normal Generalizada Assimétrica (AGN) e Tukey G-and-H (TGH).
  2. Caudas Pesadas: Usando Distribuição Normal Generalizada Simétrica (SGN) e TGH.
  3. Discreticidade: Usando Beta-Binomial Irregular (IBB) para simular métricas como P@k e RR@k.
  4. Multimodalidade: (Breve discussão, mas excluída da simulação detalhada devido a dificuldades de quantificação).
- Parâmetros: As simulações variaram tamanhos de amostra ( $n = 5, 50, 500, 5000$ ) e níveis de desvio da normalidade (de baixo a "patologicamente alto").
- Métrica: A métrica principal foi a taxa de erro do Tipo I em $\alpha = 0.05$ .

3. Contribuições Principais

A. Desconstrução do "Mito, Equívoco, Mau Uso"

O Mito: Métodos não paramétricos são "livres de premissas".
- Correção: Não são. O teste de Wilcoxon assume simetria da distribuição das diferenças. Esta é uma premissa mais forte e frequentemente mais facilmente violada do que a normalidade aproximada exigida para a média do teste $t$ .
O Equívoco: O teste $t$ $t$ exige pontuações distribuídas normalmente.
- Correção: O teste $t$ exige que a média amostral seja normal. Devido ao TLC, isso é válido para tamanhos de amostra de RI ( $n \ge 50$ ) mesmo com dados assimétricos ou de cauda pesada.
O Mau Uso: Usar Wilcoxon como um "fallback" seguro para dados não normais.
- Correção: Como os dados de RI são frequentemente assimétricos, usar Wilcoxon introduz um risco severo de inflação de erros do Tipo I, tornando-o menos seguro do que o teste $t$ .

B. Evidência Empírica de Falha

As simulações demonstraram que:

Discreticidade e Caudas Pesadas: Tanto o teste $t$ quanto o teste de Wilcoxon performam bem (mantendo taxas de erro de $\approx 5\%$ ) sob distribuições discretas e de cauda pesada, desde que $n$ não seja trivialmente pequeno.
Assimetria (A Falha Crítica):
- O teste $t$ permanece robusto. Mesmo sob assimetria patológica, a taxa de erro permanece próxima de 5% para $n \ge 500$ e infla apenas ligeiramente (até ~10%) para $n=50$ .
- O teste de Wilcoxon falha catastróficamente. À medida que o tamanho da amostra aumenta, a taxa de erro dispara. Sob forte assimetria com $n=500$ , o teste rejeita a hipótese nula quase 100% das vezes, mesmo quando nenhuma diferença real existe. Ele efetivamente testa assimetria em vez de diferença de desempenho.

C. Análise de Inconsistências em Livros Didáticos

A revisão revelou que apenas ~50% dos livros didáticos pesquisados mencionam explicitamente a premissa de simetria para o teste de Wilcoxon. Muitos o apresentam vagamente como um teste para "dados ordinais" ou "posição", obscurecendo o requisito crítico de simetria. Essa falta de clareza na literatura fundamental propagou o mau uso para a pesquisa em RI.

4. Resultados

Taxas de Erro do Tipo I:
- Simétrico/Cauda Pesada/Discreto: Ambos os testes mantêm taxas de erro nominais ( $\approx 0.05$ ).
- Assimétrico:
  - Teste $t$ : As taxas de erro permanecem próximas de 0.05 para $n \ge 500$ ; leve inflação para $n=50$ sob assimetria extrema.
  - Wilcoxon: As taxas de erro aumentam linearmente com a assimetria e o tamanho da amostra. Em $n=5000$ com alta assimetria, a taxa de erro atinge 1.0 (100% de taxa de falso positivo).
Realidade dos Dados de RI: A análise de dados do TREC confirma que as diferenças de métricas de RI são frequentemente assimétricas (assimetria $|\gamma| \approx 0.5$ a $3.0$), colocando-as na "zona de perigo" para o teste de Wilcoxon.

5. Significado e Recomendações

Aposentadoria do Wilcoxon: O artigo conclui que o teste de postos sinalizados de Wilcoxon deve ser abandonado na avaliação de RI. Seu uso é injustificado porque é estruturalmente propenso a falhar sob as próprias condições (assimetria) que caracterizam os dados de RI.
Reavaliação do Teste $t$ : O teste $t$ é recomendado como padrão para comparações pareadas em RI, pois é robusto à não normalidade (assimetria, curtose, discreticidade) típica das métricas de RI, desde que os tamanhos de amostra sejam razoáveis ( $n \ge 50$ ).
Mudança Metodológica: O autor defende ir além do simples teste de hipóteses pareado em direção à modelagem explícita (por exemplo, modelos lineares mistos, Teoria da Generalizabilidade). Essas abordagens podem lidar melhor com múltiplas fontes de variância (tópicos, coleções, avaliadores) e tornar as premissas transparentes, em vez de depender de testes de significância "caixa preta".
Impacto Mais Amplo: O artigo alerta contra a importação de regras metodológicas de outros campos sem escrutínio. Destaca como simplificações em livros didáticos podem levar a décadas de erro metodológico em um domínio específico.

Em resumo, o artigo fornece um argumento estatístico e empírico rigoroso de que a alternativa "segura" (Wilcoxon) é na verdade a escolha mais arriscada em RI, e defende uma mudança imediata de volta para o teste $t$ ou para frameworks de modelagem mais sofisticados.