📊 statistics

New Equivalence Tests for Approximate Independence in Contingency Tables

Este artigo introduz novos testes de equivalência assintóticos e baseados em bootstrap para independência aproximada em tabelas de contingência de duas vias, apresentando um estimador computacionalmente eficiente para pontos de fronteira, e valida seu desempenho por meio de simulações e aplicações do mundo real com uma implementação em R acompanhante.

Autores originais: Vladimir Ostrovski

Publicado 2026-07-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vladimir Ostrovski

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério: duas coisas em seus dados estão verdadeiramente conectadas ou estão apenas fingindo estar? Talvez você esteja observando se a cor dos olhos tem algo a ver com a cor do cabelo, ou se o gênero de um paciente altera a forma como ele reage a um medicamento específico. No mundo da estatística, isso é chamado de testar a "independência".

Normalmente, os detetives procuram por uma correspondência perfeita. Se os dados não são uma correspondência de 100% perfeita, eles dizem: "Aha! Eles estão conectados!" Mas, na vida real, nada é nunca perfeitamente perfeito. Às vezes, duas coisas são quase independentes, apenas próximas o suficiente para que as pequenas diferenças não importem muito. É aqui que entra a "independência aproximada".

O problema? As ferramentas dos antigos detetives eram um pouco desajeitadas. Elas dependiam de um método que exigia resolver um quebra-cabeça matemático massivo e complicado (chamado "otimização numérica") toda vez que encontravam a resposta. Era como tentar encontrar uma agulha em um palheiro construindo um novo robô para cada pedaço de feno. Era lento, e o robô às vezes ficava preso.

O Novo Kit de Detetive
Vladimir Ostrovski, um estatístico de Colônia, Alemanha, construiu um kit de detetive totalmente novo e mais ágil. Em vez de lutar contra esse quebra-cabeça matemático pesado, ele inventou duas novas formas super rápidas de medir a "distância" entre seus dados e a ideia de independência total.

Pense nisso como medir o quão longe uma mesa bamba está de ser perfeitamente plana.

A Régua "Absoluta" ( $d_a$ ): Mede a diferença bruta. É como verificar quantos milímetros a perna da mesa está fora do chão.
A Régua "Relativa" ( $d_r$ ): Mede a diferença em relação ao tamanho da mesa. É como perguntar: "Esse balanço é enorme comparado ao tamanho da mesa ou é apenas um pontinho minúsculo?"

Essas novas réguas são fáceis de usar. Você não precisa de um supercomputador para lê-las; pode calcular a resposta instantaneamente.

O Truque de Mágica do "Bootstrap"
Aqui está a parte complicada: para saber se sua medição é uma diferença "real" ou apenas um acaso causado por ter uma amostra pequena de dados, você precisa saber qual é o "valor crítico". É como saber quanto de balanço é demais antes de declarar a mesa quebrada.

A maneira antiga calculava isso usando uma fórmula teórica que funciona muito bem quando você tem milhões de pontos de dados, mas fica um pouco instável quando você tem apenas alguns. Para corrigir isso, o autor utiliza um truque chamado bootstrap.

Imagine que você tem um saco de bolinhas representando seus dados. O método bootstrap é como mergulhar a mão no saco, puxar um punhado, fazer uma cópia, colocá-los de volta e repetir isso milhares de vezes para ver o quanto os resultados oscilam. Isso dá uma imagem muito mais precisa do que está acontecendo com grupos menores de dados.

Mas havia um detalhe: para fazer esse truque de bootstrap para independência, você geralmente precisa encontrar um "ponto de fronteira" específico — um lugar mágico onde os dados estão exatamente na borda de serem independentes. Encontrar esse ponto era como tentar encontrar um grão de areia específico em uma praia sem um mapa.

A Solução: Um Mapa Aleatorizado
O autor resolveu isso criando um "estimador aleatorizado". Em vez de tentar encontrar aquele único grão de areia perfeito, o método lança uma rede sobre a praia. Ele gera vários "pontos exteriores" aleatórios (lugares que definitivamente não são independentes) e então desenha uma linha entre seus dados e esses pontos para encontrar a fronteira.

É como dizer: "Eu não sei exatamente onde é a borda da floresta, mas se eu caminhar de minha casa em direção a uma montanha que eu sei que está longe, eventualmente chegarei à borda". Isso torna todo o processo rápido e computacionalmente possível, mesmo para tabelas complexas.

O Que as Simulações Mostraram
O autor não apenas adivinhou; ele rodou um laboratório de simulação massivo. Ele criou milhares de tabelas de dados falsas de diferentes tamanhos (de grades de $2 \times 4$ até enormes de $5 \times 5$ ) e testou seu novo método contra o antigo.

A Boa Notícia: Os testes de "bootstrap" são muito melhores em lidar com tamanhos de amostra pequenos. Eles seguem as regras (o "nível nominal" de 0,05) muito melhor do que os testes "assintóticos" antigos, que tendiam a ser cautelosos demais (conservadores) conforme as tabelas ficavam maiores.
O Problema: Os testes não são perfeitos em todos os lugares. Se os dados tiverem categorias com quase zero pessoas (como uma categoria onde a probabilidade é próxima de zero), os testes podem ser um pouco ansiosos demais para encontrar uma conexão (anti-conservadores). O autor alerta que, se seus dados tiverem caixas vazias ou quase vazias, você precisa ser extra cuidadoso.
O Truque do "Encolhimento": Para tornar os testes mais seguros, o autor mostrou que, se você reduzir o "parâmetro de tolerância" (a quantidade de balanço que você está disposto a aceitar) para 0,18, os testes tornam-se muito confiáveis e raramente geram alarmes falsos.

Testes no Mundo Real
O autor levou este novo kit para testar em três mistérios da vida real:

Terapia com Nitrendipina: O gênero afeta a forma como os pacientes reagem a este remédio para pressão arterial? Com uma amostra de 217 pessoas, os novos testes sugeriram que o gênero e o resultado são aproximadamente independentes (eles não estão fortemente ligados).
Cor dos Olhos e do Cabelo: Olhos castanhos sempre acompanham cabelos castanhos? Os testes confirmaram o que já sabemos: eles não são independentes. Os dados mostraram um forte vínculo, e os testes só aceitariam a independência se você permitisse uma enorme quantidade de "balanço" (uma tolerância de cerca de 0,58).
Filhos e Renda: O número de filhos de uma família depende da sua renda? Este conjunto de dados era enorme (25.263 pessoas), mas algumas categorias estavam muito vazias. Os testes sugeriram que eles poderiam ser aproximadamente independentes, mas a aproximação foi "muito imprecisa" devido a essas categorias vazias.

A Conclusão
Este artigo não afirma ter resolvido o mistério da independência para sempre. Em vez disso, oferece um novo conjunto de ferramentas mais rápido e confiável para estatísticos. Ele substitui um quebra-cabeça matemático lento e pesado por um cálculo rápido e inteligente e um método de "caminhada aleatória" astuto para lidar com conjuntos de dados pequenos.

O autor disponibiliza um "kit de detetive" gratuito (código de software) online para qualquer pessoa usar. Embora os testes funcionem muito bem na maioria das situações, o artigo alerta explicitamente que eles precisam ser usados com cautela ao lidar com categorias de dados que possuem pouquíssimas entradas. É uma nova maneira poderosa de olhar para o mundo, mas, como qualquer bom detetive, você ainda precisa saber quando conferir suas pistas.

Resumo Técnico: Novos Testes de Equivalência para Independência Aproximada em Tabelas de Contingência

Definição do Problema
O artigo aborda o desafio estatístico de testar a independência aproximada de linhas e colunas em tabelas de contingência de duas vias. Diferente dos testes de independência tradicionais, que buscam rejeitar a hipótesa nula de independência perfeita, este trabalho foca no teste de equivalência. O objetivo é testar a hipótese nula $H_0: \{d(p, M) \geq \varepsilon\}$ contra a hipótese alternativa $H_1: \{d(p, M) < \varepsilon\}$ , onde $p$ é a matriz de probabilidade verdadeira, $M$ é o modelo de independência (o conjunto de todas as medidas de produto) e $d$ é uma métrica de distância, com $\varepsilon > 0$ sendo um parâmetro de tolerância pré-especificado.

O autor observa que, embora existam métodos anteriores (ex: Hodges e Lehmann, 1954; Diaconis e Efron, 1985; Liu e Lindsay, 2009; Wellek, 2010), estes frequentemente dependem de regiões de tolerância semiparamétricas ou testes de consistência com distribuições multinomiais totalmente especificadas. Uma limitação específica identificada no trabalho anterior do autor (Ostrovski, 2018) é a dependência de otimização numérica para calcular a distância mínima $d(p, M)$ , o que torna os testes baseados em bootstrap computacionalmente intensivos. Além disso, a existência de um minimizador contínuo para o modelo de independência era assumida, mas não provada, criando uma lacuna teórica.

Metodologia
O artigo propõe um framework que evita a otimização numérica para o modelo de independência através da introdução de duas métricas de distância específicas derivadas de transformações da matriz de probabilidade $p$ :

Desvio Absoluto ( $d_a$ ): Definido via a transformação $h_a(p) = (p_{ij} - r_i c_j)$ , onde $r$ e $c$ são vetores de probabilidade marginal. A distância é $d_a(p, M) = l(h_a(p), 0)$ .
Desvio Relativo ( $d_r$ ): Definido via a transformação $h_r(p) = (p_{ij} / r_i c_j)$ . A distância é $d_r(p, M) = l(h_r(p), 1)$ .

Aqui, $l$ representa uma distância diferenciável (especificamente a distância euclidiana escalonada nas simulações). Estas métricas permitem o cálculo direto da distância mínima ao modelo de independência sem a necessidade de otimização iterativa.

O artigo desenvolve dois tipos de testes:

Testes Assintóticos: As estatísticas de teste são definidas como $T_*(p_n) = \sqrt{n}(d_*(p_n, M) - \varepsilon)$ . Usando o método Delta, o autor deriva a distribuição gaussiana assintótica dessas estatísticas. Os valores críticos são calculados usando a variância assintótica estimada $\sigma_*(p_n)$ .
Testes Bootstrap: Para melhorar o desempenho em amostras finitas, um método de bootstrap paramétrico é introduzido. Uma inovação fundamental é o desenvolvimento de um estimador de ponto de fronteira ( $\tilde{p}_n$ $\tilde{p}_{n}$ ) computacionalmente viável. Como a fronteira $\partial H_0$ $\partial H_{0}$ é complexa e difícil de parametrizar, o autor propõe um estimador aleatorizado. Isso envolve:
- Selecionar um conjunto de pontos "exteriores" $Q$ onde $d_*(q, M) > \varepsilon$ .
- Construir combinações lineares $c(p_n, q) = a_n p_n + (1-a_n)q$ tais que a distância ao modelo seja igual a $\varepsilon$ .
- Selecionar a combinação que minimiza a distância aos dados observados $p_n$ como o estimador $\tilde{p}_n$ .
- Utilizar simulação de Monte Carlo baseada em $\tilde{p}_n$ para estimar o valor crítico $c(\alpha, \tilde{p}_n)$ .

Principais Contribuições

Simplificação Analítica: O artigo fornece expressões de forma fechada para a distância mínima ao modelo de independência usando $d_a$ e $d_r$ , eliminando a necessidade da otimização numérica exigida em métodos gerais anteriores.
Estimativa de Fronteira Eficiente: Um estimador aleatorizado para o ponto de fronteira foi desenvolvido, tornando o teste bootstrap computacionalmente viável para tabelas de contingência.
Garantias Teóricas: O autor prova que o proposto estimador de fronteira é consistente (converge quase em toda parte para o verdadeiro ponto de fronteira) sob condições específicas e estabelece a normalidade assintótica das estatísticas de teste.
Implementação: Os testes são implementados em R e disponibilizados online.

Resultos
O desempenho dos testes propostos foi avaliado através de estudos de simulação e aplicado a conjuntos de dados do mundo real:

Desempenho em Amostras Finitas:
- Poder: O parâmetro de tolerância mínimo $\varepsilon$ necessário para atingir 90% de poder diminui com o tamanho da amostra ( $n^{-1/2}$ ) e aumenta com o tamanho da tabela ( $k_1 + k_2$ ).
- Erro do Tipo I: Os testes assintóticos mostraram-se não conservadores para tabelas pequenas, mas altamente conservadores para tabelas maiores. Em contrapartida, os testes bootstrap mantiveram as probabilidades de rejeição muito próximas do nível nominal ( $\alpha = 0,05$ ) através de vários tamanhos de tabela, embora o teste bootstrap baseado em $d_r$ tenha mostrado uma tendência a ser anti-conservador em regiões de fronteira específicas (onde as probabilidades marginais estão próximas de zero).
- Erro do Tipo II: O poder dos testes baseados em $d_a$ foi relativamente estável entre diferentes pontos, enquanto os testes baseados em $d_r$ mostraram alta variabilidade.
Aplicações em Dados Reais:
- Terapia com Nitrendipina: Com um tamanho de amostra pequeno ( $n=217$ ), tanto os testes assintóticos quanto os de bootstrap sugeriram independência aproximada entre o desfecho do tratamento e o gênero.
- Cor dos Olhos e do Cabelo: Os testes rejeitaram corretamente a independência para $\varepsilon$ muito grandes, confirmando a falta de independência conhecida entre essas variáveis.
- Filhos e Renda: Apesar de um grande tamanho de amostra ( $n=25.263$ ), a esparsidade na categoria "4+ filhos" levou a um baixo poder para os testes baseados em $d_r$ . Os testes baseados em $d_a$ sugeriram independência aproximada, mas notaram que a aproximação era imprecisa.

Significância e Alegações
O artigo afirma oferecer um método estatisticamente eficiente e computacionalmente viável para testar a independência aproximada. Ao evitar a otimização numérica e suposições não comprovadas sobre a existência de minimizadores contínuos (que eram necessárias em Ostrovski, 2018), o método proposto fornece uma base teórica mais robusta. O autor enfatiza que os testes bootstrap, particularmente ao usar o proposto estimador de fronteira, oferecem um desempenho superior em amostras finitas comparado aos testes assintóticos, especialmente para tabelas de contingência maiores. O trabalho é apresentado como uma melhoria prática para a prática estatística, com as ferramentas disponibilizadas para facilitar a aplicação.

Resumo Técnico: Novos Testes de Equivalência para Independência Aproximada em Tabelas de Contingência

Mais como este