General Frameworks for Conditional Two-Sample Testing

Resumo Técnico: Estruturas Gerais para Testes de Duas Amostras Condicionais

Configuração do Problema
Este artigo aborda o problema do teste de duas amostras condicionais, que busca determinar se duas populações compartilham a mesma distribuição condicional de uma variável resposta $Y$ dada uma covariável $X$, após levar em conta potenciais fatores de confusão. Formalmente, dados dois amostras independentes $\{(X^{(1)}_i, Y^{(1)}_i)\}_{i=1}^{n_1} \sim P^{(1)}_{XY}$ e $\{(X^{(2)}_i, Y^{(2)}_i)\}_{i=1}^{n_2} \sim P^{(2)}_{XY}$, o objetivo é testar a hipótese nula:
$$H_0: P^{(1)}_{Y|X}(\cdot | X) = P^{(2)}_{Y|X}(\cdot | X) \quad \text{quase certamente}$$
contra a alternativa de que elas diferem com probabilidade positiva. Este problema surge em aplicações críticas, como adaptação de domínio (validando suposições de deslocamento de covariáveis) e equidade algorítmica (detectando viés condicional a atributos demográficos).

Resultado de Dificuldade
Os autores estabelecem primeiro um resultado de dificuldade fundamental para este problema. Eles demonstram que, sem suposições adicionais, nenhum teste válido de duas amostras condicionais pode possuir poder não trivial contra qualquer alternativa única quando a variável de condicionamento $X$ é contínua. Esta descoberta paralela ao resultado negativo para testes de independência condicional estabelecido por Shah e Peters (2020). Uma distinção técnica chave em sua prova é que, ao contrário dos cenários padrão de independência condicional onde os indicadores de grupo são aleatórios, os tamanhos das amostras $n_1$ e $n_2$ no problema de duas amostras são determinísticos. Os autores preenchem essa lacuna usando argumentos de concentração para mostrar que o problema permanece intrinsecamente difícil, necessitando de suposições estruturais (por exemplo, suavidade ou limitação das razões de densidade) para tornar o problema viável.

Estruturas Metodológicas
Para superar essas dificuldades, o artigo introduz duas estruturas gerais que incorporam implicitamente ou explicitamente suposições razoáveis para permitir testes válidos.

1. Estrutura via Teste de Independência Condicional (CIT)
A primeira estrutura aproveita a equivalência entre o teste de duas amostras condicionais e o teste de independência condicional. Ao introduzir um indicador de grupo binário $Z$, o problema $P^{(1)}_{Y|X} = P^{(2)}_{Y|X}$ é equivalente a testar $Y \perp\!\!\!\perp Z \mid X$.

• Algoritmo 1: Os autores propõem um método genérico de conversão "caixa-preta" que transforma qualquer teste de independência condicional existente em um teste de duas amostras condicionais. O algoritmo constrói um conjunto de dados de triplas i.i.d. $(X, Y, Z)$ por subamostragem dos grupos fixos originais com base em uma distribuição Binomial. Se os tamanhos subamostrados excederem os tamanhos dos grupos originais, a hipótese nula é aceita; caso contrário, um teste padrão de independência condicional é aplicado aos dados permutados.
• Garantias Teóricas: O Teorema 2 prova que esta conversão preserva a validade assintótica (controle do erro Tipo I) e a consistência (poder) do teste de independência condicional subjacente, desde que a estatística de teste seja "estável em acoplamento" ou a perda de subamostragem seja assintoticamente negligenciável.

2. Estrutura via Estimativa de Razão de Densidade (DRT)
A segunda estrutura transforma a comparação condicional em uma comparação marginal usando estimativa de razão de densidade.

• Princípio: A hipótese nula vale se e somente se a densidade conjunta $f^{(1)}_{XY}$ for igual a uma versão reponderada de $f^{(2)}_{XY}$, especificamente $f^{(1)}_{XY}(x,y) = r_X(x) f^{(2)}_{XY}(x,y)$, onde $r_X(x) = f^{(1)}_X(x)/f^{(2)}_X(x)$ é a razão de densidade marginal.
• Implementação: O problema é reescrito como um teste de duas amostras marginal entre $f^{(1)}_{XY}$ e a $f^{(2)}_{XY}$ reponderada. Os autores demonstram isso através de duas abordagens concretas:
  • Abordagem baseada em classificador: Treinar um classificador para distinguir entre os dois grupos, onde a função de perda para o segundo grupo é ponderada pela razão de densidade estimada $r_X$.
  • Abordagem baseada em kernel (MMD): Usando Discrepância de Média Máxima com ponderação por importância. Os autores propõem uma estatística MMD unificada em blocos governada por um parâmetro $\gamma \in [0, 1]$.
    • Regime I ($0 \le \gamma < 1$): Usa estatísticas U em blocos para alcançar normalidade assintótica.
    • Regime II ($\gamma = 1$): Recupera o MMD quadrático padrão, calibrado via um bootstrap multiplicador para lidar com a distribuição limite não gaussiana.
• Divisão de Amostra: Para evitar viés de plug-in, os autores empregam divisão de amostra (ou ajuste cruzado) para separar a estimativa de $r_X$ da avaliação da estatística de teste.

Contribuições Principais

1. Caracterização de Dificuldade: Prova rigorosa de que o teste de duas amostras condicionais é tão difícil quanto o teste de independência condicional sob condicionamento contínuo, destacando a necessidade de suposições.
2. Algoritmo de Conversão Genérico: Um algoritmo inovador (Algoritmo 1) que permite aos praticantes aplicar qualquer teste de independência condicional existente ao cenário de duas amostras, mantendo garantias teóricas.
3. Estrutura de Razão de Densidade: Uma estrutura flexível que converte testes condicionais em testes marginais via razões de densidade, implementada com métodos baseados em classificador e baseados em kernel.
4. Teoria MMD Unificada: Desenvolvimento teórico de uma estrutura MMD unificada cobrindo regimes de tempo linear (em blocos) e quadrático, incluindo calibração por bootstrap para este último.

Resultados e Achados Empíricos
O artigo avalia os métodos propostos em dados sintéticos (abrangendo modelos lineares, de alta variância e pós-não-lineares) e conjuntos de dados do mundo real (Diamonds e Supercondutividade).

• Dados Sintéticos:
  • Métodos DRT (baseados em razões de densidade) mostram poder superior quando a razão de densidade marginal é limitada e facilmente estimável.
  • Métodos CIT (via Algoritmo 1) e métodos de kernel condicional (CMMD, CGED) são mais robustos a razões de densidade ilimitadas, mas podem sofrer em cenários específicos de alta variância.
  • Nenhum método único domina uniformemente; o desempenho depende fortemente do mecanismo de geração de dados e da dificuldade de estimar a razão de densidade.
• Dados Reais:
  • Em cenários de alta dimensionalidade (conjunto de dados de Supercondutividade), a escolha do estimador de razão de densidade é crítica. A Regressão Logística Linear (LLR) falhou em controlar o erro Tipo I, enquanto a Regressão Logística com Kernel (KLR) restaurou a validade, embora a um custo computacional mais alto.
  • Métodos de kernel condicional (CMMD, CGED) alcançaram poder competitivo, mas incorreram em custos computacionais significativamente mais altos (ordens de magnitude mais lentos que outros métodos).

Significado e Afirmações
O artigo afirma fornecer uma fundação sistemática para o teste de duas amostras condicionais, um problema previamente pouco explorado na estatística não paramétrica. Ao estabelecer a dificuldade inerente e oferecer duas estruturas distintas e teoricamente fundamentadas, o trabalho expande o conjunto de ferramentas disponível para os praticantes.

• A estrutura CIT oferece um caminho prático para aproveitar a extensa literatura sobre testes de independência condicional para problemas de duas amostras.
• A estrutura DRT conecta o teste condicional ao campo bem estudado de ponderação por importância e testes marginais, oferecendo flexibilidade na seleção de métodos (classificação versus kernels).
• Os autores enfatizam que a validade desses métodos depende de suposições específicas (por exemplo, limitação ou estimabilidade das razões de densidade), e fornecem orientação empírica sobre as compensações entre custo computacional, poder e controle do erro Tipo I em diferentes regimes de dados.

O trabalho conclui identificando direções futuras, como estender as estruturas para testes de $K$-amostras condicionais ($K \ge 2$) e explorar abordagens baseadas em reamostragem, como Reamostragem por Importância de Amostragem (SIR).