Nonparametric Goodness-of-fit Testing under Covariate Shift

Resumo Técnico: Testes de Bondade de Ajuste Nãoparamétricos sob Desvio de Covariáveis

Formulação do Problema
Este artigo aborda o problema do teste de bondade de ajuste nãoparamétrico na presença de desvio de covariáveis (covariate shift). Neste cenário, dados rotulados $\mathcal{D} = \{(X_i, Y_i)\}_{i=1}^n$ são extraídos de uma distribuição de origem $P$, mas o objetivo é avaliar o desempenho de uma função de regressão $f^*$ sob uma distribuição alvo $Q$. As distribuições marginais das covariáveis diferem ($P_X \neq Q_X$), enquanto a distribuição condicional da resposta permanece invariante ($P_{Y|X} = Q_{Y|X}$).

O objetivo inferencial primário é testar a hipótese nula:
$$H_0: \|f_0 - f^*\|_{L^2(Q)} = 0 \quad \text{vs.} \quad H_1: \|f_0 - f^*\|_{L^2(Q)} > 0,$$
onde $f_0$ é uma função candidata e a norma é definida em relação à medida alvo $Q_X$. O desafio reside na construção de conjuntos de confiança válidos para $f^*$ na geometria $L^2(Q)$ utilizando apenas amostras do domínio de origem, particularmente quando a razão de densidade entre o alvo e a origem $\rho(x) = dQ_X/dP_X$ é ilimitada ou apresenta caudas pesadas, o que pode desestabilizar estimadores padrão de ponderação por importância (importance-weighting).

Metodologia
O arcabouço proposto combina a regressão de núcleo de ridge ponderada por importância truncada (IWKRR) com um procedimento de bootstrap de multiplicadores.

1. Estimador IWKRR Truncado:
   A ponderação por importância padrão (IW) estima o risco alvo ponderando as amostras de origem por $\rho(x)$. No entanto, valores elevados de $\rho(x)$ podem causar alta variância. Os autores empregam uma função de peso truncada $w_n(x) = \min\{\rho(x), \tau_n\}$, onde $\tau_n$ é um nível de truncamento pré-especificado. O estimador $\hat{f}$ minimiza o risco empírico truncado:
   $$\hat{f} = \arg\min_{f \in \mathcal{H}} \frac{1}{n} \sum_{i=1}^n w_n(X_i)(Y_i - f(X_i))^2 + \lambda_n \|f\|_{\mathcal{H}}^2,$$
   onde $\mathcal{H}$ é um Espaço de Hilbert Reproduzidor (RKHS) e $\lambda_n$ é o parâmetro de regularização.

2. Bootstrap de Multiplicadores para Conjuntos de Confiança:
   Para construir uma bola de confiança de $100(1-\alpha)\%$ $CS_\alpha(\hat{f}) = \{f \in \mathcal{H} : \|\hat{f} - f\|_{L^2(Q)} \leq \hat{c}_{\alpha,n}\}$, os autores utilizam um bootstrap de multiplicadores.

   • Decomposição Viés-Variância: O erro $\sqrt{n}(\hat{f} - f^*)$ é decomposto em um termo de viés (desprezível sob sub-suavização/under-smoothing) e um termo de flutuação estocástica.
   • Representação de Bahadur: Demonstra-se que o termo estocástico admite uma representação de Bahadur envolvendo funções de influência $U_i$.
   • Estatística de Bootstrap: Uma estatística de bootstrap computável $B$ é construída usando multiplicadores antissimétricos $h_{ij} \sim N(0,1)$ e resíduos empíricos. O raio $\hat{c}_{\alpha,n}$ é determinado pelos quantis empíricos de $\|B\|_{L^2(Q)}$.
   • Eficiência Computacional: O método aproveita a estrutura matricial do RKHS para computar $\|B\|_{L^2(Q)}$ de forma eficiente via formas quadráticas, evitando a necessidade de reajustar o modelo em cada iteração do bootstrap.

Estrutura Teórica e Pressupostos
A validade da inferência depende de várias condições fundamentais:

• Condições de Compatibilidade: O artigo introduz "cobertura de transferência regularizada" (Pressuposto 4.4) e "covariância não degenerada" (Pressuposto 4.5). Estas condições garantem que a geometria da distribuição de origem ponderada (controlada pelos pesos truncados) seja suficientemente compatível com a geometria $L^2(Q)$ do alvo para permitir a transferência válida de erro e propriedades de não-concentração.
• Condições de Razão de Densidade: A teoria acomoda três regimes para a razão de densidade $\rho(x)$:
  1. Razão de densidade limitada.
  2. Condições de cauda sub-exponencial (condições de momento do tipo Bernstein).
  3. Distribuições de cauda pesada com momentos de ordem superior limitados (exigindo truncamento apropriado).
• Condições Espectrais: Os resultados dependem do decaimento espectral do operador integral do núcleo $L_Q$, cobrindo tanto o decaimento polinomial ($\mu_k \asymp k^{-\beta}$) quanto o exponencial.

Principais Contribuições e Resultados

1. Validade Nãoassintótica: O artigo estabelece limites nãoassintóticos para o erro de cobertura dos conjuntos de confiança de bootstrap. A taxa de erro depende do viés, do erro de aproximação Gaussiana e do erro de aproximação do bootstrap.
2. Taxas de Erro Explícitas: Sob condições específicas sobre a razão de densidade e o decaimento espectral do núcleo, os autores derivam taxas de convergência explícitas para a probabilidade de erro de cobertura $|P(f^* \notin CS_\alpha(\hat{f})) - \alpha|$. Por exemplo, sob razões de densidade limitadas e decaimento espectral polinomial, a taxa de erro é mostrada como sendo da ordem de $O(n^{-\gamma} \log^3 n)$ para um expoente $\gamma$ específico determinado pelos parâmetros de suavidade e dimensão.
3. Tratamento Teórico-Operacional: Uma contribção técnica inovadora é o uso de isomorfismos unitários gerados pelas raízes quadradas dos operadores integrais do alvo e da origem ponderada. Isso permite a comparação de flutuações estocásticas em diferentes geometrias ($L^2(Q)$ vs. RKHS) dentro de um cálculo de operador comum, capturando tanto o viés do estimador truncado quanto sua estrutura de covariância.
4. Validação Empírica:
   • Simulações: Experimentos numéricos demonstram que o raio do bootstrap é bem calibrado e que os conjuntos de confiança alcançam uma cobertura empírica próxima ao nível nominal, mesmo quando a razão de densidade é grande.
   • Aplicação em Dados Reais: O método é aplicado ao Survey of Consumer Finances (SCF) para testar hipóteses relativas ao patrimônio líquido das famílias e a monotonicidade das probabilidades de detenção de ações em relação à renda. Os resultados mostram a capacidade de rejeitar funções candidatas específicas (ex: KRR apenas da origem) e testar hipóteses compostas (ex: monotonicidade) em um contexto de ponderação de pesquisa.

Significância e Alegações
O artigo afirma fornecer um arcabouço de inferência geral para avaliar funções de regressão sob desvio de covariáveis, um problema menos compreendido do que o problema de estimação em si. Ao combinar o truncamento para estabilizar a variância com um bootstrap de multiplicadores para quantificar a incerteza, os autores oferecem um procedimento que é:

• Robusto: Aplicável mesmo quando a razão de densidade possui caudas pesadas, desde que o nível de truncamento seja escolhido apropriadamente.
• Teoricamente Fundamentado: Provado possuir garantias de cobertura nãoassintóticas sob condições explícitas de compatibilidade e espectrais.
• Praticamente Viável: Computacionalmente eficiente, exigindo apenas multiplicações de matriz por vetor após o cálculo inicial do estimador.

Os autores enfatizam que sua abordagem permite a construção de conjuntos de confiança na geometria da distribuição alvo, abordando a questão crítica de que uma função próxima da verdade na distribuição de origem pode não ser próxima na distribuição alvo. O trabalho preenche a lacuna entre a estimação robusta sob desvio de covariáveis e a inferência estatística válida.