Resumo Técnico: Os Limites do Desenho Experimental – Equilíbrio de Covariáveis Além da Baixa Dimensão

1. Enunciado do Problema

O artigo aborda uma tensão fundamental no desenho experimental: o compromisso entre alcançar a eficiência semiparamétrica (minimização da variância do estimador do Efeito Médio do Tratamento) e a maldição da dimensionalidade em amostras finitas.

Embora trabalhos teóricos recentes (ex: Bai et al., 2022, 2026b) tenham estabelecido que desenhos estratificados finos, como pares combinados (matched pairs), podem atingir o limite de eficiência semiparamétrica de Hahn (1998) assintoticamente, esses resultados dependem de pressupostos fortes. Especificamente, eles exigem que as diferenças de covariáveis dentro dos grupos combinados desapareçam assintoticamente. O artigo argumenta que, em amostras finitas com covariáveis de alta dimensão ($d$), isso é praticamente impossível. A distância entre os vizinhos mais próximos em $d$ dimensões diminui a uma taxa de $n^{-1/d}$, implicando que alcançar combinações quase perfeitas através de "várias dezenas" de covariáveis com milhares de unidades é inviável.

O problema central é quantificar quão rápido os desenhos experimentais podem se aproximar do limite de eficiência $V^*$ uniformemente sobre classes de modelos de resultado, e determinar os limites dessa convergência como uma função do tamanho da amostra $n$, da dimensão de covariáveis $d$ e da suavidade do resultado.

2. Metodologia e Estrutura

2.1 Excesso de Variância como Desequilíbrio

O autor define a métrica de desempenho como o excesso de variância $V_n$, a lacuna entre a variância de amostra finita do estimador de Horvitz-Thompson não ajustado e o limite de eficiência semiparamétrica $V^*$:
$$V_n \equiv n \text{Var}(\hat{\theta}) - V^*$$
Utilizando a Proposição 2.3, o artigo estabelece que o excesso de variância é determinado exatamente pelo desequilíbrio amostral do modelo de resultado $m(\psi) = E[(Y(1) + Y(0))/2 | \psi]$:
$$V_n = 4n \cdot E\left[ \left( \frac{1}{n} \sum_{i=1}^n Z_i m(\psi_i) \right)^2 \right]$$
onde $Z_i \in \{-1, 1\}$ é a atribuição de tratamento centrada. Isso reformula a eficiência como um problema de equilíbrio de funções.

2.2 Ferramentas Analíticas

• Análise Minimax: O artigo deriva limites superiores e inferiores para $V_n$ sobre classes de funções específicas (Hölder, Sobolev e classes não paramétricas de complexidade restrita).
• Gram-Schmidt Walk (GSW): A metodologia aproveita o algoritmo de balanceamento de vetores de Bansal et al. (2019) e Harshaw et al. (2024). O autor "kerneliza" este algoritmo, usando um kernel de desenho $K$ para construir uma matriz de entrada semidefinida positiva $\Gamma_n$. Isso permite balancear funções dentro de um Espaço de Hilbert de Núcleo Reproduzível (RKHS) em vez de apenas funções lineares.
• Classes de Funções:
  • Classes de Hölder ($\mathcal{P}_\beta$): Para resultados brutos, não suaves.
  • Espaços de Sobolev ($H^s$): Para resultados suaves, parametrizados pela ordem de suavidade $s$.
  • Classes de Complexidade Restrita: Modelos aditivos ($g(\psi) = a + \sum g_j(\psi_j)$) e modelos de interação bivariada, projetados para serem balanceados mesmo quando $d$ é grande.

3. Contribuições Principais e Resultados

3.1 A Impossibilidade de Eficiência Uniforme em Altas Dimensões

O artigo prova um teorema de impossibilidade central (Teorema 3.1, Corolário 3.2, Teorema 4.9):

• Pares Combinados (Matched Pairs): Nenhum esquema de combinação pode garantir que o excesso de variância desapareça mais rápido que $n^{-2/d}$, mesmo para modelos de resultado lineares (infinitamente suaves).
• Desenhos Gerais: Nenhum desenho experimental admissível pode garantir eficiência assintótica uniforme (convergência para $V^*$) fora do regime onde $d = o(\log n)$.
• Implicação: Para experimentos com milhares de unidades, as garantias de eficiência padrão só se aplicam a um "punhado" de covariáveis. Além disso, a maldição da dimensionalidade impede que qualquer desenho se aproxime uniformemente do limite de eficiência clássico, independentemente da suavidade do modelo de resultado.

3.2 Otimalidade de Combinação para Modelos Brutos

Embora a combinação seja ineficiente para modelos suaves em altas dimensões, o artigo estabelece que ela é minimax otimamente eficiente para modelos de resultado brutos (classes de Hölder com $\beta \in (0, 1]$) em dimensões baixas fixas (Teorema 3.4, Corolário 3.6). Combinações estáveis alcançam a taxa $V_n \asymp n^{-2\beta/d}$. Esta taxa lenta é o "preço da robustez" sob pressupostos fracos; a combinação não consegue explorar a suavidade além do limite Lipschitz ($\beta=1$).

3.3 GSW Não Paramétrico e Adaptação à Suavidade

Para explorar a suavidade, o autor propõe desenhos de GSW Kernelizado:

• Taxas Adaptativas: Uma única sequência de desenhos GSW, usando um kernel de Matérn com um parâmetro de ajuste $\nu_n = c/\log n$, adapta-se à suavidade de Sobolev $s > 0$ desconhecida sem conhecimento prévio.
• Taxas de Convergência: O desenho alcança uma taxa de excesso de variância de $V_n \asymp (\frac{\log n}{n})^{(2s/d) \wedge 1}$.
  • Quando $2s \leq d$, a taxa é $n^{-2s/d}$.
  • Quando $2s > d$, a taxa é quase paramétrica ($n^{-1}$), até fatores logarítmicos.
• Limitação: Mesmo esses desenhos adaptativos não conseguem superar a barreira de $d = o(\log n)$ para eficiência total.

3.4 Desenhos Eficientes Além das Baixas Dimensões (Complexidade Restrita)

Motivado pelo resultado de impossibilidade, o artigo propõe o balanceamento de classes não paramétricas de complexidade restrita (ex: modelos aditivos ou bivariados), em vez do espaço de funções completo.

• Modelos Aditivos e Bivariados: Ao visar classes de funções como $g(\psi) = a + \sum g_j(\psi_j)$, os desenhos podem acomodar dimensões muito mais altas:
  • Modelos aditivos: Permitem $d = o(n)$ covariáveis.
  • Modelos de interação bivariada: Permitem $d = o(\sqrt{n})$ covariáveis.
• Alvo de Variância: Esses desenhos se aproximam de um alvo $V^* + \Delta_G$, onde $\Delta_G$ é a lacuna de variância devido à variação não modelada. Se o modelo de trabalho for uma boa aproximação, esse alvo é próximo de $V^*$, mas alcançável a taxas muito mais rápidas.

3.5 Robustecimento via Matched GSW

O autor combina o GSW estruturado com a combinação (matching) para proteger contra a variação não modelada (Seção 5.2).

• Mecanismo: A combinação controla a variação local dentro dos pares ($m - m_G$), enquanto o GSW controla o desequilíbrio global do componente estruturado ($m_G$).
• Resultado: O desenho resultante "Matched GSW" retém as taxas de convergência rápidas para o componente estruturado, ao mesmo tempo em que oferece robustez contra o resíduo. O Teorema 5.6 mostra que, se o resíduo for contínuo de Hölder, o excesso de variância total é limitado pela soma da taxa de combinação para o resíduo e a taxa GSW para o componente estruturado.

3.6 Aplicação Empírica

O artigo avalia esses desenhos usando simulações de Monte Carlo calibradas para 12 experimentos randomizados publicados na economia (tamanhos de amostra $n \in [96, 1200]$, dimensões $d \in [7, 51]$).

• Descobertas:
  • Os desenhos GSW não paramétricos aditivos e bivariados reduzem a variância do estimador em relação aos pares combinados clássicos em todos os cenários empícos.
  • O GSW de dimensão total performa de forma semelhante aos pares combinados em média.
  • O Matched Additive GSW apresenta o melhor desempenho geral, oferecendo a maior redução de variância e intervalos de confiança mais curtos, mantendo a cobertura nominal (aprox. 94,8%).
• Inferência: O autor desenvolve um novo estimador de variância baseado no desenho e corrigido por covariáveis para o Matched GSW, que é conservador para o Efeito Médio de Amostra (SATE) e assintoticamente não conservador para o Efeito Médio do Tratamento (ATE).

4. Significância e Alegações

O artigo afirma fornecer a primeira teoria de eficiência de amostra finita para o desenho experimental que caracteriza explicitamente a dependência do tamanho da amostra, da dimensão das covariáveis e da complexidade do resultado.

• Mudança Teórica: Desafia a visão predominante de que desenhos estratificados finos são universalmente eficientes, demonstrando que essa eficiência é estritamente limitada a regimes de baixa dimensão ($d \ll \log n$).
• Recomendação Prática: O autor argumenta que os profissionais devem abandonar a busca pelo limite de eficiência clássico em altas dimensões. Em vez disso, devem adotar desenhos de minimização de discrepância (GSW) visando classes não paramétricas de menor complexidade (especificamente modelos aditivos) combinados com a combinação (matching).
• Robustez: Esta abordagem oferece uma solução de "melhor dos dois mundos": alcança taxas de convergência rápidas para os componentes modelados do resultado, mantendo a robustez da combinação contra a variação não modelada.
• Validação Empírica: As simulações sugerem que esses ganhos teóricos se traduzem em cenários do mundo real, superando consistentemente os pares combinados padrão em uma diversidade de experimentos econômicos.

O artigo conclui que, embora a maldição da dimensionalidade imponha limites rígidos à eficiência uniforme, a minimização de discrepância estruturada fornece um caminho viável para uma redução substancial da variância em cenários experimentais de alta dimensão.