Resumen Técnico: Los Límites del Diseño Experimental – Equilibrio de Covariables Más Allá de la Baja Dimensión

1. Planteamiento del Problema

El artículo aborda una tensión fundamental en el diseño experimental: el compromiso entre lograr la eficiencia semiparamétrica (minimizar la varianza del estimador del Efecto Promedio del Tratamiento) y la maldición de la dimensionalidad en muestras finitas.

Si bien trabajos teóricos recientes (por ejemplo, Bai et al., 2022, 2026b) han establecido que los diseños finamente estratificados, como los pares emparejados (matched pairs), pueden alcanzar el límite de eficiencia semiparamétrica de Hahn (1998) asintóticamente, estos resultados dependen de supuestos fuertes. Específicamente, requieren que las diferencias de covariables dentro de los grupos emparejados desaparezcan asintóticamente. El artículo argumenta que, en muestras finitas con covariables de alta dimensión ($d$), esto es prácticamente imposible. La distancia entre los vecinos más cercanos en $d$ dimensiones disminuye a un ritmo de $n^{-1/d}$, lo que implica que lograr emparejamientos casi perfectos a través de "varias docenas" de covariables con miles de unidades es inviable.

El problema central es cuantificar qué tan rápido los diseños experimentales pueden acercarse al límite de eficiencia $V^*$ de manera uniforme sobre clases de modelos de resultado, y determinar los límites de esta convergencia en función del tamaño de la muestra $n$, la dimensión de la covariable $d$ y la suavidad del resultado.

2. Metodología y Marco de Trabajo

2.1 El Exceso de Varianza como Desequilibrio

El autor define la métrica de desempeño como la varianza en exceso $V_n$, la brecha entre la varianza de muestra finita del estimador de Horvitz-Thompson no ajustado y el límite de eficiencia semiparamétrica $V^*$.
$$V_n \equiv n \text{Var}(\hat{\theta}) - V^*$$
Utilizando la Proposición 2.3, el artículo establece que la varianza en exceso está determinada exactamente por el desequilibrio in-sample del modelo de resultado $m(\psi) = E[(Y(1) + Y(0))/2 | \psi]$:
$$V_n = 4n \cdot E\left[ \left( \frac{1}{n} \sum_{i=1}^n Z_i m(\psi_i) \right)^2 \right]$$
donde $Z_i \in \{-1, 1\}$ es la asignación de tratamiento centrada. Esto redefine la eficiencia como un problema de equilibrio de funciones.

2.2 Herramientas Analíticas

• Análisis Minimax: El artículo deriva límites superiores e inferiores para $V_n$ sobre clases de funciones específicas (Hölder, Sobolev y clases no paramétricas de complejidad restringida).
• Caminata de Gram-Schmidt (GSW): La metodología aprovecha el algoritmo de balanceo de vectores de Bansal et al. (2019) y Harshaw et al. (2024). El autor "kerneliza" este algoritmo, utilizando un kernel de diseño $K$ para construir una matriz de entrada semidefinida positiva $\Gamma_n$. Esto permite al algoritmo balancear funciones dentro de un Espacio de Hilbert Reproductor (RKHS) en lugar de solo funciones lineales.
• Clases de Funciones:
  • Clases de Hölder ($\mathcal{P}_\beta$): Para resultados rugosos o no suaves.
  • Espacios de Sobolev ($H^s$): Para resultados suaves, parametrizados por el orden de suavidad $s$.
  • Clases de Complejidad Restringida: Modelos aditivos ($g(\psi) = a + \sum g_j(\psi_j)$) y modelos de interacción bivariante, diseñados para ser balanceados incluso cuando $d$ es grande.

3. Contribuciones Clave y Resultados

3.1 La Imposibilidad de la Eficiencia Uniforme en Alta Dimensión

El artículo demuestra un teorema de imposibilidad central (Teorema 3.1, Corolario 3.2, Teorema 4.9):

• Pares Emparejados (Matched Pairs): Ningún esquema de emparejamiento puede garantizar que la varianza en exceso desaparezca más rápido que $n^{-2/d}$, incluso para modelos de resultado lineales (infinitamente suaves).
• Diseños Generales: Ningún diseño experimental admisible puede garantizar la eficiencia asintótica uniforme (convergencia a $V^*$) fuera del régimen donde $d = o(\log n)$.
• Implicación: Para experimentos con miles de unidades, las garantías de eficiencia estándar solo se mantienen para un "puñado" de covariables. Más allá de esto, la maldición de la dimensionalidad impide que cualquier diseño se acerque uniformemente al límite de eficiencia clásica, independientemente de la suavidad del modelo de resultado.

3.2 Optimidad del Emparejamiento para Modelos Rugosos

Aunque el emparejamiento es ineficiente para modelos suaves en alta dimensión, el artículo establece que es óptimo en el sentido minimax para modelos de resultado rugosos (clases de Hölder con $\beta \in (0, 1]$) en dimensiones bajas fijas (Teorema 3.4, Corolario 3.6). Los emparejamientos estables logran la tasa $V_n \asymp n^{-2\beta/d}$. Esta lenta tasa es el "precio de la robustez" bajo supuestos débiles; el emparejamiento no puede explotar la suavidad más allá del punto final de Lipschitz ($\beta=1$).

3.3 GSW No Paramétrico y Adaptación a la Suavidad

Para explotar la suavidad, el autor propone diseños de GSW Kernelizados:

• Tasas Adaptativas: Una secuencia única de diseños GSW, utilizando un kernel de Matérn con un parámetro de ajuste $\nu_n = c/\log n$, se adapta a la suavidad de Sobolev $s > 0$ desconocida sin conocimiento previo.
• Tasas de Convergencia: El diseño logra una tasa de varianza en exceso de $V_n \asymp (\frac{\log n}{n})^{(2s/d) \wedge 1}$.
  • Cuando $2s \leq d$, la tasa es $n^{-2s/d}$.
  • Cuando $2s > d$, la tasa es casi paramétrica ($n^{-1}$), salvo por factores logarítmicos.
• Limitación: Incluso estos diseños adaptativos no pueden superar la barrera de $d = o(\log n)$ para la eficiencia total.

3.4 Diseños Eficientes Más Allá de las Bajas Dimensiones (Complejidad Restringida)

Motivado por el resultado de imposibilidad, el artículo propone balancear clases no paramétricas de complejidad restringida (por ejemplo, modelos aditivos o bivariantes) en lugar del espacio de funciones completo.

• Modelos Aditivos y Bivariantes: Al enfocarse en clases de funciones como $g(\psi) = a + \sum g_j(\psi_j)$, los diseños pueden acomodar dimensiones mucho más altas:
  • Modelos aditivos: Permiten $d = o(n)$ covariables.
  • Modelos de interacción bivariante: Permiten $d = o(\sqrt{n})$ covariables.
• Objetivo de Varianza: Estos diseños se acercan a un objetivo $V^* + \Delta_G$, donde $\Delta_G$ es la brecha de varianza debida a la variación no modelada. Si el modelo de trabajo es una buena aproximación, este objetivo está cerca de $V^*$, pero es alcanzable a tasas mucho más rápidas.

3.5 Robustificación vía Matched GSW

El autor combina el GSW estructurado con el emparejamiento para protegerse contra la variación no modelada (Sección 5.2).

• Mecanismo: El emparejamiento controla la variación local dentro de los pares ($m - m_G$), mientras que el GSW controla el desequilibrio global del componente estructurado ($m_G$).
• Resultado: El diseño resultante de "Matched GSW" retiene las rápidas tasas de convergencia para el componente estructurado mientras proporciona robustez contra el residuo. El Teorema 5.6 muestra que si el residuo es continuo de Hölder, la varianza en exceso total está acotada por la suma de la tasa de emparejamiento para el residuo y la tasa de GSW para el componente estructurado.

3.6 Aplicación Empírica

El artículo evalúa estos diseños utilizando simulaciones de Monte Carlo calibradas con 12 experimentos aleatorizados publicados en economía (tamaños de muestra $n \in [96, 1200]$, dimensiones $d \in [7, 51]$).

• Hallazgos:
  • Los diseños de GSW no paramétricos aditivos y bivariantes reducen la varianza del estimador en comparación con los pares emparejados clásicos en cada escenario empírico.
  • El GSW de dimensión completa se comporta de manera similar al emparejamiento en promedio.
  • El Matched Additive GSW es el que mejor desempeño tiene en general, ofreciendo la mayor reducción de varianza e intervalos de confianza más cortos, manteniendo una cobertura nominal (aprox. 94.8%).
• Inferencia: El autor desarrolla un nuevo estimador de varianza basado en el diseño y corregido por covariables para el Matched GSW, el cual es conservador para el Efecto Promedio del Tratamiento de la Muestra (SATE) y asintóticamente no conservador para el ATE.

4. Significado y Reivindicaciones

El artículo afirma proporcionar la primera teoría de eficiencia en muestras finitas para el diseño experimental que caracteriza explícitamente la dependencia del tamaño de la muestra, la dimensión de la covariable y la complejidad del resultado.

• Cambio Teórico: Desafía la visión predominante de que los diseños finamente estratificados son universalmente eficientes, demostando que esta eficiencia está estrictamente limitada a regímenes de baja dimensión ($d \ll \log n$).
• Recomendación Práctica: El autor argumenta que los profesionales deben abandonar la búsqueda del límite de eficiencia clásica en altas dimensiones. En su lugar, deben adoptar diseños de minimización de discrepancia (GSW) dirigidos a clases no paramétricas de menor complejidad (específicamente modelos aditivos) combinados con el emparejamiento.
• Robustez: Este enfoque ofrece una solución de "lo mejor de ambos mundos": logra tasas de convergencia rápidas para los componentes modelados del resultado, manteniendo la robustez del emparejamiento frente a la variación no modelada.
• Validación Empírica: Las simulaciones sugieren que estas ganancias teóricas se traducen en entornos del mundo real, superando consistentemente a los pares emparejados estándar a través de una diversidad de experimentos económicos.

El artículo concluye que, si bien la maldición de la dimensionalidad impone límites duros a la eficiencia uniforme, la minimización de la discrepancia estructurada proporciona un camino viable para una reducción sustancial de la varianza en entornos experimentales de alta dimensión.