Learning What to Learn: Experimental Design when Combining Experimental with Observational Evidence

Resumen Técnico: Aprender qué aprender: Diseño experimental al combinar evidencia experimental con observacional

Planteamiento del problema
Los ensayos controlados aleatorios (ECA) proporcionan estimaciones de efectos de tratamiento con validez interna, pero suelen estar limitados por costos y factibilidad, restringiéndose a menudo a sitios específicos, poblaciones pequeñas o mecanismos de equilibrio parcial. En consecuencia, los investigadores frecuentemente combinan estimaciones experimentales con evidencia externa —como estimaciones de forma reducida o estructurales provenientes de datos observacionales o experimentos en diferentes contextos— para responder preguntas de política más amplias que involucran efectos de equilibrio general (GE) o validez externa.

El desafío central abordado en este artículo es el diseño de experimentos en este entorno combinado. Específicamente, ¿cómo debe un investigador elegir qué experimento(s) realizar y cómo asignar tamaños de muestra bajo restricciones presupuestarias cuando la evidencia externa puede sufrir de sesgos desconocidos (por ejemplo, debido a confusión o falta de validez externa)? La literatura tradicional sobre diseño experimental suele asumir que todos los parámetros están identificados dentro del experimento o se enfoca en diseños fijos, dejando un vacío metodológico para optimizar la elección del experimento cuando se depende de datos externos potencialmente sesgados.

Metodología y Marco de Trabajo
Los autores desarrollan un marco unificado de diseño experimental que integra evidencia experimental y observacional. La configuración involucra:

1. Estimando Objetivo: Un objeto relevante para la política $\tau(\theta)$, donde $\theta$ es un vector de parámetros desconocidos y $\tau$ es una función suave conocida.
2. Fuentes de Datos:
   • Estimaciones Observacionales ($S_{obs}$): Un conjunto de estimaciones que pueden estar sesgadas por un vector de sesgo $b$. Estas sirven como línea base, pero no se garantiza que sean insesgadas.
   • Estimaciones Experimentales ($S_{exp}$): Un conjunto de momentos insesgados obtenidos de experimentos factibles $E$, que identifican un subconjunto de los parámetros en $\theta$.
3. Estimadores: Los autores se centran en estimadores (asintóticamente) lineales, tales como el Método de Momentos Generalizado (GMM) o estimadores de distancia mínima, que admiten una representación lineal en los momentos.

Función Objetivo: Arrepentimiento Proporcional Minimax
Debido a que el sesgo $b$ es desconocido ex-ante, minimizar el Error Cuadrático Medio (MSE) directamente es inviable sin especificar un límite de sesgo. Los autores proponen un criterio de arrepentimiento proporcional minimax.

• El Oráculo: Un oráculo que conoce la magnitud real del sesgo observacional ($B$) y elige tanto el diseño óptimo como el estimador óptimo para minimizar el MSE.
• El Arrepentimiento (Regret): El desempeño de un diseño candidato se mide mediante la relación entre su peor caso de MSE y el MSE del oráculo, maximizado sobre todas las magnitudes de sesgo posibles $B \geq 0$.
  $$R(E, \Sigma, W) \equiv \sup_{B \geq 0} \frac{\sup_{b \in \mathcal{B}(B)} \text{MSE}_b(E, \Sigma, W)}{\text{MSE}^*(B)}$$
• Perspectiva Clave: Para estimadores lineales, este arrepentimiento proporcional se simplifica al máximo de dos componentes normalizados:
  1. Arrepentimiento de Varianza: La relación entre la varianza del diseño y la varianza mínima alcanzable ($\alpha / \alpha^*$).
  2. Arrepentimiento de Sesgo: La relación entre el peor caso de sesgo al cuadrado inducido por el diseño y el mínimo de peor caso de sesgo alcanzable ($\beta / \beta^*$).
     $$R = \max \left\{ \frac{\alpha}{\alpha^*}, \frac{\beta}{\beta^*} \right\}$$

Esta formulación ofrece un compromiso (trade-off) transparente entre sesgo y varianza. El diseño óptimo iguala los arrepentimientos de varianza y sesgo normalizados, evitando la necesidad de que los investigadores especifiquen un límite estricto para el sesgo.

Contribuciones Clave y Resultados

1. Caracterización Novedosa del Arrepentimiento: El artículo proporciona una caracterización novedosa que muestra que, para estimadores lineales, el peor caso de arrepentimiento proporcional es una función cuasi-convexa de la radio de sesgo. Esto permite que el problema de optimización se resuelva eficientemente como un problema convexo (para diseños fijos) o un programa convexo de números enteros mixtos (al elegir entre experimentos discretos). Esto contrasta con los estimadores no lineales bajo diseños fijos, donde la optimización a menudo requiere resolver sobre peores casos de priors y carece de cuasi-convexidad.

2. Asignación de Neyman "Con Conciencia de Sesgo" (Bias-Aware): La solución óptima generaliza la estandar asignación de Neyman. Mientras que la asignación de Neyman estándar minimiza la varianza, la propuesta asignación "con conciencia de sesgo" ajusta los tamaños de muestra y la selección de experimentos basándose en la sensibilidad del estimando objetivo a los posibles sesgos. Si el sesgo predomina, el diseño prioriza los parámetros con alta sensibilidad; si la varianza predomina, invierte en reducir el ruido de muestreo.

3. Extensión a Audiencias Bayesianas: El marco se extiende a entornos donde los investigadores reportan estadísticas a una audiencia bayesiana que actualiza sus propios priors. Los autores muestran que la solución de arrepentimiento lineal derivada para estimadores fijos sirve como un objetivo sustituto válido (límite superior) para el arrepentimiento de la audiencia bajo priors gaussianos, proporcionando garantías de robustez incluso cuando la audiencia utiliza reglas de actualización no lineales.

4. Equivalencia con el Diseño de Intervalos de Confianza: Los autores demuestran que minimizar el arrepentimiento basado en la longitud del intervalo de confianza produce el mismo diseño y estimador óptimo que minimizar el arrepentimiento basado en MSE, reforzando la robustez del enfoque.

5. Ilustración Empírica: El marco se aplica a un programa de transferencias de efectivo en Kenia, combinando nueva evidencia experimental con datos externos del programa Progresa de México.

   • Configuración: El objetivo es estimar los efectos de equilibrio general (respuestas de escolaridad ante ingresos, estipendios y salarios).
   • Comparación: El diseño óptimo de arrepentimiento se compara contra diseños estándar de minimización de varianza (Neyman).
   • Hallazgos: El diseño óptimo de arrepentimiento selecciona un programa de empleo (choque salarial) sobre las transferencias de efectivo en tamaños de muestra típicos, mientras que los diseños estándar favorecen las transferencias de efectivo. El diseño óptimo de arrepentimiento reduce significativamente el arrepentimiento de sesgo (sensibilidad a la especificación errónea) con solo un costo modesto en el arrepentimiento de varianza. Mantiene un bajo arrepentimiento general a través de un amplio rango de magnitudes de sesgo, mientras que los diseños estándar sufren un alto arrepentimiento cuando la validez externa se ve comprometida.

Significancia y Reivindicaciones
El artículo sostiene que proporciona un marco práctico, transparente y computacionalmente tratable para diseñar experimentos cuando la identificación completa es imposible sin datos externos.

• Practicidad: El método depende únicamente de información típicamente disponible para cálculos de potencia convencionales (matrices de varianza-covarianza y gradientes de sensibilidad) y no requiere que los investigadores especifiquen límites de sesgo arbitrarios.
• Robustez: Al optimizar contra un oráculo que conoce el sesgo, el enfoque protege contra la especificación errónea del peor caso, al tiempo que utiliza la precisión de los datos externos.
• Fundamento de la Teoría de la Decisión: El trabajo conecta el diseño experimental con una larga tradición de la teoría de la decisión, ofreciendo una solución que equilibra el sesgo y la varianza de una manera que los criterios estándar de minimax o de arrepentimiento aditivo (que a menudo priorizan el sesgo lexicográficamente) no lo hacen.

Los autores posicionan esto como una evolución necesaria en el diseño experimental para la economía, donde extrapolar de ensayos a pequeña escala a preguntas de política a gran escala es común pero está plagado de incertidumbre respecto a la validez externa. El marco permite a los investigadores cuantificar y gestionar explícitamente el compromiso entre aprender más sobre mecanismos específicos experimentalmente frente a depender de estimaciones externas que pueden ser precisas pero sesgadas.