AI-Assisted Variance Reduction in Randomized Experiments

Resumen Técnico: Reducción de la Varianza Asistida por IA en Experimentos Aleatorios

Planteamiento del Problema
El artículo aborda el desafío de mejorar la precisión de las estimaciones del Efecto de Tratamiento Promedio (ATE) en experimentos aleatorios. Si bien la literatura reciente explora el uso de Modelos de Lenguaje de Gran Escala (LLM) y "gemelos digitales" para simular respuestas humanas, estas predicciones sintéticas suelen sufrir de sesgo y son sustitutos deficientes de los datos humanos reales cuando se utilizan de forma aislada. Los métodos híbricos de estimación existentes, como la Inferencia Potenciada por Predicciones (PPI) y los estimadores semiparamétricos eficientes, buscan combinar las predicciones de IA con datos humanos, pero a menudo carecen de garantías de robustez en entornos aleatorios. Específicamente, los enfoques no calibrados pueden inflar la varianza si las predicciones de la IA no son suficientemente precisas, y algunos métodos introducen sesgo si el modelo está mal especificado. Los autores argumentan que los investigadores necesitan un método que aproveche las predicciones de IA para la reducción de la varianza sin comprometer la imparcialidad del estimador, incluso cuando la calidad de la predicción es modesta o desconocida.

Metodología
Los autores proponen un marco donde las predicciones generadas por IA se utilizan estrictamente como covariables auxiliares dentro de un ajuste de regresión estándar, en lugar de como sustitutos directos de los resultados.

• Estimador Central: El artículo aboga por incluir las predicciones de IA ($\hat{Y}_i$) como covariables en una regresión lineal del resultado observado ($Y^{obs}_i$) sobre el indicador de tratamiento ($Z_i$). Específicamente, recomiendan la especificación de regresión con interacción:
  $$Y \sim 1 + Z + \hat{Y}(Z) + Z \times \hat{Y}(Z)$$
  donde $\hat{Y}(Z)$ representa la predicción de la IA para el brazo de tratamiento asignado. Esto es análogo a ajustar por un puntaje pronóstico.
• Justificación Teórica: Los autores demuestran que este estimador ajustado por regresión es una versión "calibrada" del estimador asistido por modelo. A diferencia de los estimadores asistidos por modelo no calibrados (que requieren que la correlación entre las predicciones y los resultados supere 0.5 para reducir la varianza), el estimador ajustado por regresión posee una propiedad de "no hacer daño". Es asintóticamente imparcial y garantiza que la varianza nunca sea mayor que la del estimador de diferencia de medias no ajustado ($Deff \leq 1$). Si las predicciones no son informativas, los coeficientes ajustados se contraen hacia cero y el estimador revierte a la diferencia de medias estándar.
• Manección de Resultados Discretos: Para resultados binarios o de conteo, los autores argumentan en contra del uso de predicciones de IA discretizadas (por ejemplo, clasificar la salida de un LLM como 0 o 1). En su lugar, recomiendan ajustar por probabilidades o puntajes continuos. Proporcionan estrategias de implementación para obtener estos puntajes continuos de los LLM, como la extracción de log-probabilidades de tokens específicos o el promedio sobre múltiples extracciones estocásticas.
• Fuentes de Datos: El marco acomoda predicciones de diversas fuentes, incluyendo LLM de disparo cero (zero-shot), modelos fundacionales tabulares (ej. TabPFN) y modelos supervisados estándar (ej. XGBoost, Ridge). Los autores señalan que para los modelos entrenados con los propios datos del experimento, se requiere validación cruzada (cross-fitting) para mantener la validez, mientras que las predicciones de LLM de disparo cero pueden tratarse como covariables fijas previas al tratamiento.

Contribuciones Clave

1. Simplicidad y Robustez: El artículo establece que no se requieren nuevos estimadores; el ajuste de regresión estándar con covariables de IA es suficiente. Este enfoque hereda la robustez de la propiedad de "no hacer daño", asegurando ganancias de eficiencia cuando las predicciones son informativas y sin penalización cuando no lo son.
2. Comparación de Estimadores: Los autores comparan sistemáticamente el ajuste por regresión frente a los estimadores asistidos por modelo no calibrados y los estimadores de "gemelo digital" (imputación). Muestran que los métodos no calibrados pueden inflar la varianza si la calidad de la predicción es baja ($\rho < 0.5$), y que los estimadores de gemelo digital pueden introducir un sesgo significativo a menos que el modelo de IA esté perfectamente especificado.
3. Caracterización de Datos No Estructurados: El artículo destaca la capacidad única de los LLM para convertir entradas no estructuradas (ej. texto, perfiles de usuario complejos) en covariables auxiliares. Esto permite la reducción de la varianza en entornos donde los métodos tabulares tradicionales tienen dificultades para extraer señales de texto bruto.
4. Guía de Implementación: Los autores proporcionan consejos prácticos para extraer puntajes continuos de salidas discretas de LLM y manejar resultados binarios para maximizar la reducción de la varianza.

Resultados
El artículo valida sus afirmaciones mediante experimentos sintéticos y tres aplicaciones empíricas: un megaestudio de encuestas, una prueba A/B de marketing por correo electrónico y un experimento de una plataforma tecnológica a gran escala.

• Experimentos Sintéticos: Las simulaciones confirman que el ajuste por regresión mantiene un efecto de diseño $\leq 1$ a través de diversos niveles de calidad de predicción ($R^2_{\hat{Y}}$) y predictibilidad del resultado ($R^2_m$). En contraste, los estimadores asistidos por modelo no calibrados frecuentemente inflan la varianza cuando la calidad de la predicción es baja. Las simulaciones también demuestran que el uso de predicciones de IA continuas para resultados binarios genera mayores ganancias de eficiencia que el uso de predicciones discretizadas.
• Aplicaciones Empíricas:
  • En el megaestudio de encuestas (involucrando gemelos digitales), el ajuste por regresión proporcionó ganancias de eficiencia modestas pero reales.
  • En la prueba A/B de marketing por correo electrónico, el ajuste de las predicciones de IA junto con las covariables tabulares mejoró la precisión.
  • En el experimento de la plataforma tecnológica, el enfoque se aplicó a datos de usuarios secuenciales.
  • En todos los entornos, las ganancias se describieron como "reales si son modestas", observándose los beneficios más significativos en estudios que contienen abundantes datos de texto no estructurado. La propiedad de "no hacer daño" se confirmó empíricamente; los estimadores ajustados nunca tuvieron un desempeño inferior al de la diferencia de medias no ajustada.

Significancia y Reivindicaciones
El artículo sostiene que el ajuste por las predicciones generadas por IA debería convertirse en una práctica empírica regular en los experimentos aleatorios. La significancia radica en la capacidad de aprovechar el poder predictivo de la IA generativa —particularmente para datos no estructurados— sin los riesgos asociados con estimadores híbridos más complejos. Los autores enfatizan que, si bien las ganancias de eficiencia pueden ser modestas en muchos entornos estructurados, este enfoque es de bajo costo, robusto y particularmente valioso para estudios ricos en texto o entradas complejas donde la ingeniería de características tradicional es difícil. Concluyen que la combinación de robustez garantizada ("no hacer daño") y el potencial de mejora de la eficiencia lo convierte en una estrategia superior en comparación con las alternativas no calibradas o el ignorar las predicciones de la IA por completo.