Better Measurement or Larger Samples? Data Collection for Policy Learning with Unobserved Heterogeneity

Este artículo analiza cómo un diseñador de políticas puede optimizar la recolección de datos para maximizar el bienestar en presencia de heterogeneidad no observada, demostrando mediante un estudio empírico que equilibrar la mejora de la precisión de las mediciones con el aumento del tamaño de la muestra permite diseñar reglas de asignación más robustas y efectivas.

Lo esencial

Imagina que eres el director de un gran hospital y tienes un presupuesto limitado para comprar medicamentos nuevos. Tu objetivo es que la salud de todos los pacientes mejore lo máximo posible. Tienes dos formas de decidir quién recibe el medicamento:

1. La forma "básica": Miras solo lo que ves a simple vista (edad, peso, tipo de sangre).
2. La forma "avanzada": Intentas medir algo que no puedes ver directamente, como la "fuerza de voluntad" o la "motivación" del paciente, usando una prueba especial.

El problema es que esa prueba especial no es perfecta. A veces falla, a veces da un resultado un poco equivocado (ruido). Además, hacer la prueba cuesta dinero y tiempo.

¿Qué hace este artículo?
El autor, Giacomo Opocher, se pregunta: "¿Vale la pena gastar dinero en hacer esa prueba imperfecta para medir la motivación, o es mejor usar ese mismo dinero para tratar a más pacientes usando solo la información básica?"

Aquí te explico las ideas clave con analogías sencillas:

1. El Dilema: ¿Más precisión o más cantidad?

Imagina que tienes un presupuesto de 100 monedas.

• Opción A: Gastas 10 monedas en una prueba muy precisa para medir la motivación de cada paciente, pero solo puedes tratar a 90 personas.
• Opción B: No haces la prueba (ahorras las 10 monedas) y tratas a 100 personas, pero solo basándote en su edad y peso.

El artículo dice que no siempre es mejor tener la prueba más precisa. Si la prueba es muy ruidosa (muy imprecisa), gastar dinero en mejorarla puede ser un desperdicio. Es mejor tratar a más gente con la información básica que tratar a muy pocos con una información "muy buena" pero costosa.

2. La Regla de Oro: ¿Cuándo vale la pena la prueba?

El autor descubrió una fórmula matemática (una "regla de oro") para saber cuándo saltar a la opción avanzada. Funciona así:

• Si la motivación (o el rasgo oculto) es muy importante para curar al paciente (es decir, si la motivación cambia drásticamente quién se cura y quién no), entonces SÍ vale la pena gastar en la prueba, incluso si no es perfecta.
• Pero, si la motivación no importa tanto, o si la prueba es muy mala y costosa, NO vale la pena. Es mejor ignorarla y tratar a más gente con los datos simples.

La analogía del "Ruido":
Imagina que intentas escuchar una canción en la radio.

• Si la canción es muy fuerte y clara (el rasgo oculto es muy importante), vale la pena gastar dinero en una antena mejor (mejorar la prueba), aunque la antena nueva tenga un poco de estática (ruido).
• Si la canción es muy débil y apenas se oye, gastar dinero en una antena cara no sirve de mucho. Mejor usa ese dinero para comprar más radios y transmitir la canción a más gente (aumentar la muestra).

3. El Experimento Real: Los Emprendedores en la India

Para probar su teoría, el autor usó datos reales de un estudio en la India sobre pequeños empresarios.

• El problema: Querían dar dinero a los emprendedores que más lo necesitarían para crecer.
• La solución: Usaron un sistema donde los propios vecinos se votaban entre sí para ver quién era el "mejor empresario" (una medida de habilidades ocultas).
• El hallazgo:
  • Si solo miraban la edad y la educación (datos básicos), ayudaban a algunos, pero no a los mejores.
  • Si usaban las votaciones de los vecinos (datos ocultos), ayudaban mucho mejor.
  • El giro: Descubrieron que no necesitaban que todos votaran por todos. Si el presupuesto era bajo, era mejor tener menos votantes (menos precisión) pero más emprendedores en el estudio. Si el presupuesto era alto, entonces sí valía la pena tener muchas votaciones para ser muy precisos.

4. La Conclusión para los Líderes

Si eres un político, un gerente o alguien que toma decisiones con dinero limitado:

1. No te obsesiones con la perfección: No necesitas medir todo con exactitud milimétrica. A veces, una medida "suficientemente buena" combinada con tratar a mucha gente es mejor que una medida perfecta para muy pocos.
2. Busca el equilibrio: Debes calcular cuánto te cuesta mejorar tu "regla de decisión" (la prueba) versus cuánto te cuesta ampliar tu alcance (más gente).
3. El secreto: A veces, ignorar un dato difícil de medir es la decisión más inteligente si ese dato no es el factor principal que decide el éxito. Pero si ese dato es clave (como la motivación en el ejemplo), entonces sí, invierte en medirlo, aunque sea con una herramienta imperfecta.

En resumen: El artículo nos enseña que en el mundo de las políticas públicas, la calidad de la información y la cantidad de personas alcanzadas están en una carrera. El ganador no es siempre quien tiene la información más precisa, sino quien encuentra el punto justo donde la información imperfecta ayuda a más personas sin gastar todo el presupuesto en intentar ser perfecto.

Resumen técnico

Resumen Técnico: Mejor Medición o Muestras Más Grandes?

1. Planteamiento del Problema

La literatura reciente en aprendizaje de políticas (policy learning) se centra en diseñar reglas de asignación de tratamientos que maximicen el bienestar social basándose en características observables (covariables). Sin embargo, la evidencia empírica y teórica indica que la respuesta a los tratamientos varía significativamente debido a características latentes no observadas (como la habilidad innata, la motivación o las habilidades empresariales).

El problema central que aborda el autor es la toma de decisiones bajo un presupuesto finito cuando se enfrenta a dos opciones de diseño de recolección de datos:

1. Mejorar la precisión de una variable proxy para medir el rasgo latente (reduciendo el error de medición), lo que implica un costo que reduce el tamaño de la muestra disponible.
2. Aumentar el tamaño de la muestra para aprender la política óptima basándose únicamente en covariables observables, ignorando el rasgo latente.

La pregunta clave es: ¿Cuándo es óptimo invertir en la precisión de la medición del rasgo latente frente a invertir en aumentar el tamaño de la muestra para el aprendizaje de la política?

2. Metodología y Marco Teórico

El autor desarrolla un marco teórico riguroso que combina el aprendizaje de políticas con la teoría de la recolección de datos bajo un enfoque minimax (minimizar el arrepentimiento máximo).

A. Definiciones y Configuración:

• Reglas de Política: Se comparan dos clases de reglas:
  • Reglas Basadas en Covariables (CB): $G(X)$, que ignoran el rasgo latente $A$.
  • Reglas Aumentadas con Proxy ($\hat{a}$-CB): $G(X, \hat{A})$, que utilizan una estimación ruidosa $\hat{A}$ del rasgo latente $A$.
• Nueva Definición de Arrepentimiento (Regret): El autor introduce una innovación teórica crucial. En lugar de comparar la política estimada con la mejor política dentro de la misma clase (como hace la literatura estándar), define el arrepentimiento relativo a un oráculo que observa el rasgo latente verdadero $A$ y conoce la estructura causal completa. Esto permite comparar clases de políticas heterogéneas bajo un mismo estándar.
• Supuestos:
  • Asignación aleatoria estratificada.
  • El proxy $\hat{A}$ se modela como $A + \epsilon$ (error de medición aditivo).
  • Restricciones de complejidad de la clase de políticas (dimensión VC finita) y condiciones de margen (margin condition).

B. Límites de Arrepentimiento (Regret Bounds):
El autor deriva límites de arrepentimiento rate-sharp (óptimos en tasa) para ambas clases:

1. Para reglas CB: El arrepentimiento está acotado por un término estadístico ($\sqrt{v/n}$) y un término de aproximación proporcional a la variación residual de los efectos del tratamiento no explicada por las covariables ($\bar{\sigma}_{\tau|x}$).
2. Para reglas $\hat{a}$-CB: El arrepentimiento incluye el término estadístico (con una dimensión VC mayor debido a la variable extra) más un término de error de estimación proporcional a la raíz del error cuadrático medio (rMSE) del proxy ($\sqrt{E[(\hat{A}-A)^2]}$).

C. El Problema de Diseño de Datos:
El autor formula un problema de optimización donde el planificador social elige el nivel de información $t$ (precisión del proxy) y el tamaño de muestra $n$ sujeto a un presupuesto $B_0$:
$$\min_{t, n} \left( \sup_{P} R(t, n) \right) \quad \text{sujeto a} \quad c_t(t) + c_n(n) \leq B_0$$
Donde $R(t,n)$ es el límite de arrepentimiento derivado anteriormente.

3. Contribuciones Clave

1. Nueva Definición de Arrepentimiento: Permite comparar directamente políticas que usan información latente con las que no, utilizando un oráculo común.
2. Límites de Arrepentimiento Rate-Sharp: Proporciona los primeros límites teóricos que cuantifican explícitamente la compensación (trade-off) entre la complejidad de la política, el error de medición y el tamaño de la muestra.
3. Solución Minimax Óptima para la Recolección de Datos: Deriva condiciones de umbral que determinan cuándo es óptimo invertir en la medición del rasgo latente.
   • Si la heterogeneidad latente es alta y el costo de mejorar la precisión es bajo, es óptimo invertir en la medición (incluso con muestras más pequeñas).
   • Si el rasgo es poco relevante o la medición es muy costosa, es óptimo ignorar el rasgo y maximizar el tamaño de la muestra.
4. Procedimientos Empíricos: Propone métodos de sample-splitting (división de muestra) para que los investigadores aplicados puedan evaluar empíricamente qué regla es mejor y cómo asignar presupuestos en sus propios estudios.

4. Resultados Empíricos (Aplicación a Hussam et al., 2022)

El autor aplica su marco a un ensayo controlado aleatorizado (RCT) en la India sobre transferencias monetarias a microempresarios, utilizando el estudio de Hussam et al. (2022) que utiliza "clasificaciones comunitarias" como proxy de habilidades empresariales.

Hallazgos Principales:

• Beneficio del Bienestar: Incluir las clasificaciones comunitarias en la regla de asignación aumenta el bienestar promedio en un 5% (comparado con asignación aleatoria) y un 4% (comparado con reglas basadas solo en covariables como edad y educación).
• Reducción de Daños: La probabilidad de generar pérdidas de bienestar (harm rate) se reduce a la mitad en comparación con reglas basadas solo en covariables.
• Efecto de la Precisión: Al variar el número de evaluadores (de 1 a 5) que construyen el proxy, se observa que el bienestar aumenta a medida que disminuye el ruido (más evaluadores), validando la predicción teórica de que el error de medición degrada el rendimiento.
• Asignación Óptima del Presupuesto:
  • Inclusión siempre óptima: Incluso con presupuestos muy ajustados, es óptimo incluir al menos algunas mediciones del rasgo latente (no se debe ignorar la heterogeneidad).
  • Compensación (Trade-off): Para presupuestos bajos, es óptimo sacrificar precisión (usar menos evaluadores, ej. 2 en lugar de 5) para obtener una muestra más grande.
  • Saturación: A medida que el presupuesto crece, la asignación óptima aumenta el número de evaluadores hasta saturar la precisión posible, mientras se mantiene un tamaño de muestra suficiente.

5. Significado e Implicaciones

Este trabajo es fundamental porque cierra la brecha entre la teoría del aprendizaje de políticas y el diseño experimental práctico.

• Para Teóricos: Establece que el error de medición no es solo un problema de identificación, sino un costo directo en el bienestar esperado que debe equilibrarse contra la complejidad del modelo y el tamaño de la muestra.
• Para Diseñadores de Políticas y Economistas: Proporciona una guía cuantitativa para la asignación de recursos en la recolección de datos. Sugiere que en contextos donde la heterogeneidad latente es fuerte, invertir en métricas más precisas (aunque reduzca el tamaño de la muestra) puede ser más rentable que simplemente aumentar el tamaño de la muestra con datos ruidosos.
• Generalidad: El marco es aplicable a diversos campos, desde la economía del desarrollo hasta la medicina personalizada, siempre que existan variables latentes relevantes y costos de medición.

En conclusión, el artículo demuestra que la "mejor medición" no siempre es mejor que las "muestras más grandes"; la decisión óptima depende de la magnitud de la heterogeneidad latente, la complejidad de la política y la estructura de costos, y puede resolverse mediante los límites de arrepentimiento derivados.