Empirically Understanding the Value of Prediction in Allocation

Resumen Técnico: Comprensión Empírica del Valor de la Predicción en la Asignación

1. El Problema

Las instituciones públicas utilizan cada vez más sistemas predictivos para asignar recursos escasos (vivienda, subsidios, intervenciones educativas). Históricamente, la literatura se ha centrado en cómo resolver un problema de asignación dado (optimizar la regla de decisión bajo restricciones fijas), asumiendo que la definición del problema (calidad de los datos, capacidad institucional, intensidad de la intervención) es exógena.

El problema central que abordan los autores es de diseño meta: no se trata solo de optimizar el algoritmo, sino de decidir qué problema resolver. Los planificadores enfrentan un espacio de diseño vasto donde deben elegir entre invertir en:

• Mejorar la precisión de las predicciones (recopilar más datos, mejores características).
• Expandir la capacidad (atender a más personas).
• Mejorar la calidad del tratamiento (aumentar el monto de una transferencia o la eficacia de una intervención).

La pregunta clave es: ¿Cuál de estas palancas de política genera el mayor retorno en bienestar social para un nivel de inversión dado? Los marcos teóricos existentes a menudo dependen de supuestos distribucionales estilizados que pueden no aplicarse a dominios reales específicos.

2. Metodología

Los autores proponen un enfoque empírico basado en un kit de herramientas de software llamado rvp (Relative Value of Prediction).

• Definición Formal del Problema de Asignación:
  Se define un problema de asignación $Alloc(D, u, \alpha)$ donde:

  • $D$: Distribución de pares $(x, w)$ (características y resultados).
  • $u$: Función de utilidad (objetivo social).
  • $\alpha$: Restricción de capacidad (fracción de la población que puede ser atendida).
  • El objetivo es maximizar la utilidad esperada sujeta a la capacidad.

• Palancas de Política (Policy Levers):
  Se modelan como intervenciones que modifican los componentes del problema:

  1. Expandir Capacidad ($\alpha$): Aumentar la fracción de la población servida.
  2. Mejorar el Tratamiento ($u$): Aumentar la eficacia o el beneficio de la intervención (ej. mayor monto de dinero).
  3. Mejorar la Predicción ($D$): Hacer que las características $x$ sean más informativas sobre el resultado $w$ (reduciendo el error de predicción).

• Enfoque Empírico y Escenarios de Comparación:
  En lugar de derivar teoremas generales, rvp permite a los planificadores simular comparaciones concretas usando sus propios datos. Se analizan tres escenarios según la disponibilidad de información de costos:

  • Q1 (Costos conocidos para todas las palancas): Optimización conjunta para asignar un presupuesto fijo $B$ entre las diferentes palancas.
  • Q2 (Costos conocidos para una, inciertos para otra): Cálculo del punto de equilibrio (break-even). ¿Qué mejora en la predicción es necesaria para igualar el beneficio de una expansión de capacidad conocida?
  • Q3 (Costos desconocidos para ambas): Comparación de la relación de ganancias de bienestar. Si la predicción mejora el bienestar el doble que la capacidad, es la mejor inversión siempre que su costo sea menor al doble.

3. Contribuciones Clave

1. Cambio de Paradigma: Se desplaza el foco de la optimización algorítmica (resolver el problema) al diseño del problema (definir qué variables optimizar).
2. Kit de Herramientas rvp: Un software de código abierto que permite a los practicantes cuantificar el impacto de las inversiones en predicción frente a otras palancas políticas utilizando datos reales, sin depender de supuestos teóricos simplificados.
3. Análisis de Subgrupos y Umbral: La capacidad de simular mejoras de predicción dirigidas a subgrupos específicos (ej. personas con historial laboral incompleto) o a casos marginales cerca del umbral de decisión.
4. Incorporación de Daños (Harms): Extensión del marco para considerar situaciones donde la asignación incorrecta no solo es un desperdicio, sino que causa daño activo (ej. efectos de bloqueo en programas de formación), lo cual invierte la lógica tradicional de priorizar la capacidad sobre la predicción.

4. Resultados de los Estudios de Caso

Caso 1: Servicios de Empleo en Alemania

• Contexto: Identificación de desempleados de larga duración (LTU) para asignar recursos de apoyo.
• Hallazgo 1 (Subgrupos): Para un subgrupo específico (mayores de 35 años con historial laboral faltante), la inversión en recolección de datos adicionales solo vale la pena si la mejora en la predicción (reducción del RMSE) supera un umbral alto (~20%). Sin embargo, si la recolección de datos se limita a los casos cerca del umbral de decisión, el umbral de rentabilidad cae drásticamente (<5%), haciendo viable la inversión.
• Hallazgo 2 (Daños vs. Beneficios): Cuando la asignación incorrecta causa daño (ej. "efecto de bloqueo" en la búsqueda de empleo para personas que ya tenían buenas perspectivas), la predicción se vuelve más valiosa que la expansión de capacidad, incluso en regímenes de baja capacidad. La predicción precisa evita infligir daños a los de bajo riesgo, mientras que expandir la capacidad sin precisión aumenta el daño neto.

Caso 2: Dirigir Programas de Transferencia de Efectivo en Etiopía

• Contexto: Uso de pruebas de medios proxy (PMT) para identificar hogares pobres.
• Hallazgo 1 (Valor de la Predicción): El valor de la predicción es máximo cuando la capacidad es baja. Bajo una función de utilidad CRRA (que valora más a los más pobres), la predicción es mucho más valiosa que bajo una función de paso simple.
• Hallazgo 2 (Asignación de Presupuesto):
  • Para presupuestos limitados, la estrategia óptima es una mezcla de recolección de datos y expansión de capacidad.
  • Para presupuestos grandes, la estrategia óptima es recolectar datos para todos los hogares (maximizando la precisión) antes de expandir la capacidad.
  • La inversión en datos es crítica cuando la cobertura inicial es baja o cuando los montos de transferencia son altos.

5. Significado e Impacto

• Práctico: Proporciona a los responsables políticos y planificadores un método cuantitativo para justificar inversiones en infraestructura de datos vs. expansión de servicios. Ayuda a evitar la "ceguera de la predicción" (invertir en algoritmos complejos cuando la capacidad es el cuello de botella, o viceversa).
• Teórico: Demuestra que las conclusiones sobre el valor de la predicción son altamente sensibles al contexto (distribuciones, funciones de utilidad, costos y presencia de daños). Lo que es óptimo en un modelo teórico abstracto puede ser subóptimo en la realidad.
• Reproducibilidad: Al liberar el código rvp y partes de los datos, los autores fomentan que otros investigadores apliquen este marco a nuevos dominios de asignación de recursos sociales, promoviendo una toma de decisiones basada en evidencia empírica específica del contexto.

En resumen, el paper argumenta que la predicción es una inversión de capital que debe competir con otras inversiones (capacidad, calidad del servicio). La herramienta rvp permite a los planificadores navegar este espacio de diseño para maximizar el bienestar social, revelando que la predicción es más valiosa cuando los errores son costosos (daños) o cuando la capacidad es extremadamente limitada, pero su valor relativo disminuye a medida que aumenta la capacidad o si los errores son benignos.