Resumen Técnico: Planificación de Frontera Generativa para el Reclutamiento de Referencia entre Pares Adaptativo bajo Llegadas Dependientes de Covariables

Formulación del Problema

El artículo aborda el desafío de la asignación de recursos adaptativa de múltiples rondas en sistemas de reclutamiento por referencia entre pares, como el Muestreo Dirigido por Pares (RDS, por sus siglas en inglés), utilizado para estudiar poblaciones ocultas afectadas por enfermedades infecciosas. Las agencias de salud pública poseen un presupuesto total fijo de recursos de referencia (por ejemplo, vales) para distribuir a lo largo de múltiples rondas.

La dificultad central reside en la naturaleza dependiente de las covariables de las llegadas. A diferencia de trabajos previos que asumen que los nuevos reclutas se extraen de forma independiente e idéntica (i.i.d.) de una población homogénea, este trabajo modela un escenario realista donde:

1. La capacidad de referencia es estocástica y heterogénea: El número de pares que un individuo puede referir depende de sus covariables específicas (demografía, comportamiento, geografía) y está sujeto a una distribución de conteo censurada.
2. Las covariables de la descendencia son condicionales: Las características de los nuevos reclutas no se extraen de una distribución fija, sino que se generan condicionalmente basadas en las covariables del referente (reflejando la homofilia y el contexto compartido).

El objetivo es diseñar una política que asigne recursos a la "frontera" actual de referentes activos para maximizar el número esperado de reclutas exitosos con descuento sobre un horizonte finito. Esto requiere razonar sobre cómo las decisiones de asignación actuales moldean tanto el tamaño como la composición de covariables de las fronteras futuras.

Metodología: Planificación de Frontera Generativa (GFP)

Los autores proponen la Planificación de Frontera Generativa (GFP), un método de programación dinámica aproximada basado en modelos que supera la intratabilidad de la planificación bajo llegadas generativas dependientes de covariables.

1. Dinámicas Aprendidas

GFP utiliza dos componentes aprendidos estimados fuera de línea (offline) a partir de datos históricos:

• Modelo de Conteo Censurado ($q_\psi$): Un modelo de regresión de Poisson neural que estima la capacidad de referencia $C_i$ de un individuo dado sus covariables $x_i$. Este tiene en cuenta el hecho de que las referencias observadas están limitadas por el presupuesto asignado.
• Modelo de Difusión Condicional ($G_\theta$): Un modelo de difusión condicional que genera las covariables de los nuevos reclutas ($x'$) dado las covariables del progenitor ($x$).

2. El Cuello de Botella Computacional

La planificación basada en modelos estándar (por ejemplo, la Iteración de Valor Ajustada) es intratable aquí porque:

• La siguiente frontera es un conjunto aleatorio de tamaño variable.
• Diferentes asignaciones inducen diferentes distribuciones de descendencia, lo que impide compartir muestras de Monte Carlo entre candidatos a acciones.
• El espacio de acciones (asignaciones enteras a través de todos los miembros de la frontera) es combinatoriamente grande.

3. Sustituto de Valor Estructurado

Para resolver estos problemas, GFP introduce un sustituto de valor estructurado $V_\phi(r, F)$ que mapea la frontera a una representación de cobertura de covariables latente.

• Representación Latente: Cada individuo es mapeado a un vector latente no negativo $h_\phi(x) \in \mathbb{R}^d_+$, que representa una asignación suave a $d$ "prototipos de covariables". La frontera se resume mediante el vector de cobertura agregada $z = \sum_{x \in F} h_\phi(x)$.
• Función de Valor: El valor se modela como una función de saturación exponencial sobre esta cobertura: $V_\phi(r, z) = \sum w_{\phi,j}(r)(1 - \exp(-z_j))$. Esta estructura captura los rendimientos decrecientes a medida que ciertas regiones de covariables se saturan.

4. Backup Determinista de Forma Cerrada

La innovación clave es el uso de Incrustaciones de Laplace Condicionales para hacer que el backup de Bellman sea determinista y de forma cerrada.

• En lugar de muestrear la descendencia del modelo de difusión $G_\theta$ durante la planificación, GFP precalcula (amortiza) las incrustaciones $\alpha_{\theta,\phi,j}(x) = \mathbb{E}_{y \sim G_\theta(\cdot|x)}[\exp(-h_{\phi,j}(y))]$.
• Utilizando estas incrustaciones y el modelo de conteo censurado, el valor futuro esperado puede calcularse exactamente sin muestreo de Monte Carlo. La esperanza se factoriza en un producto de términos que dependen únicamente de la asignación $k$ y las incrustaciones precalculadas.

5. Asignación Ávida Intra-Ronda

Con el sustituto determinista, el problema de optimización por ronda consiste en maximizar una función que es monótona con rendimientos decrecientes enteros.

• GFP emplea un algoritmo ávido marginal para asignar recursos dentro de una ronda.
• El análisis teórico demuestra que este enfoque ávido logra una aproximación de $(1 - 1/e)$ del óptimo de asignación de presupuesto fijo para el objetivo del sustituto.

Contribuciones Clave

1. Generalización del Problema: Los autores formalizan el reclutamiento por referencia entre pares como un problema de asignación adaptativa donde las llegadas futuras se generan condicionalmente a las covariables del referente, yendo más allá de la restrictiva suposición de población i.i.d. de trabajos previos.
2. Planificación de Frontera Generativa (GFP): Un planificador novedoso que combina modelos de difusión condicional y de conteo censurado aprendidos con un sustituto de valor de cobertura latente. Este reemplaza el muestreo de Monte Carlo paso a paso con un backup determinista mediante incrustaciones de Laplace condicionales amortizadas.
3. Garantías Teóricas: El artículo demuestra que el objetivo inducido por ronda satisface rendimientos decrecientes enteros, garantizando una aproximación de $(1 - 1/e)$ para la asignación ávida intra-ronda.
4. Desempeño Empírico: Experimentos extensos en un entorno de simulación calibrado con un conjunto de datos de RDS del mundo real (ICPSR 22140) demuestran que GFP supera la asignación aleatoria, las bases de comparación de aprendizaje por refuerzo (Budget-DQN, Factorized RL) y una base de programación dinámica de población i.i.d. a través de cuatro factores de descuento.

Resultados Experimentales

La evaluación se realizó en un entorno de simulación que refleja la dinámica del mundo real de RDS, utilizando un presupuesto total de 100 y una frontera inicial de 10 individuos.

• Desempeño: GFP logró consistentemente los mayores reclutas acumulados finales y la mayor recompensa acumulada con descuento final a través de todos los factores de descuento ($\gamma \in \{0.9, 0.95, 0.99, 1.0\}$).
• Comparación con Bases de Comparación:
  • vs. DP de Población IID: GFP superó significativamente a la base más fuerte (DP de Población IID), que utiliza programación dinámica pero ignora la composición de las covariables. Con $\gamma=1.0$, GFP reclutó 99.5 individuos frente a 91.3 de la base, aislando el valor de razonar sobre la composición de las covariables.
  • vs. RL: Las bases de comparación de aprendizaje por refuerzo tuvieron dificultades debido al gran espacio de acción combinatorio y la falta de explotación estructural, desempeñándose significativamente peor que los enfoques basados en modelos.
• Dinámicas: Mientras que algunas bases de comparación reclutaron más rápido en las rondas iniciales, la estrategia consciente de las covariables de GFP le permitió dosificar las asignaciones de manera efectiva, superando a otros en las rondas finales para maximizar el alcance total.

Significado y Reivindicaciones

El artículo sostiene que GFP proporciona una solución tratable a un problema de planificación previamente intratable en la salud pública. Al modelar explícitamente la dependencia entre los referentes y los reclutas, el método permite a las agencias asignar recursos limitados de manera más efectiva que las estrategias que asumen una población homogénea.

Los autores enfatizan que su enfoque es modesto y basado en datos:

• Depende de sustitutos aprendidos en lugar de un conocimiento perfecto de las dinámicas reales.
• Las garantías teóricas se aplican al objetivo del sustituto, con la brecha hacia la política óptima real descompuesta en errores de estimación del modelo y errores de aproximación.
• El trabajo es validado en una simulación calibrada con datos reales, pero los autores reconocen que la validación con datos de reclutamiento reales en colaboración con agencias de salud pública es un siguiente paso necesario.

En última instancia, el artículo demuestra que incorporar modelos generativos de llegadas dependientes de covariables en marcos de programación dinámica puede extender significativamente el alcance de los sistemas de reclutamiento por pares, ofreciendo una herramienta práctica para intervenir en poblaciones ocultas.