Résumé technique : Planification de frontière générative pour le recrutement par recommandation adaptative sous arrivées dépendantes des covariables

Formulation du problème

L'article traite du défi de l'allocation de ressources adaptative multi-tours dans les systèmes de recrutement par recommandation de pairs (peer-referral), tels que l'échantillonnage par l'intermédiaire de réseaux (Respondent-Driven Sampling, RDS), utilisés pour étudier les populations cachées affectées par des maladies infectieuses. Les agences de santé publique possèdent un budget total fixe de ressources de recommandation (par exemple, des bons d'achat) à distribuer sur plusieurs tours.

La difficulté centrale réside dans la nature dépendante des covariables des arrivées. Contrairement aux travaux antérieurs qui supposent que les nouveaux recrutés sont tirés de manière indépendante et identiquement distribuée (i.i.d.) d'une population homogène, ce travail modélise un scénario réaliste où :

1. La capacité de recommandation est stochastique et hétérogène : Le nombre de pairs qu'un individu peut recommander dépend de ses covariables spécifiques (démographie, comportement, géographie) et est soumis à une distribution de comptage censurée.
2. Les covariables des descendants sont conditionnelles : Les caractéristiques des nouveaux recrutés ne sont pas tirées d'une distribution fixe, mais sont générées de manière conditionnelle selon les covariables du référent (reflétant l'homophilie et le contexte partagé).

L'objectif est de concevoir une politique qui alloue des ressources à la « frontière » actuelle des référents actifs afin de maximiser le nombre attendu de recrutements réussis avec une remise (actualisation) sur un horizon fini. Cela nécessite de raisonner sur la manière dont les décisions d'allocation actuelles façonnent à la fois la taille et la composition des covariables des frontières futures.

Méthodologie : Planification de frontière générative (GFP)

Les auteurs proposent la Planification de Frontière Générative (Generative Frontier Planning, GFP), une méthode de programmation dynamique approximative basée sur un modèle qui surmonte l'intraitabilité de la planification sous des arrivées génératives dépendantes des covariables.

1. Dynamiques apprises

La GFP utilise deux composantes apprises, estimées hors ligne à partir de données historiques :

• Modèle de comptage censuré ($q_\psi$) : Un modèle de régression de Poisson neural estimant la capacité de recommandation $C_i$ d'un individu compte tenu de ses covariables $x_i$. Il rend compte du fait que les recommandations observées sont plafonnées par le budget alloué.
• Modèle de diffusion conditionnel ($G_\theta$) : Un modèle de diffusion conditionnel qui génère les covariables des nouveaux recrutés ($x'$) étant donné les covariables du parent ($x$).

2. Le goulot d'étranglement computationnel

La planification standard basée sur un modèle (par exemple, l'itération de valeur ajustée ou Fitted Value Iteration) est ici intraitable car :

• La frontière suivante est un ensemble aléatoire de taille variable.
• Différentes allocations induisent différentes distributions de descendants, empêchant le partage d'échantillons de Monte-Carlo entre les actions candidates.
• L'espace des actions (allocations entières à travers tous les membres de la frontière) est combinatoirement vaste.

3. Substitut de valeur structuré

Pour résoudre ces problèmes, la GFP introduit un substitut de valeur structuré $V_\phi(r, F)$ qui projette la frontière vers une représentation de couverture de covariables latente.

• Représentation latente : Chaque individu est projeté vers un vecteur latent non négatif $h_\phi(x) \in \mathbb{R}^d_+$, représentant une affectation souple à $d$ « prototypes de covariables ». La frontière est résumée par le vecteur de couverture agrégé $z = \sum_{x \in F} h_\phi(x)$.
• Fonction de valeur : La valeur est modélisée comme une fonction d'exponentielle-saturation sur cette couverture : $V_\phi(r, z) = \sum w_{\phi,j}(r)(1 - \exp(-z_j))$. Cette structure capture les rendements décroissants à mesure que des régions spécifiques de covariables deviennent saturées.

4. Backup déterministe en forme close

L'innovation clé est l'utilisation des plongements de Laplace conditionnels (Conditional Laplace Embeddings) pour rendre le backup de Bellman déterministe et en forme close.

• Au lieu d'échantillonner les descendants à partir du modèle de diffusion $G_\theta$ pendant la planification, la GFP pré-calcule (amortit) les plongements $\alpha_{\theta,\phi,j}(x) = \mathbb{E}_{y \sim G_\theta(\cdot|x)}[\exp(-h_{\phi,j}(y))]$.
• En utilisant ces plongements et le modèle de comptage censuré, l'espérance de la valeur future peut être calculée exactement sans échantillonnage de Monte-Carlo. L'espérance se factorise en un produit de termes dépendant uniquement de l'allocation $k$ et des plongements pré-calculés.

5. Allocation gloutonne intra-tour

Avec le substitut déterministe, le problème d'optimisation par tour consiste à maximiser une fonction qui possède des rendements décroissants entiers monotones.

• La GFP emploie un algorithme glouton marginal pour allouer les ressources au sein d'un tour.
• Une analyse théorique prouve que cette approche gloutonne atteint une approximation de $(1 - 1/e)$ de l'allocation optimale pour un budget fixe pour l'objectif du substitut.

Contributions clés

1. Généralisation du problème : Les auteurs formalisent le recrutement par recommandation de pairs comme un problème d'allocation adaptative où les arrivées futures sont générées conditionnellement aux covariables du référent, dépassant ainsi l'hypothèse restrictive de la population i.i.d. des travaux précédents.
2. Planification de Frontière Générative (GFP) : Un nouveau planificateur combinant des modèles de comptage censuré et de diffusion conditionnelle avec un substitut de valeur de couverture latente. Il remplace le sampling de Monte-Carlo par étape par un backup déterministe utilisant des plongements de Laplace conditionnels amortis.
3. Garanties théoriques : L'article prouve que l'objectif induit par tour satisfait des rendements décroissants entiers, garantissant une approximation de $(1 - 1/e)$ pour l'allocation gloutonne intra-tour.
4. Performance empirique : Des expériences approfondies dans un environnement de simulation calibré sur un jeu de données RDS réel (ICPSR 22140) démontrent que la GFP surpasse l'allocation aléatoire, les bases de comparaison d'apprentissage par renforcement (Budget-DQN, Factorized RL) et une base de programmation dynamique de niveau de population i.i.d. à travers quatre facteurs de remise.

Résultats expérimentaux

L'évaluation a été menée dans un environnement de simulation reflétant les dynamiques réelles de l'RDS, avec un budget total de 100 et une frontière initiale de 10 individus.

• Performance : La GFP a systématiquement obtenu le plus haut nombre cumulé de recrutements finaux et la plus haute récompense cumulée actualisée finale pour tous les facteurs de remise ($\gamma \in \{0.9, 0.95, 0.99, 1.0\}$).
• Comparaison avec les bases de référence :
  • vs IID-Population DP : La GFP a nettement surpassé la base la plus forte (IID-Population DP), qui utilise la programmation dynamique mais ignore la composition des covariables. À $\gamma=1.0$, la GFP a recruté 99,5 individus contre 91,3 pour la base de référence, isolant ainsi la valeur du raisonnement sur la composition des covariables.
  • vs RL : Les bases de référence d'apprentissage par renforcement ont eu des difficultés en raison de l'espace d'action combinatoire important et du manque d'exploitation structurelle, obtenant des performances nettement inférieures aux approches basées sur des modèles.
• Dynamiques : Bien que certaines bases de référence aient recruté plus rapidement lors des premiers tours, la stratégie de la GFP, consciente des covariables, lui a permis de cadencer efficacement les allocations, dépassant les autres dans les tours ultérieurs pour maximiser la portée totale.

Signification et affirmations

L'article affirme que la GFP fournit une solution exploitable à un problème de planification auparavant intraitable en santé publique. En modélisant explicitement la dépendance entre les référents et les recrutés, la méthode permet aux agences d'allouer les ressources limitées plus efficacement que les stratégies supposant une population homogène.

Les auteurs soulignent que leur approche est modeste et axée sur les données :

• Elle repose sur des substituts appris plutôt que sur une connaissance parfaite des dynamiques réelles.
• Les garanties théoriques s'appliquent au substitut de l'objectif, l'écart avec la politique optimale réelle étant décomposé en erreurs d'estimation de modèle et erreurs d'approximation.
• Le travail est validé par une simulation calibrée sur des données réelles, mais les auteurs reconnaissent que la validation sur des données de recrutement réelles en partenariat avec des agences de santé publique est une étape nécessaire.

Enfin, l'article démontre qu'intégrer des modèles génératifs d'arrivées dépendantes des covariables dans des cadres de programmation dynamique peut considérablement étendre la portée des systèmes de recrutement par les pairs, offrant un outil pratique pour intervenir auprès des populations cachées.