Better Measurement or Larger Samples? Data Collection for Policy Learning with Unobserved Heterogeneity

Each language version is independently generated for its own context, not a direct translation.

🎯 Le Dilemme du Chef d'Orchestre : Plus de Musiciens ou un Meilleur Accord ?

Imaginez que vous êtes le chef d'orchestre d'une grande symphonie (le gouvernement) et que vous devez décider qui reçoit une partition spéciale (une aide financière, une formation, un médicament). Votre but est que chaque musicien joue aussi bien que possible.

Le problème, c'est que les musiciens ne sont pas tous pareils. Certains sont naturellement talentueux, d'autres sont très motivés, d'autres encore sont fatigués. Ces qualités cachées, on ne les voit pas directement sur leur visage (ce sont des caractéristiques latentes).

Pour bien diriger, vous avez deux options :

Regarder seulement ce que vous voyez : L'âge, le niveau d'études, le type d'instrument (les données observables).
Essayer de deviner le talent caché : Demander aux autres musiciens de noter le talent de chacun (une mesure imparfaite ou un "proxy").

L'article de Giacomo Opocher pose une question cruciale : Est-il mieux d'avoir une liste plus longue de musiciens (plus de données) ou de passer du temps à mieux évaluer le talent caché de chaque musicien (mesures plus précises) ?

🧩 Le Problème : La Mesure n'est jamais Parfaite

Imaginons que vous demandez à 5 musiciens de noter le talent d'un collègue.

Si vous prenez la moyenne de 5 notes, vous avez une idée très précise du talent réel.
Si vous ne prenez que 1 note, c'est très bruyant, imprécis, et vous risquez de vous tromper.

C'est là que le dilemme apparaît. Votre budget (votre temps et votre argent) est limité.

Si vous dépensez votre budget pour obtenir 5 notes par musicien, vous n'aurez l'argent que pour étudier 100 musiciens.
Si vous dépensez votre budget pour obtenir 1 seule note par musicien, vous pourrez étudier 500 musiciens.

La question est : Est-ce que la précision de la note (le talent caché) compense le fait d'avoir moins de musiciens dans votre étude ?

🔍 La Découverte de l'Auteur

Giacomo a créé une "formule magique" (des bornes de regret) pour répondre à cette question. Voici ce qu'il a découvert, traduit en langage courant :

1. Quand vaut-il mieux chercher le talent caché ?

Si le talent caché (la motivation, l'habileté) est vraiment important pour le succès du musicien, alors il vaut la peine de payer pour avoir des notes précises, même si cela signifie étudier moins de monde.

Analogie : Si vous cherchez un chef d'orchestre, savoir s'il a le "don" est plus important que de connaître son âge. Même si vous ne pouvez tester que 10 candidats au lieu de 100, le fait de bien évaluer leur "don" vous donnera un meilleur résultat final.

2. Quand vaut-il mieux avoir plus de monde ?

Si le talent caché n'est pas si important, ou si le moyen de le mesurer est trop cher et trop imprécis, alors il vaut mieux ignorer ce détail et se concentrer sur un grand nombre de personnes avec des données simples (âge, diplôme).

Analogie : Si vous distribuez des parapluies, savoir si quelqu'un est "créatif" n'a pas d'importance. Il vaut mieux avoir une liste de 10 000 personnes qui ont besoin d'un parapluie (données simples) plutôt que de passer des heures à essayer de deviner qui est créatif, même si cela ne vous permet d'en aider que 100.

3. Le compromis parfait (La recette optimale)

L'auteur a trouvé la recette exacte pour mélanger les deux. Il ne faut ni tout miser sur la précision, ni tout miser sur la quantité.

Petit budget : Il vaut mieux avoir moins de notes précises mais beaucoup de personnes. (Exemple : 2 notes par personne sur 500 personnes).
Gros budget : On peut se permettre d'avoir plus de notes précises ET beaucoup de personnes. (Exemple : 4 ou 5 notes par personne sur 700 personnes).

🇮🇳 L'Exemple Réel : Les Entrepreneurs en Inde

Pour prouver sa théorie, l'auteur a utilisé une expérience réelle menée en Inde par d'autres chercheurs.

Le contexte : On donne de l'argent à des petits commerçants pour qu'ils développent leur business.
Le problème : On ne sait pas qui a le "talent d'entrepreneur" (une qualité cachée).
La solution testée : Les commerçants se notent entre eux (comme des amis qui disent "Ah, lui, il est très doué pour les affaires").

Les résultats sont surprenants :

Mieux vaut le talent caché : Utiliser ces notes entre amis pour cibler l'argent a augmenté la richesse globale de 5 % et a réduit de moitié le risque de donner de l'argent à quelqu'un qui ne l'utilisera pas bien.
Le budget compte : Si l'on avait eu un budget très serré, il aurait été mieux de demander à seulement 2 amis de noter chaque commerçant (pour avoir plus de commerçants dans l'étude) plutôt que de demander à 5 amis (ce qui aurait réduit le nombre total de commerçants testés).
Ne jamais ignorer le talent : Même avec un budget très faible, il ne faut jamais ignorer complètement le talent caché. Il vaut toujours mieux avoir un peu de cette information, même imparfaite, que de ne compter que sur l'âge ou le diplôme.

💡 En Résumé : La Leçon pour les Décideurs

Si vous êtes un décideur public (ou un manager) :

Ne vous fiez pas seulement à ce que vous voyez. Parfois, les choses invisibles (la motivation, le talent) sont les plus importantes.
Ne cherchez pas la perfection immédiate. Si vous voulez mesurer ces choses invisibles, ne cherchez pas la précision absolue si cela vous empêche d'atteindre assez de monde.
Trouvez l'équilibre. Pour les petits budgets, privilégiez la quantité (plus de personnes, mesures un peu moins précises). Pour les gros budgets, vous pouvez vous permettre la qualité (plus de personnes ET des mesures très précises).

L'article nous apprend que la meilleure politique n'est ni "plus de données" ni "des données parfaites", mais le bon mélange des deux selon votre budget.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique et Contexte

Les décideurs publics (gouvernements, institutions) s'appuient de plus en plus sur des règles de traitement individualisées pour allouer des interventions (transferts monétaires, formations à l'emploi) au sein de populations hétérogènes. L'objectif est d'identifier les sous-groupes qui bénéficient le plus d'une politique donnée.

Cependant, la littérature empirique et théorique a établi que la réponse aux traitements dépend non seulement de caractéristiques observables (âge, revenu), mais aussi de caractéristiques latentes (motivation, compétences entrepreneuriales, capacité innée) qui ne sont pas directement observables. Les chercheurs utilisent souvent des proxies (mesures avec erreur ou estimations) pour capturer ces traits.

L'article aborde deux questions fondamentales :

Quand est-il bénéfique d'inclure un proxy d'une variable latente dans la règle de politique ? L'erreur de mesure du proxy se propage-t-elle au point de dégrader la performance de la politique par rapport à une règle basée uniquement sur des covariables observées ?
Comment concevoir la collecte de données ? Étant donné un budget fixe, comment un décideur doit-il allouer ses ressources entre l'amélioration de la précision du proxy (mesures répétées, élicitation incitative) et l'augmentation de la taille de l'échantillon pour apprendre la politique optimale ?

2. Méthodologie et Cadre Théorique

L'auteur adopte une approche minimax pour fournir des garanties théoriques sur le regret (la perte de bien-être par rapport à une règle optimale).

A. Définitions et Hypothèses

Données : Vecteur aléatoire $(X_i, A_i)$ où $X$ sont les covariables observées et $A$ le trait latent. On observe un proxy bruité $\hat{A}_i = A_i + \varepsilon_i$ .
Classes de politiques :
- CB (Covariate-Based) : Règles basées uniquement sur $X$ .
- $\hat{a}$ -Augmented ( $\hat{a}$ -CB) : Règles basées sur $X$ et l'estimateur $\hat{A}$ .
Nouvelle définition du Regret : Contrairement à la littérature standard qui compare la règle estimée à la meilleure règle dans la même classe, l'auteur définit le regret par rapport à un oracle omniscient qui observe le vrai trait latent $A_i$ et connaît la structure causale. Cela permet de comparer de manière équitable les classes CB et $\hat{a}$ -CB.
Hypothèses clés : Bornitude des résultats, affectation aléatoire stratifiée, chevauchement strict, et conditions de régularité sur la classe de politiques (dimension VC finie, condition de marge, continuité de Lipschitz).

B. Bornes de Regret (Théorèmes 1 à 4)

L'auteur dérive des bornes de regret "rate-sharp" (précises en termes de taux de convergence) :

Règles CB : Le regret est borné par une erreur statistique (dépendant de la taille de l'échantillon $n$ et de la complexité de la classe) et une erreur d'approximation due à l'ignorance de l'hétérogénéité latente ( $\bar{\sigma}_{\tau|x}$ ).
Règles $\hat{a}$ -CB : Le regret est borné par une erreur statistique (liée à la complexité accrue de la classe incluant $\hat{A}$ ) et une erreur d'estimation proportionnelle à l'erreur quadratique moyenne racine (rMSE) du proxy.
Comparaison Minimax : L'inclusion du proxy est optimale (minimax) si la variation du traitement expliquée par le trait latent dépasse la somme de l'augmentation de la complexité de l'espace des politiques et de l'erreur de mesure du proxy.

C. Problème de Collecte de Données (Section 4)

Le problème est formulé comme une allocation de budget $B_0$ entre :

$t$ : Niveau d'information (précision du proxy, ex: nombre de mesureurs).
$n$ : Taille de l'échantillon pour l'apprentissage de la politique.
Contrainte : $c_t(t) + c_n(n) \le B_0$ .

L'auteur propose une solution analytique (Proposition 1) montrant que la solution optimale présente une structure coin vs intérieur :

Si l'hétérogénéité latente est faible ou le coût de mesure trop élevé, il est optimal de ne pas mesurer le trait ( $t^*=0$ ) et d'allouer tout le budget à $n$ .
Sinon, il est optimal de diviser le budget. Le ratio optimal entre observations de politique et mesures de proxy dépend de la complexité de la classe, de la précision initiale du proxy et des coûts relatifs.

3. Application Empirique

L'auteur applique ces procédures aux données de l'étude de Hussam et al. (2022) sur un essai contrôlé randomisé (RCT) en Inde rurale concernant des subventions aux micro-entrepreneurs.

Contexte : Le proxy utilisé est le "classement communautaire" (moyenne des classements donnés par les pairs aux entrepreneurs).
Données : 1 345 entrepreneurs. Le proxy est construit à partir de la moyenne de 5 classements distincts, permettant de varier la précision ( $t$ ) en réduisant le nombre de classeurs.

Résultats Empiriques

Gain de Bien-être : L'inclusion du classement communautaire dans la règle de ciblage augmente le bien-être moyen de 5 % par rapport à une affectation aléatoire et de 4 % par rapport à une règle basée uniquement sur les covariables (âge, éducation).
Réduction des pertes : La probabilité de générer une perte de bien-être (harm rate) est divisée par deux par rapport aux règles CB.
Effet de la précision : Le gain de bien-être augmente avec le nombre de classeurs (précision du proxy), confirmant la prédiction théorique selon laquelle le bruit réduit l'avantage du proxy.
Allocation Optimale du Budget :
- Même avec des budgets limités, il n'est jamais optimal d'ignorer l'hétérogénéité latente (le proxy doit toujours être utilisé, $t^* \ge 2$ ).
- Pour les budgets faibles, il est optimal de privilégier la taille de l'échantillon au détriment de la précision du proxy (ex: 2 classeurs au lieu de 5).
- Pour les budgets élevés, il est optimal d'augmenter le nombre de mesures jusqu'à la saturation de l'échantillon disponible.

4. Contributions Clés

Théorique : Introduction d'une nouvelle définition du regret par rapport à un oracle observant le trait latent, permettant de comparer des classes de politiques hétérogènes et de dériver des bornes minimax précises incluant l'erreur de mesure.
Méthodologique : Résolution formelle du problème de conception de collecte de données (Data Collection Design) dans le cadre de l'apprentissage de politiques, en identifiant les conditions de seuil pour l'allocation optimale entre précision de mesure et taille d'échantillon.
Pratique : Développement de procédures de "sample-splitting" (division d'échantillon) permettant aux chercheurs appliqués d'évaluer empiriquement si l'inclusion d'un proxy est bénéfique et comment optimiser leurs plans de collecte de données.

5. Signification et Implications

Ce papier établit un cadre rigoureux pour les décideurs qui doivent choisir entre "mieux mesurer" et "mesurer plus". Il démontre que l'ajout de variables latentes estimées n'est pas automatiquement bénéfique ; cela dépend d'un arbitrage précis entre la variance expliquée par le trait latent et le coût de l'erreur de mesure et de la complexité du modèle.

L'étude empirique montre que, dans le contexte du développement économique, l'investissement dans la mesure de compétences entrepreneuriales (via des classements communautaires) est crucial pour maximiser l'efficacité des transferts monétaires, même lorsque les budgets sont contraints. Cela suggère que les politiques publiques devraient intégrer des mécanismes de collecte d'informations sur les traits latents, mais en optimisant le compromis entre la qualité de ces informations et la taille de la population cible.