Better Measurement or Larger Samples? Data Collection for Policy Learning with Unobserved Heterogeneity

O artigo analisa como a precisão das medições de características latentes e o tamanho da amostra afetam o desempenho de políticas públicas, derivando planos ótimos de coleta de dados e demonstrando empiricamente que incluir um proxy para habilidades empresariais no direcionamento de transferências de caixa aumenta o bem-estar e reduz perdas.

O essencial

Imagine que você é o prefeito de uma cidade e tem um orçamento limitado para ajudar os empreendedores locais. Você quer dar dinheiro (uma "transferência") para quem vai usá-lo melhor e gerar mais lucro.

O grande dilema do seu governo é: Devo gastar meu dinheiro em ter mais dados sobre mais pessoas, ou devo gastar em ter dados melhores sobre as pessoas que já conheço?

É exatamente sobre essa escolha que este artigo do economista Giacomo Opocher trata. Vamos descomplicar a ciência por trás disso usando uma analogia simples.

A Analogia do "Olho de Águia" vs. "Lupa"

Imagine que você tem duas ferramentas para escolher quem receberá o dinheiro:

1. A Lupa (Dados Básicos): Você olha para coisas óbvias, como a idade da pessoa, se ela tem diploma e em que bairro mora. Isso é fácil de medir, mas não diz tudo sobre o talento ou a motivação daquela pessoa.
2. O Olho de Águia (Dados Latentes): Existe um "superpoder" invisível: a habilidade de negócios da pessoa. Se você soubesse exatamente quem é um gênio dos negócios, você daria o dinheiro para ela e o resultado seria ótimo. Mas, como ninguém tem um raio-x para ver a mente, você precisa usar um "proxy" (uma medida indireta), como pedir para os vizinhos avaliarem o empreendedor.

O Problema:
Pedir para os vizinhos avaliarem é como tentar ver através de um vidro embaçado. Às vezes a avaliação é boa, às vezes é ruim (erro de medição).

• Se você usar apenas a Lupa (dados básicos), você perde os gênios que parecem comuns.
• Se você usar o Olho de Águia (avaliação dos vizinhos), você pode pegar os gênios, mas se a avaliação estiver muito embaçada (muito erro), você pode acabar dando o dinheiro para a pessoa errada, achando que ela é um gênio quando não é.

A Descoberta Principal: O Equilíbrio Perfeito

O autor do artigo fez uma conta matemática complexa (chamada de "limites de arrependimento") para responder a duas perguntas simples:

1. Vale a pena usar o "Olho de Águia" (a medida indireta)?

   • Resposta: Sim, mas só se a diferença de talento entre as pessoas for grande o suficiente para compensar o fato de que a medida é imperfeita. Se o "vidro" estiver muito embaçado (erro alto) e a diferença de talento for pequena, é melhor ignorar e usar apenas a Lupa (dados básicos).
   • A Regra de Ouro: A melhoria no resultado final deve ser maior do que o custo de tentar adivinhar o invisível.

2. Como dividir o orçamento?

   • Você tem um dinheiro fixo. Você pode gastar mais para ter mais vizinhos avaliando cada pessoa (melhorando a precisão do "Olho de Águia") ou pode gastar esse dinheiro para avaliar mais pessoas no total (aumentando o tamanho da amostra).
   • O Resultado Surpreendente:
     • Se o orçamento é baixo, é melhor focar em ter mais pessoas no total, mesmo que a avaliação de cada uma seja um pouco imprecisa (poucos vizinhos avaliando). A quantidade vence a qualidade aqui.
     • Se o orçamento é alto, você pode pagar para ter muitos vizinhos avaliando cada pessoa, tornando a medida muito precisa, e ainda sobrar dinheiro para um bom número de pessoas.

A Prova Real: O Estudo na Índia

O autor testou essa teoria usando dados reais de um experimento na Índia, onde empreendedores avaliavam uns aos outros.

• O que eles descobriram: Quando usaram as avaliações da comunidade (o "Olho de Águia"), o bem-estar geral aumentou em 5% e a chance de dar dinheiro para a pessoa errada caiu pela metade.
• O teste de orçamento: Eles simularam cenários.
  • Com pouco dinheiro, a melhor estratégia foi usar apenas 2 avaliadores por pessoa, mas avaliar muitas mais pessoas.
  • Com mais dinheiro, a estratégia ideal mudou para usar 4 ou 5 avaliadores por pessoa, mantendo um bom número de participantes.
  • Conclusão: Nunca é bom ignorar totalmente a habilidade invisível (o "Olho de Águia"), mesmo que seja caro medir. Mas, se o dinheiro estiver apertado, é melhor ter uma medição "ok" de muitas pessoas do que uma medição "perfeita" de poucas pessoas.

Resumo para Levar para Casa

Imagine que você está tentando adivinhar quem vai ganhar uma corrida.

• Opção A: Olhar apenas para a altura dos corredores (fácil, mas não garante nada).
• Opção B: Pedir para 5 treinadores avaliarem a técnica de cada um (melhor, mas dá trabalho e pode ter erro).

O artigo diz: Não jogue fora a Opção B só porque ela é difícil. Mesmo com erros, ela é melhor que a Opção A. Porém, se você tiver pouco dinheiro, não gaste tudo tentando convencer 10 treinadores a avaliar 10 corredores. É melhor conseguir 5 treinadores avaliarem 50 corredores.

Em suma: Para políticas públicas, não basta apenas coletar mais dados. Às vezes, é preciso coletar dados melhores sobre características invisíveis. Mas o segredo está no equilíbrio: quanto mais você gasta para melhorar a qualidade de uma medida, menos você tem para coletar mais dados. O autor nos dá a fórmula exata para encontrar esse ponto ideal.

Resumo técnico

Resumo Técnico: Melhor Medição ou Amostras Maiores?

1. Problema de Pesquisa

O artigo aborda um dilema central na aprendizagem de políticas (policy learning) quando a heterogeneidade nos efeitos do tratamento depende de características latentes não observadas (como habilidade inata, motivação ou habilidades empresariais).

• O Dilema: Um formulador de políticas deseja maximizar o bem-estar social ao atribuir tratamentos a subgrupos específicos. Para isso, ele pode usar apenas covariáveis observáveis (ex: idade, renda) ou incluir estimativas de características latentes (usando proxies ou medidas com erro).
• A Tensão: Incluir uma proxy de uma característica latente introduz dois custos:
  1. Erro de Medição: O erro na estimativa da variável latente propaga-se para o problema de decisão, podendo degradar a performance da política.
  2. Complexidade do Espaço de Políticas: A inclusão de uma variável adicional aumenta a complexidade do espaço de hipóteses (dimensão VC), exigindo uma amostra maior para aprender a regra ótima com a mesma precisão.
• A Questão Central: Dado um orçamento fixo, como o formulador de políticas deve alocar recursos entre (i) melhorar a precisão da medição da variável latente (ex: coletar mais medições repetidas) e (ii) aumentar o tamanho da amostra para aprender a regra de atribuição?

2. Metodologia e Estrutura Teórica

O autor desenvolve uma estrutura teórica baseada em limites de arrependimento (regret bounds) e otimização de design experimental.

A. Definição de Arrependimento (Regret)
O autor propõe uma inovação teórica crucial: definir o arrependimento em relação a um oráculo que observa o fator latente verdadeiro ($A_i$), e não apenas em relação à melhor regra dentro de uma classe específica.

• Isso permite comparar diretamente regras baseadas apenas em covariáveis ($G(X)$) com regras aumentadas por estimativas de variáveis latentes ($G(X, \hat{A})$) sob um mesmo benchmark.

B. Limites de Arrependimento (Regret Bounds)
O artigo deriva limites rate-sharp (afinados) para duas classes de políticas:

1. Regras Baseadas em Covariáveis (CB): O limite de arrependimento depende da variância residual dos efeitos do tratamento não explicada pelas covariáveis observadas ($\bar{\sigma}_{\tau|x}$) e do erro de aproximação.
2. Regras Aumentadas com $\hat{a}$ ($\hat{a}$-CB): O limite inclui um termo adicional proporcional ao Erro Quadrático Médio Raiz (rMSE) da proxy ($\sqrt{E[(\hat{A}_i - A_i)^2]}$).
   • Resultado Chave Teórico: A inclusão da proxy só é ótima se a variação nos efeitos do tratamento explicada pelo fator latente superar a soma do aumento na complexidade do espaço de políticas e do erro de estimação introduzido.

C. Problema de Coleta de Dados (Data Collection)
O autor modela a alocação de um orçamento fixo ($B_0$) entre:

• Precisão da Medição ($t$): Um índice de informação que reduz o rMSE da proxy (ex: número de avaliadores ou medições repetidas).
• Tamanho da Amostra ($n$): O número de unidades observadas para aprender a política.
• Restrição Orçamentária: $c_t(t) + c_n(n) \leq B_0$.

O autor deriva a alocação minimax ótima, mostrando que a solução possui uma estrutura de "canto versus interior":

• Se o erro de aproximação das regras CB for baixo ou o custo de melhorar a proxy for alto, o ótimo é $t^*=0$ (ignorar a latente) e investir todo o orçamento em $n$.
• Caso contrário, o orçamento deve ser dividido. A proporção ótima entre observações de política e unidades de informação ($q = n/t$) depende da complexidade da política, da escala do erro de medição e dos custos relativos.

3. Contribuições Principais

1. Novos Limites de Arrependimento: Derivação de limites superiores e inferiores (minimax) para políticas que utilizam variáveis latentes estimadas, estabelecendo quando a inclusão de proxies ruidosas é benéfica.
2. Problema de Design de Coleta de Dados: É o primeiro trabalho a formalizar o trade-off entre melhorar a medição de variáveis latentes e aumentar o tamanho da amostra no contexto de aprendizagem de políticas.
3. Procedimentos Práticos: Propõe métodos de sample-splitting (divisão de amostra) para que pesquisadores aplicados possam:
   • Classificar regras que ignoram vs. incorporam heterogeneidade não observada.
   • Estimar a alocação ótima de orçamento em cenários empíricos reais.
4. Inovação na Definição de Benchmark: O uso de um oráculo que vê a verdade latente permite comparações justas entre classes de políticas distintas, algo que a literatura anterior (que compara apenas dentro da classe) não permitia.

4. Resultados Empíricos (Aplicação em Hussam et al., 2022)

O autor aplica a metodologia aos dados de um ensaio controlado randomizado (RCT) na Índia rural, onde microempresários receberam subsídios em dinheiro. A variável latente é a habilidade empresarial, medida por "classificações comunitárias" (peer rankings).

• Validação do Benefício: Confirmou-se que usar as classificações comunitárias aumenta o bem-estar médio em 5% e reduz a probabilidade de gerar perdas de bem-estar (harm rate) em metade comparado a regras baseadas apenas em covariáveis.
• Decaimento da Performance: Ao variar o número de avaliadores (de 1 a 5) usados para construir a proxy, observou-se que o ganho de bem-estar aumenta com a precisão da medição, validando a previsão teórica de que o ruído reduz o benefício.
• Alocação Ótima de Orçamento:
  • Mesmo com orçamentos limitados, nunca é ótimo ignorar a heterogeneidade latente (sempre vale a pena coletar pelo menos algumas medições).
  • Trade-off Crítico: Para orçamentos baixos, é ótimo coletar menos medições (ex: 2 avaliadores) e investir o restante em um tamanho de amostra maior.
  • Para orçamentos altos, a alocação ótima muda para coletar o máximo possível de medições (ex: 4 avaliadores) até saturar o tamanho da amostra disponível.
  • A fronteira de bem-estar mostra que ignorar a latente é subótimo, mas a precisão excessiva da medição em detrimento do tamanho da amostra também é prejudicial em orçamentos restritos.

5. Significado e Implicações

• Para Formuladores de Políticas: O artigo fornece uma regra prática para o design de experimentos e coleta de dados. Não basta apenas coletar mais dados; é preciso equilibrar a qualidade da informação sobre características latentes com a quantidade de dados para estimar a política.
• Para a Literatura Econômica: Resolve a tensão entre a necessidade de modelar heterogeneidade complexa (que exige dados ricos) e as limitações estatísticas de amostras finitas.
• Implicação Prática: Em muitos contextos de desenvolvimento, onde a coleta de dados é cara, a recomendação não é necessariamente "melhore a medição o máximo possível", mas sim "otimize a relação custo-benefício entre precisão da medição e tamanho da amostra". O artigo demonstra que, sob restrições orçamentárias, sacrificar um pouco de precisão na medição para obter uma amostra maior pode ser a estratégia que maximiza o bem-estar social.

Em suma, o trabalho estabelece que a decisão de incluir variáveis latentes estimadas em regras de política não é binária (sim/não), mas depende de uma otimização cuidadosa dos recursos de coleta de dados para equilibrar o erro de medição contra o erro estatístico da amostra.