Empirically Understanding the Value of Prediction in Allocation

Título: Compreendendo Empiricamente o Valor da Previsão na Alocação

1. Problema e Motivação

Instituições públicas e privadas utilizam cada vez mais sistemas preditivos para alocar recursos escassos (ex: vagas em habitação social, programas de emprego, transferências de renda). Tradicionalmente, a literatura foca em como resolver um problema de alocação já definido (otimizando regras de decisão dadas restrições fixas).

No entanto, os autores argumentam que a questão central não é apenas "como resolver", mas "qual problema devemos resolver?". As escolhas de meta-design — como a qualidade dos dados, a capacidade institucional (orçamento/vagas), a intensidade do tratamento e a seleção de recursos — são variáveis de otimização tão importantes quanto o algoritmo de alocação em si.

• A Lacuna: Existe uma vasta literatura teórica sobre o valor da previsão, mas ela frequentemente depende de suposições distribucionais estilizadas e não responde a perguntas práticas específicas de domínio (ex: "Vale a pena investir em dados para um subgrupo específico?").
• O Desafio: Planejadores precisam comparar investimentos em melhoria de previsão (coleta de dados, novos recursos) versus outros alavancas de política, como expansão de capacidade (mais vagas/orçamento) ou melhoria do tratamento (qualidade do serviço).

2. Metodologia e Ferramenta (rvp)

Os autores desenvolvem uma abordagem empírica e uma ferramenta de software chamada rvp (Relative Value of Prediction) para quantificar o impacto no bem-estar de diferentes investimentos.

• Definição Formal do Problema de Alocação:
  O problema é definido por três primitivas: distribuição de dados $D$, função de utilidade $u$ e restrição de capacidade $\alpha$. O objetivo é maximizar a utilidade esperada sujeita a $\alpha$.
• Alavancas de Política (Policy Levers):
  O framework trata as seguintes intervenções como variáveis de design que modificam as primitivas:
  1. Expansão de Capacidade ($\alpha$): Aumentar o número de indivíduos atendidos.
  2. Melhoria do Tratamento ($u$): Aumentar o benefício ou eficácia da intervenção para o indivíduo.
  3. Melhoria da Previsão ($D$): Tornar os recursos observáveis ($x$) mais informativos sobre o resultado ($w$), reduzindo o erro de previsão (ex: RMSE).
• Abordagem Empírica:
  Em vez de derivar teoremas gerais, o toolkit permite simular cenários com dados reais do usuário. O sistema compara o ganho de bem-estar marginal de diferentes alavancas sob três cenários de informação de custo:
  • Q1 (Custos Conhecidos): Como alocar um orçamento fixo entre as alavancas para maximizar o bem-estar total?
  • Q2 (Custos Parciais): Qual melhoria na previsão é necessária para igualar o ganho de uma expansão de capacidade conhecida? (Ponto de equilíbrio).
  • Q3 (Custos Desconhecidos): Qual é a razão de valor relativo? (Ex: "A previsão vale o dobro da capacidade, então vale a pena investir até o dobro no custo").

3. Estudos de Caso e Resultados

Os autores aplicam o framework em dois estudos de caso reais:

A. Serviços de Emprego na Alemanha (Identificação de Desemprego de Longo Prazo)

• Contexto: Agências usam dados administrativos para prever a duração do desemprego e direcionar programas de suporte.
• Cenário 1 (Subgrupo Específico): Avaliar se vale a pena coletar dados adicionais (entrevistas) para desempregados acima de 35 anos com histórico profissional incompleto.
  • Resultado: Para igualar o ganho de bem-estar de expandir a capacidade (adicionar vagas), a coleta de dados precisaria reduzir o erro quadrático médio (RMSE) em pelo menos 20% para todo o subgrupo. No entanto, se a coleta de dados for direcionada apenas aos indivíduos próximos à fronteira de decisão (marginais), a redução necessária de RMSE cai para menos de 5%. Isso sugere que a coleta de dados deve ser focada, não universal.
• Cenário 2 (Previsão vs. Dano): Quando a alocação incorreta causa dano (ex: "efeito de travamento" onde o treinamento atrasa a contratação de quem já teria emprego rápido).
  • Resultado: Em regimes de baixa capacidade, a expansão de capacidade geralmente domina. Porém, se o dano da má alocação for alto, o valor da previsão aumenta drasticamente. Melhorar a previsão torna-se mais valioso do que expandir a capacidade, pois evita causar danos a indivíduos de baixo risco.

B. Alvo de Pobreza na Etiópia (Transferências de Renda)

• Contexto: Uso de Testes de Meios Proxy (PMT) para selecionar famílias para transferências de dinheiro. O desafio é o custo de coletar dados (pesquisas de pobreza) versus o custo de distribuir o dinheiro.
• Cenário 1 (Novo Programa): Com um orçamento fixo, quanto investir em coleta de dados (para aumentar a cobertura e precisão) versus aumentar o montante total distribuído?
  • Resultado: Sob uma função de utilidade CRRA (que valoriza mais os mais pobres), a alocação ótima para orçamentos limitados é uma mistura de coleta de dados e expansão de capacidade. Para orçamentos muito grandes, a coleta de dados para cobrir 100% da população torna-se a estratégia ótima.
• Cenário 2 (Programa Existente): Como investir em um programa já estabelecido (com dados parciais e capacidade definida)?
  • Resultado: A alocação marginal ótima depende fortemente das condições iniciais. Se a cobertura de dados for baixa, prioriza-se a coleta de dados. Se a capacidade for alta e os benefícios grandes, investir em melhorar a precisão da previsão (dados) torna-se crucial para evitar desperdício.

4. Contribuições Principais

1. Mudança de Paradigma: Desloca o foco da otimização algorítmica (como resolver) para a otimização de design de sistema (qual problema resolver e quais recursos investir).
2. Kit de Ferramentas Empírico (rvp): Disponibiliza um software de código aberto que permite a planejadores simularem trade-offs complexos usando seus próprios dados, sem depender de suposições teóricas simplificadas.
3. Insights Práticos: Demonstra que a resposta sobre "se vale a pena investir em previsão" não é binária; depende criticamente de:
   • Subgrupos específicos (marginais vs. extremos).
   • A existência de danos colaterais na alocação incorreta.
   • O nível de capacidade existente e a estrutura de custos.
4. Transparência e Reprodutibilidade: Disponibiliza dados e código para fomentar pesquisas futuras na interseção entre aprendizado de máquina e políticas públicas.

5. Significado e Impacto

Este trabalho é fundamental para a implementação responsável de IA em políticas públicas. Ele fornece aos tomadores de decisão uma metodologia rigorosa para justificar orçamentos: em vez de apenas pedir "mais dados" ou "mais vagas", eles podem quantificar exatamente qual investimento gera o maior retorno social. O estudo revela que, em muitos casos, investir em dados para subgrupos marginais ou reduzir danos de má alocação é mais eficiente do que simplesmente melhorar a previsão geral ou expandir a capacidade cegamente. Isso oferece um guia prático para alocar recursos escassos de forma a maximizar o bem-estar social real.