📈 economics

Learning What to Learn: Experimental Design when Combining Experimental with Observational Evidence

Este artigo propõe um arcabouço unificado para o projeto de experimentos com restrição de custo que se combinam com dados observacionais potencialmente enviesados ao empregar um critério de arrependimento proporcional minimax para otimizar o equilíbrio entre viés e variância sem exigir limites de viés pré-especificados.

Autores originais: Aristotelis Epanomeritakis, Davide Viviano

Publicado 2026-07-20

📖 7 min de leitura🧠 Leitura aprofundada

CC0 1.0

Autores originais: Aristotelis Epanomeritakis, Davide Viviano

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Dilema do Grande Detetive: Quando as Pistas Mentem

Imagine que você é um detetive tentando resolver um mistério enorme: como uma nova política, como dar dinheiro para famílias carentes, mudará toda a economia de um país. Você tem dois tipos de pistas. O primeiro tipo vem de um "Ensaio Controlado Aleatorizado" (ECA). Isso é como um experimento científico perfeitamente controlado onde você dá um tratamento específico a um pequeno grupo de pessoas e observa o que acontece em um laboratório. Essas pistas são ouro porque são confiáveis; você sabe exatamente o que causou o resultado. Mas há um porém: esses experimentos são caros e geralmente ocorrem apenas em vilas muito específicas. Eles dizem o que acontece naquela aldeia, mas não podem dizer o que acontece se você implementar o programa em toda a nação, onde os preços mudam e as pessoas reagem de formas complexas.

O segundo tipo de pista vem de "Evidência Observacional". Isso é como ler arquivos de casos antigos ou reportagens de notícias sobre o que aconteceu em outros lugares. Essas pistas são baratas e cobrem áreas enormes, mas são bagunçadas. Talvez as pessoas naqueles relatórios antigos fossem diferentes, ou talvez algo mais estivesse acontecendo que fez os resultados parecerem diferentes do que realmente eram. O grande problema para os cientistas é: Como misturar esses dois tipos de pistas? Você quer a confiabilidade do experimento e a visão macro dos relatórios antigos, mas não sabe o quanto os relatórios antigos estão mentindo. Se você confiar demais nos relatórios antigos, toda a sua teoria pode colapsar. Se você os ignorar, desperdiçará muita informação útil. Este artigo é sobre construir um mapa melhor para os detetives decidirem exatamente quanto de seu orçamento devem gastar no experimento caro versus quanto devem depender dos arquivos antigos e bagunçados.

A Solução do Artigo: A Bússola do "Arrependimento"

Este artigo, intitulado "Learning What to Learn" (Aprendendo o que Aprender), propõe uma nova maneira de desenhar experimentos quando você precisa misturar dados novos e caros com dados antigos e potencialmente enviesados. Os autores, Aristotelis Epanomeritakis e Davide Viviano, argumentam que a antiga forma de fazer as coisas — tentar minimizar o "ruído" ou a variância em seus resultados — é perigosa se você ignorar a possibilidade de que seus dados antigos sejam enviesados. Em vez disso, eles introduzem uma nova bússola chamada Minimax Proportional Regret (Arrependimento Proporcional Minimax).

Pense no "Arrependimento" como o sentimento que você tem ao olhar para trás e desejar ter feito uma escolha diferente. Neste artigo, os autores imaginam um "Oráculo" superinteligente (um ser mágico) que sabe a quantidade exata de viés nos dados antigos. O Oráculo escolhe o experimento perfeito e a maneira perfeita de misturar os dados para obter a melhor resposta. Como os pesquisadores reais não têm um Oráculo mágico, eles não podem saber o viés exato. Então, os autores perguntam: "E se escolhermos um design que nos faça arrepender o mínimo possível da nossa escolha, mesmo no pior cenário?"

O artigo descobre que a melhor estratégia não é apenas escolher o experimento que fornece os números mais precisos. Em vez disso, é encontrar um "ponto ideal" onde você equilibra duas coisas:

Arrependimento de Variância: O quão "ruidosos" ou instáveis são seus resultados porque você não coletou dados suficientes.
Arrependimento de Viés: O quão errados seus resultados podem ser porque você confiou demais em um relatório antigo enviesado.

Os autores mostram que o melhor design é aquele em que esses dois tipos de arrependimento são equalizados. É como um equilibrista na corda bamba: se você se inclinar demais para minimizar o ruído (coletar uma quantidade enorme de dados experimentais), você pode cair no abismo do viés (confiar em uma mentira). Se você se inclinar demais para minimizar o viés (ignorar os dados ruidosos), você pode cair no abismo da variância (seus números são instáveis demais para serem úteis). O artigo prova matematicamente que o melhor design é aquele em que você está igualmente preocupado com ambos os abismos.

Como Isso Funciona no Mundo Real

Para provar que sua ideia funciona, os autores testaram com um exemplo do mundo real: um governo no Quênia querendo saber como transferências de dinheiro afetam a frequência escolar. Eles tinham alguns dados antigos de um programa famoso no México (PROGRESA) que podem não se aplicar perfeitamente ao Quênia. Eles tinham que decidir se realizariam um novo experimento para medir o efeito direto do dinheiro, o efeito da renda ou o efeito dos salários.

Usando o novo método de "Arrependimento", eles descobriram que a forma padrão de fazer as coisas (chamada de "alocação de Neyman") teria gasto todo o seu dinheiro nos experimentos de transferência de dinheiro porque estes davam os números mais limpos. No entanto, isso ignorava o risco de que os dados antigos do México fossem enviesados. O novo método sugeriu um caminho diferente: ele recomendou a realização de um experimento de programa de emprego em todos os tamanhos de amostra considerados, em vez dos experimentos de transferência de dinheiro. Os métodos padrão só mudavam para o programa de emprego em tamanhos de amostra muito grandes, mas o novo método priorizou isso imediatamente para evitar o risco de viés.

Em suas simulações, o novo método mostrou que, embora os métodos antigos pudessem parecer ótimos se os dados antigos fossem perfeitos, eles desmoronavam se os dados fossem minimamente errados. O novo design "otimizado pelo Arrependimento" manteve-se estável. Ele aceitou um pequeno aumento no "ruído" dos resultados para ganhar uma redução massiva no risco de estar errado. Por exemplo, em um tamanho de amostra de 3.700 pessoas (típico para esse tipo de estudo), os métodos antigos tinham uma pontuação de "arrependimento" superior a 4 ou 5, o que significa que estavam muito longe da melhor resposta possível. O novo método manteve a pontuação de arrependimento em torno de 1,3, o que significa que estava muito mais próximo da verdade, mesmo quando os dados antigos eram enviesados.

O Que o Artigo Diz e Não Diz

O artigo é muito claro sobre o que faz e o que não faz. Ele não afirma que devemos parar de fazer experimentos ou que devemos parar de usar dados antigos. Ele não diz que podemos saber magicamente o quão enviesados são os dados antigos. Na verdade, o ponto central é que não sabemos.

Os autores argumentam explicitamente contra a ideia de apenas tentar tornar os números experimentais o mais precisos possível (minimizar a variância) sem pensar no viés. Eles mostram que, se você fizer isso, pode acabar com uma resposta muito precisa para a pergunta errada. Eles também argumentam contra ser tão assustado pelo viés a ponto de ignorar totalmente os dados antigos; isso desperdiça recursos e deixa os resultados instáveis.

As descobertas baseiam-se em provas matemáticas e simulações computacionais. Os autores mostram que seu método funciona para uma ampla classe de ferramentas estatísticas comuns (como estimadores GMM e de distância mínima) e até para cenários onde um "público Bayesiano" (um grupo de pessoas com diferentes crenças) tenta interpretar os dados. Eles provam que sua abordagem de "Arrependimento" é uma forma robusta de lidar com o desconhecido. Eles não afirmam ter resolvido todos os problemas possíveis na economia, mas fornecem uma ferramenta específica e matematicamente sólida para o problema muito comum de misturar experimentos limpos com dados reais bagunçados.

A Conclusão

No fim, este artigo oferece aos pesquisadores um novo livro de regras para gastar seus orçamentos limitados. Ele diz a eles: "Não procurem apenas pelos dados mais brilhantes e precisos. Procurem o design que os mantenha seguros contra os maiores erros, mesmo que vocês não saibam exatamente quais são esses erros." É uma lição de humildade: ao admitirmos que não sabemos tudo sobre o passado, podemos projetar melhores experimentos para o futuro. O resultado é uma maneira mais honesta e confiável de responder a grandes questões políticas, garantindo que, quando os governos decidirem investir dinheiro em programas, estejam baseando essas decisões em um fundamento que é tanto preciso quanto resiliente.

Resumo Técnico: Aprender o que Aprender: Design Experimental ao Combinar Evidência Experimental com Observacional

Problema Central
Ensaios controlados aleatorizados (RCTs) fornecem estimativas de efeito de tratamento com validade interna, mas são frequentemente limitados por custo e viabilidade, restringindo-se a locais específicos, populações pequenas ou mecanismos de equilíbrio parcial. Consequentemente, pesquisadores frequentemente combinam estimativas experimentais com evidências externas — como estimativas de forma reduzida ou estruturais provenientes de dados observacionais ou experimentos em diferentes contextos — para responder a questões de política mais amplas que envolvem efeitos de equilíbrio geral (GE) ou validade externa.

O desafio central abordado neste artigo é o design de experimentos neste cenário combinado. Especificamente, como deve um pesquisador escolher qual(is) experimento(s) realizar e como alocar tamanhos de amostra sob restrições orçamentárias quando a evidência externa pode sofrer de vieses desconhecidos (ex: devido a confusão/confounding ou falta de validade externa)? A literatura tradicional de design experimental frequentemente assume que todos os parâmetros são identificados dentro do experimento ou foca em designs fixos, deixando uma lacuna metodológica para otimizar a escolha do experimento quando se depende de dados externos potencialmente enviesados.

Metodologia e Estrutura
Os autores desenvolvem um framework unificado de design experimental que integra evidência experimental e observacional. A configuração envolve:

Estimando Alvo: Um objeto relevante para políticas $\tau(\theta)$ , onde $\theta$ é um vetor de parâmetros desconhecidos e $\tau$ é uma função suave conhecida.
Fontes de Dados:
- Estimativas Observacionais ( $S_{obs}$ ): Um conjunto de estimativas que podem ser enviesadas por um vetor $b$ desconhecido. Elas servem como uma linha de base, mas não há garantia de serem imparciais.
- Estimativas Experimentais ( $S_{exp}$ ): Um conjunto de momentos imparciais obtidos de experimentos $E$ factíveis, que identificam um subconjunto de parâmetros em $\theta$ .
Estimadores: Os autores focam em estimadores (assintoticamente) lineares, como o Método dos Momentos Generalizado (GMM) ou estimadores de distância mínima, que admitem uma representação linear nos momentos.

Função Objetivo: Regret Proporcional Minimax
Como o viés $b$ é desconhecido ex-ante, minimizar o Erro Quadrático Médio (MSE) diretamente é inviável sem especificar um limite de viés. Os autores propõem um critério de regret proporcional minimax.

O Oráculo: Um oráculo que conhece a magnitude real do viés observacional ( $B$ ) e escolhe tanto o design ótimo quanto o estimador ótimo para minimizar o MSE.
O Regret (Arrependimento): O desempenho de um design candidato é medido pela razão entre o seu pior caso de MSE e o MSE do oráculo, maximizado sobre todas as magnitudes de viés $B \geq 0$ .
$R(E, \Sigma, W) \equiv \sup_{B \geq 0} \frac{\sup_{b \in \mathcal{B}(B)} \text{MSE}_b(E, \Sigma, W)}{\text{MSE}^*(B)}$
Insight Chave: Para estimadores lineares, este regret proporcional simplifica-se para o máximo de dois componentes normalizados:
1. Regret de Variância: A razão entre a variância do design e a variância mínima alcançável ( $\alpha / \alpha^*$ ).
2. Regret de Viés: A razão entre o pior caso de viés quadrático induzido pelo design e o mínimo de pior caso de viés alcançável ( $\beta / \beta^*$ ).
  $R = \max \left\{ \frac{\alpha}{\alpha^*}, \frac{\beta}{\beta^*} \right\}$

Esta formulação gera um trade-off transparente entre viés e variância. O design ótimo equaliza o regret de variância e de viés normalizados, evitando a necessidade de o pesquisador especificar um limite rígido para o viés.

Principais Contribuições e Resultados

Caracterização Novel de Regret: O artigo fornece uma caracterização inovadora mostrando que, para estimadores lineares, o regret proporcional de pior caso é uma função quase-convexa da razão de viés. Isso permite que o problema de otimização seja resolvido eficientemente como um problema convexo (para designs fixos) ou um programa convexo de números inteiros mistos (ao escolher entre experimentos discretos). Isso contrasta com estimadores não lineares sob designs fixos, onde a otimização frequentemente exige resolver sobre piores casos de priors e carece de quase-convexidade.
Alocação de Neyman "Consciente do Viés" (Bias-Aware): A solução ótima generaliza a alocação de Neyman padrão. Enquanto a alocação de Neyman padrão minimiza a variância, a proposta de alocação "consciente do viés" ajusta os tamanhos de amostra e a seleção de experimentos com base na sensibilidade do estimando alvo aos potenciais vieses. Se o viés domina, o design prioriza parâmetros com alta sensibilidade; se a variância domina, investe na redução do ruído de amostragem.
Extensão para Públicos Bayesianos: O framework é estendido para configurações onde pesquisadores reportam estatísticas a um público bayesiano que atualiza seus próprios priors. Os autores mostram que a solução de regret linear derivada para estimadores fixos serve como um objetivo substituto válido (limite superior) para o regret do público sob priors gaussianos, fornecendo garantias de robustez mesmo quando o público utiliza regras de atualização não lineares.
Equivalência ao Design de Intervalo de Confiança: Os autores demonstram que minimizar o regret proporcional baseado no comprimento do intervalo de confiança produz o mesmo design e estimador ótimo que minimizar o regret baseado em MSE, reforçando a robustez da abordagem.
Ilustração Empírica: O framework é aplicado a um programa de transferência de caixa no Quênia, combinando nova evidência experimental com dados externos do programa Progresa do México.
- Configuração: O objetivo é estimar efeitos de equilíbrio geral (respostas de escolaridade a renda, estipêndios e salários).
- Comparação: O design ótimo de regret é comparado contra designs padrão de minimização de variância (Neyman).
- Descobertas: O design ótimo de regret seleciona um programa de emprego (choque salarial) em vez de transferências de caixa em tamanhos de amostra típicos, enquanto os designs padrão favorecem as transferências de caixa. O design ótimo de regret reduz significativamente o regret de viés (sensibilidade à especificação incorreta) com apenas um custo modesto no regret de variância. Ele mantém um baixo regret geral através de uma ampla gama de magnitudes de viés, enquanto os designs padrão sofrem de alto regret quando a validade externa é comprometida.

Significância e Alegações
O artigo afirma fornecer um framework prático, transparente e computacionalmente tratável para desenhar experimentos quando a identificação total é impossível sem dados externos.

Praticidade: O método depende apenas de informações tipicamente disponíveis para cálculos de poder convencionais (matrizes de variância-covariância e gradientes de sensibilidade) e não exige que os pesquisadores especifiquem limites de viés arbitrários.
Robustez: Ao otimizar contra um oráculo que conhece o viés, a abordagem protege contra a pior especificação, ao mesmo tempo em que utiliza a precisão dos dados externos.
Fundamentação Teoria-da-Decisão: O trabalho conecta o design experimental a uma longa tradição de teoria da decisão, oferecendo uma solução que equilibra viés e variância de uma forma que os critérios de minimax ou de regret aditivo padrão (que frequentemente priorizam o viés lexicograficamente) não fazem.

Os autores posicionam isso como uma evolução necessária no design experimental para a economia, onde extrapolar de ensaios de pequena escala para questões de política de grande escala é comum, mas repleto de incertezas em relação à validade externa. O framework permite que os pesquisadores quantifiquem e gerenciem explicitamente o trade-off entre aprender mais sobre mecanismos específicos experimentalmente versus confiar em estimativas externas potencialmente enviesadas, mas precisas.

O Dilema do Grande Detetive: Quando as Pistas Mentem

A Solução do Artigo: A Bússola do "Arrependimento"

Como Isso Funciona no Mundo Real

O Que o Artigo Diz e Não Diz

A Conclusão

Mais como este