📊 statistics

A note on the optimum allocation of resources to follow up unit nonrespondents in probability

Este artigo propõe um método para alocar de forma otimizada os recursos de acompanhamento de não resposta em pesquisas probabilísticas para minimizar o erro quadrático médio dos estimadores, em vez de simplesmente maximizar as taxas de resposta, e demonstra sua aplicação utilizando dados de uma pesquisa agrícola australiana.

Autores originais: Su-Ming Tam, Anders Holmberg, Summer Wang

Publicado 2026-07-21

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Su-Ming Tam, Anders Holmberg, Summer Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério sobre toda a população de uma cidade, mas só pode entrevistar um pequeno grupo aleatório de pessoas. Este é o mundo das pesquisas de probabilidade, a ferramenta estatística que governos e pesquisadores usam para entender tudo, desde quantos carneiros há em um campo até como as pessoas se sentem em relação aos seus empregos. O grande problema? Nem todo mundo atende à porta. Algumas pessoas ignoram o detetive, algumas desligam o telefone e algumas simplesmente se recusam a falar. Isso é chamado de não resposta.

Por muito tempo, a regra padrão para esses detetives era simples: "Bata em todas as portas que não responderam até que alguém abra". O objetivo era obter a maior taxa de resposta possível — a porcentagem de pessoas que disseram "sim". A lógica era que, se você falasse com mais pessoas, sua imagem da cidade seria mais clara. No entanto, os estatísticos perceberam que uma alta taxa de resposta nem sempre significa uma imagem de alta qualidade. Você pode bater em mil portas apenas para descobrir que as pessoas que finalmente responderam são todas de um mesmo bairro, deixando você com uma visão tendenciosa de toda a cidade. O objetivo real não é apenas conseguir mais respostas "sim"; é conseguir a resposta mais precisa possível com o dinheiro que você tem. Este artigo faz uma pergunta crucial: Se você tem um orçamento limitado para bater em portas, como deve gastá-lo para obter o melhor resultado possível, em vez de apenas o mais barulhento?

O Dilema do Detetive: Por que bater em todas as portas pode ser uma perda de tempo

No mundo da estatística oficial, como a coletada pelo Australian Bureau of Statistics, existe um clássico cabo de guerra entre custo e qualidade. Os estatísticos de pesquisa têm um orçamento para "Acompanhamento de Não Resposta" (NFU — Nonresponse Follow-up) — o dinheiro e o tempo gastos perseguindo pessoas que não responderam na primeira vez. A estratégia da velha guarda era usar esse orçamento para acompanhar cada um dos não respondentes, esperando transformá-los em respondentes. O pensamento era: "Mais respondentes equivalem a melhores dados".

Mas os autores deste artigo, SM Tam, A Holmberg e S Wang, argumentam que isso é como um detetve gastando todo o seu dinheiro tentando entrevistar a mesma testemunha pouco cooperativa repetidamente, apenas para dizer que tentou, enquanto ignora outras pistas que poderiam resolver o caso mais rápido. Eles apontam que a taxa de resposta é um indicador ruim da qualidade dos dados. Às vezes, aumentar a taxa de resposta pode, na verdade, tornar os dados piores ao introduzir mais viés.

Em vez de perseguir uma alta taxa de resposta, os autores propõem uma nova estratégia: Minimizar o Erro Quadrático Médio (MSE). Em termos simples, o MSE é uma medida de quão longe sua estimativa está da resposta verdadeira. O objetivo é gastar seu dinheiro de acompanhamento de uma forma que torne sua estimativa final o mais próxima possível da verdade, não apenas a mais barulhenta possível.

A Nova Estratégia: O Mapa de "Grupos de Homogeneidade de Resposta"

Para resolver isso, os autores sugerem um método que soa um pouco como um guia de estratégia de videogame. Eles dividem os não respondentes em grupos chamados Grupos de Homogeneidade de Resposta (RHGs). Pense nesses grupos como bairros onde todos têm uma pontuação semelhante de "disposição para falar", conhecida como pontuação de propensão.

Grupo A: Pessoas que têm muita probabilidade de responder se você apenas pedir educadamente (Alta Propensão).
Grupo B: Pessoas que são muito teimosas e improváveis de responder, não importa o que aconteça (Baixa Propensão).

O artigo argumenta que você não deve tratar todos da mesma forma. Se você tem um orçamento limitado, não deve desperdiçá-lo tentando convencer os membros superteimosos do Grupo B a falar depois de já ter batido cinco vezes. Em vez disso, você deve focar sua energia nos grupos onde algumas batidas extras trarão, de fato, novas informações úteis.

Os autores utilizam uma estrutura matemática chamada quase-randomização e ponderação de propensão inversa. Imagine que você está tirando uma foto de uma multidão. Se você fotografar apenas as pessoas na primeira fila, sua foto será distorcida. Mas se você souber exatamente quantas pessoas estão na fileira de trás e qual a probabilidade de elas darem um passo à frente, você pode matematicamente "esticar" a foto para que ela pareça mostrar todos. Este artigo sugere usar essa matemática para decidir quem merece o esforço extra de uma visita de acompanhamento.

O Experimento da Fazenda de Ovelhas

Para testar sua ideia, os autores realizaram uma simulação usando dados reais da Rural Environment and Agricultural Commodities Survey (REACS) de 2018/19 na Austrália. Eles estavam tentando estimar o número de ovelhas nas fazendas.

Aqui está como configuraram o experimento:

Os Dados: Eles analisaram 4.696 fazendas. 3.525 eram fazendas contínuas (já haviam sido pesquisadas antes) e 1.171 eram fazendas novas.
A Predição: Eles usaram um algoritmo de computador chamado Random Forest (um tipo de aprendizado de máquina que atua como uma equipe de árvores de decisão) para prever a probabilidade de cada fazenda responder. Para as fazendas novas, eles usaram um método "k-Nearest Neighbors", encontrando as fazendas antigas mais semelhantes para adivinhar o comportamento das novas.
Os Grupos: Eles classificaram todas as fazendas não respondentes em 10 grupos (RHGs) baseados em sua probabilidade de responder, variando de "Muito Improvável" (0% a 10% de chance) a "Muito Provável" (90% a 100% de chance).
O Orçamento: Eles definiram um orçamento hipotético de acompanhamento de $30.000.

Os Resultados: Gastando de Forma Inteligente, Não Mais Pesada

Os autores usaram um solucionador de computador (como uma calculadora superinteligente) para descobrir o número perfeito de visitas de acompanhamento para cada grupo para minimizar o erro na contagem de ovelhas, sem estourar o orçamento.

O Jeito Antigo (Prática Comum):
Se você apenas bater em cada porta o mesmo número de vezes, pode acabar gastando muito tempo em fazendas superteimosas (onde você não obtém resultados) e não o suficiente nas fazendas "talvez". Em sua simulação, essa abordagem de "tamanho único" custou $30.000 e resultou em uma taxa de resposta de 99%. No entanto, o erro na contagem de ovelhas ainda era relativamente alto.

O Novo Jeito (Alocação Ótima):
O método dos autores sugeriu um plano muito diferente:

Para os grupos "Muito Improváveis": Bater 6 vezes no primeiro grupo e 5 vezes no segundo. Esses grupos têm alta variância em seus dados, o que significa que contribuem mais para a incerteza geral da estimativa. Ao alocar mais visitas aqui, a estratégia visa os grupos específicos que reduzirão o erro mais efetivamente.
Para os grupos "Muito Prováveis": Bater apenas 1 vez. Essas pessoas já têm probabilidade de responder; você não precisa gastar dinheiro batendo 6 vezes nelas.
O Custo: Esta estratégia inteligente custou apenas $19.640 (cerca de dois terços do orçamento).
O Resultado: Mesmo gastando menos dinheiro, eles reduziram a variância de não resposta (o erro causado pela ausência de pessoas) de 57,77 bilhões de unidades para 38,21 bilhões de unidades.

A Grande Surpresa:
A "Prática Comum" obteve uma taxa de resposta de 99%, enquanto a "Estratégia Ótima" obteve 97%.

Prática Comum: 99% de taxa de resposta, erro maior, custo de $30.000.
Estratégia Ótima: 97% de taxa de resposta, menor erro, custo de $19.640.

O artigo mostra que a taxa de resposta de 99% foi uma "vitória falsa". Parecia impressionante, mas custou mais dinheiro e deu, de fato, uma imagem menos precisa da população de ovelhas. A estratégia ótima economizou dinheiro e deu uma resposta melhor, mesmo com menos pessoas dizendo "sim". Especificamente, comparado ao método padrão de "bater em todas as portas", a alocação ótima reduziu a variância de não resposta em cerca de 3,9%. (Nota: A redução de 10,4% mencionada no artigo refere-se à redução do Erro Quadrático Médio em comparação com o ato de não fazer nenhum acompanhamento, não em comparação com o método padrão).

O Que Isso Significa para o Futuro

Os autores concluem que perseguir uma alta taxa de resposta é uma armadilha. É como tentar vencer um jogo apenas contando quantas vezes você grita "Xeque!" em vez de realmente verificar se tem uma mão vencedora.

Suas descobertas sugerem que os estatísticos de pesquisa devem parar de tentar converter todos os não respondentes. Em vez disso, eles devem usar dados para identificar quais grupos precisam de um pequeno empurrão extra e quais grupos já estão indo bem. Ao alocar recursos com base em onde eles reduzirão o Erro Quadrático Médio de forma mais eficaz, as agências podem obter melhores dados por menos dinheiro.

No caso específico da pesquisa de ovelhas, a alocação ótima reduziu o erro significativamente em comparação com o ato de não fazer nada e, por uma margem menor mas significativa, em comparação com o método padrão de "bater em todas as portas", tudo isso economizando milhares de dólares. O artigo não afirma que isso seja uma solução mágica para todos os problemas, mas fornece uma maneira matematicamente sólida de tornar os acompanhamentos de pesquisas mais inteligentes, provando que, às vezes, saber quando parar de bater à porta é tão importante quanto saber quando começar a bater.

Resumo Técnico: Alocação Ótima de Recursos para o Acompanhamento de Não Respondentes de Unidades em Pesquisas de Probabilidade

Definição do Problema
O artigo aborda um compromisso crítico (trade-off) nas estatísticas oficiais: a implementação de recursos limitados para o acompanhamento de não respondentes (NFU - Nonresponse Follow-Up). A prática atual nos Institutos Nacionais de Estatística (INEs) envolve tipicamente o acompanhamento de todos os não respondentes com o objetivo principal de maximizar a taxa de resposta global. Os autores argumentam que a taxa de resposta é um indicador insuficiente de qualidade dos dados, citando literatura (ex.: Curtin et al., 2000; Groves, 2006) que demonstra que aumentar as taxas de resposta não necessariamente reduz o viés de não resposta e pode até aumentá-lo.

O problema central identificado é a falta de um método para alocar recursos de NFU para maximizar a qualidade dos dados (especificamente, minimizando o Erro Quadrático Médio ou MSE de um estimador) sob um orçamento fixo. Embora a literatura anterior (ex.: Neusy et al., 2022) tenha abordado a determinação de tamanhos de amostra de NFU para manter-se dentro do orçamento, ela não buscou simultaneamente maximizar a qualidade estatística. Além disso, as abordagens de subamostragem existentes para não respondentes frequentemente dependem da premissa irrealista de resposta total durante a fase de acompanhamento.

Metodologia
Os autores propõem um método de alocação estratégica baseado em uma estrutura de quase-randomização (QR) e Grupos de Homogeneidade de Resposta (RHGs). A metodologia procede da seguinte forma:

Estrutura e Premissas:
- O estudo assume uma amostra de probabilidade onde a não resposta é modelada como um processo de dados ausentes ao acaso (MAR - Missing-at-Random) dentro dos RHGs.
- Utiliza estimadores de ponderação por propensão inversa (IPW) ou de Regressão Generalizada (GREG) para ajustar a não resposta.
- Ao contrário dos métodos de subamostragem, esta abordagem permite que todos os não respondentes sejam acompanhados, mas a intensidade do acompanhamento (número de visitas) varia por grupo.
Modelo de Otimização:
- A população é particionada em $H$ RHGs baseados em escores de propensão de resposta estimados.
- Para cada RHG $h$ , o número de visitas de acompanhamento ( $k_h$ ) é tratado como uma variável de decisão.
- A probabilidade de converter um não respondente no grupo $h$ após $k_h$ visitas é modelada como um processo de Bernoulli com probabilidade de sucesso $1 - (1-\rho_h)^{k_h}$ , onde $\rho_h$ é a propensão de resposta base.
- O objetivo é minimizar o componente de variância de não resposta do MSE do estimador, sujeito a uma restrição de orçamento total ( $C_0$ ) e restrições sobre o número máximo de visitas ( $k_h \leq k_{max}$ ) e o número mínimo de visitas ( $k_h \geq k_{min}$ ).
- A função de custo é linear: $C = \sum u_h k_h (n_h - m_h)$ , onde $u_h$ é o custo unitário por visita e $(n_h - m_h)$ é o número de não respondentes no grupo $h$ .
Abordagem de Solução:
- Como não existe uma solução de forma fechada para este problema de programação inteira, os autores utilizam um solver (especificamente o Excel Solver) para encontrar o vetor ótimo de visitas $\{k_h\}$ .
- A abordagem é análoga à alocação de Neyman para amostragem, onde os recursos são direcionados para grupos com maior variância de não resposta e menores custos unitários de conversão.

Aplicação Empírica e Resultados
O método foi testado utilizando dados da Pesquisa de Ambiente Rural e Commodities Agrícolas (REACS) de 2018/19, realizada pelo Bureau Australiano de Estatística (ABS), focando em estimativas de produção de ovelhas.

Modelagem de Propensão: Os escores de propensão de resposta foram estimados usando Random Forest (RF) para unidades contínuas e imputação k-Nearest Neighbors (kNN) para novas unidades. A seleção do modelo foi baseada em validação cruzada de 10 dobras para minimizar o erro fora da amostra.
Cenário: O estudo comparou a alocação ótima proposta contra um cenário de "prática comum", onde cada não respondente recebe um número uniforme de visitas (determinado pela divisão do orçamento total pelo custo médio por visita).
Principais Descobertas:
- Redução de Variância: Sob um orçamento de $30.000, a alocação ótima reduziu a variância de não resposta de 57,77 bilhões de unidades (sem NFU) para 38,21 bilhões de unidades.
- Eficiência de Custo: A estratégia ótima alcançou uma redução de 19,7% no MSE em comparação com a linha de base de sem NFU, utilizando apenas $19.640 (aproximadamente dois terços do orçamento).
- Comparação com a Prática Comum: A prática comum (visitas uniformes) resultou em uma variância de não resposta mais alta (39,84 bilhões de unidades) e um custo total mais elevado (\ $30.000 vs. \$ 19.640) para um ganho marginal na taxa de resposta (99% vs. 97%).
- Métricas Enganosas: Os resultados ilustram que uma taxa de resposta de 99% (prática comum) gerou um estimador menos preciso do que uma taxa de 97% (alocação ótima), reforçando que a taxa de resposta é um mau substituto (proxy) para a qualidade dos dados.
- Retornos Decrescentes: A análise de diferentes níveis de orçamento mostrou que o maior retorno sobre o investimento (redução de variância por dólar) ocorreu em um nível de orçamento inferior (~$10.000), sugerindo que, além de certo ponto, gastos adicionais produzem uma redução mínima na variância.

Significância e Alegações
O artigo afirma ser o primeiro a abordar o problema específico de alocar otimamente os recursos de NFU para minimizar a variância do estimador, em vez de simplesmente maximizar as taxas de resposta. Os autores afirmam três mensagens principais:

Alocar recursos significativos apenas para impulsionar as taxas de resposta não garante melhores estatísticas de qualidade.
Para alcançar melhores resultados estatísticos, a alocação de recursos de NFU deve visar explicitamente a minimização da variância de não resposta.
A alocação ótima resulta na prática de NFU mais custo-efetiva.

Os autores observam que, embora o método seja demonstrado para uma única variável alvo, a abordagem pode ser estendida para pesquisas de múltiplos propósitos definindo funções objetivo que abordem múltiplas variáveis, de forma semelhante às práticas existentes de alocação de Neyman para desenho amostral. O artigo conclui que o método proposto oferece uma alternativa rigorosa e custo-efetiva às práticas atuais de NFU nas estatísticas oficiais.

O Dilema do Detetive: Por que bater em todas as portas pode ser uma perda de tempo

A Nova Estratégia: O Mapa de "Grupos de Homogeneidade de Resposta"

O Experimento da Fazenda de Ovelhas

Os Resultados: Gastando de Forma Inteligente, Não Mais Pesada

O Que Isso Significa para o Futuro

Mais como este