📊 statistics

Model Assisted Data Integration: An unbiased sampling strategy to use nonprobability data

Este artigo apresenta a estratégia de amostragem Model Assisted Data Integration (MADI), que combina dados não probabilísticos com uma amostra probabilística projetada para capturar indivíduos não cobertos, permitindo a geração de estimativas design-inviés e com variância reduzida por meio de modelos de aprendizado de máquina arbitrários.

Autores originais: Martin Hyllienmark, Gustaf Strandell

Publicado 2026-04-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Martin Hyllienmark, Gustaf Strandell

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um cozinheiro tentando descobrir o sabor médio de uma enorme panela de sopa (a população) que você precisa servir para toda a cidade.

O Problema: A Sopa com "Gosto de Amigo"

Tradicionalmente, para saber o sabor da sopa, você tira uma colherada aleatória (uma amostra probabilística). Se você fizer isso com cuidado, a colherada representa bem a panela inteira. Mas tirar essa colherada custa caro e demora.

Recentemente, surgiram novos dados: imagine que você tem acesso a um "livro de receitas" gigante deixado por alguns cozinheiros (os dados não probabilísticos). O problema é que esse livro só foi escrito por cozinheiros que gostam de cozinhar muito e têm equipamentos modernos. Se você confiar apenas nesse livro, sua sopa vai ficar super temperada e salgada, porque você ignorou os cozinheiros comuns que não escreveram no livro. Isso é o viés de seleção.

A Solução Antiga: Tentar Adivinhar

Métodos antigos tentavam "corrigir" esse livro de receitas usando estatísticas complexas, assumindo que os cozinheiros que não escreveram eram parecidos com os que escreveram, apenas um pouco mais tímidos. Mas, na vida real, essa suposição muitas vezes é falsa e difícil de provar.

A Nova Estratégia: O "MADI" (Modelo Assistido por Dados Integrados)

Os autores deste artigo, Martin e Gustaf, propõem uma nova estratégia chamada MADI. Pense nela como uma abordagem de "Duas Camadas" muito inteligente:

A Camada dos Dados Existentes (O Livro de Receitas):
Eles usam o livro de receitas gigante (os dados não probabilísticos) para criar um modelo de previsão. Como o livro é enorme, eles podem treinar um "chef de cozinha virtual" (um modelo de Inteligência Artificial, como uma Floresta Aleatória) para prever o sabor da sopa de qualquer cozinheiro, apenas olhando para o perfil deles (idade, tipo de restaurante, etc.).
A Camada da Colherada Real (A Amostra Probabilística):
Aqui está o pulo do gato: em vez de tentar adivinhar o sabor de todos os cozinheiros usando apenas o livro, eles tiram uma pequena colherada real da panela, mas com uma regra especial: eles só tiram essa colherada dos cozinheiros que NÃO estão no livro de receitas (o grupo que o livro ignorou).
A Mistura Perfeita:
- Para os cozinheiros do livro: Eles usam o total previsto pelo "chef virtual".
- Para os cozinheiros fora do livro: Eles usam a colherada real para ver onde o "chef virtual" errou a previsão.
- O Resultado: Eles somam o total previsto pelo livro + a correção baseada na pequena colherada real.

Por que isso é genial? (As Metáforas)

O "Chef Virtual" vs. O "Chef Real":
Imagine que o "chef virtual" (o modelo de IA treinado no livro gigante) é muito bom, mas não é perfeito. Ele pode errar um pouco. A colherada real serve apenas para medir o quanto ele errou. Se o chef virtual disse que a sopa tem 5g de sal, mas a colherada real mostra que tem 6g, você ajusta o total final. Como a colherada é pequena e focada apenas onde o livro falha, você economiza muito dinheiro e esforço.
Evitando o "Excesso de Confiança" (Overfitting):
Em estatística, existe um risco de criar um modelo que decora os dados de treino, mas falha no mundo real (como um aluno que decora as respostas do livro de exercícios, mas não sabe resolver a prova). O método MADI evita isso separando os dados: o modelo é treinado no livro gigante, mas é testado e corrigido apenas pela pequena colherada real. Isso garante que o resultado final seja honesto e imparcial.
Economia de Recursos:
O grande trunfo é que, com esse método, você não precisa tirar uma colherada gigante da panela. Como o livro de receitas já cobre a maioria dos casos, você só precisa de uma amostra minúscula para corrigir os erros. Isso significa menos custos e menos trabalho para as pessoas que respondem às pesquisas.

O Que os Testes Mostraram?

Os autores testaram essa ideia com dados reais da Suécia (sobre renda e impostos). Eles simularam situações onde o livro de receitas estava muito "viciado" (só tinha dados de ricos, por exemplo).

Resultado: O método MADI conseguiu prever o total da população com muito mais precisão e usando muito menos pessoas na amostra real do que os métodos tradicionais.
Segurança: Mesmo quando o modelo de IA não era perfeito, o método ainda funcionava bem e não inventava dados falsos.

Conclusão Simples

O artigo propõe uma maneira inteligente de misturar "dados que já temos" (que são baratos e abundantes, mas tendenciosos) com "dados que coletamos" (que são caros, mas justos).

Em vez de confiar cegamente nos dados baratos ou gastar uma fortuna coletando dados justos de todos, o MADI usa a inteligência artificial para fazer a "lição de casa" pesada com os dados baratos e usa uma pequena amostra real apenas para dar o "toque final" de precisão. É como usar um GPS (os dados não probabilísticos) para traçar a rota, mas olhar pela janela (a amostra probabilística) de vez em quando para garantir que você não está dirigindo para um buraco.

Resumo Técnico: Estratégias de Amostragem Assistida por Modelo para Integração de Dados

1. O Problema

Os institutos de estatística nacionais (NSOs) enfrentam desafios crescentes para produzir estimativas oficiais com baixo viés e variância aceitável, mantendo custos e carga de resposta reduzidos. A digitalização trouxe uma abundância de dados não probabilísticos (NPD), como registros administrativos, dados de cartões de crédito e relatórios contábeis. No entanto, a utilização direta desses dados é arriscada devido à falta de controle sobre o mecanismo de seleção, o que frequentemente resulta em viés de seleção (subcobertura ou sobre-representação de certos grupos).

Métodos existentes para integrar dados não probabilísticos com amostras probabilísticas (como imputação, calibração de pesos e estimadores duplamente robustos) geralmente dependem de suposições difíceis de verificar na prática, como a suposição de "Missing At Random" (MAR). Além disso, estimadores tradicionais baseados em modelos (como o GREG - Generalized Regression) podem falhar ou produzir pesos instáveis quando o tamanho da amostra probabilística é pequeno em relação ao número de variáveis auxiliares, ou quando a matriz de regressão se torna singular.

2. Metodologia Proposta: MADI

Os autores propõem uma nova estratégia de amostragem e estimativa chamada Model Assisted Data Integration (MADI). Esta abordagem estende o estimador de Integração de Dados (DI) de Kim e Tam (2021) para permitir o uso de modelos de aprendizado de máquina arbitrários mantendo a propriedade de viés de desenho nulo (design-unbiased).

Conceitos Fundamentais:

Divisão da População: A população $U$ $U$ é dividida em dois subconjuntos:
- $A$ : Um conjunto de dados não probabilísticos onde a variável de estudo $y_i$ é conhecida para todas as unidades (ou para uma fração conhecida), mas o mecanismo de seleção é desconhecido.
- $B$ : O complemento de $A$ em $U$ (unidades não cobertas pelos dados não probabilísticos).
Amostragem: Em vez de amostrar de toda a população $U$ , desenha-se uma amostra probabilística ( $s_B$ ) exclusivamente do subconjunto $B$ .
O Estimador MADI: O estimador combina três componentes:
1. O total conhecido da variável de estudo no conjunto $A$ ( $t_A$ ).
2. Uma previsão do total em $B$ baseada em um modelo $\mu(x, A)$ treinado nos dados de $A$ usando variáveis auxiliares $x$ .
3. Um termo de correção de erro baseado na amostra probabilística de $B$ .

A fórmula do estimador é dada por:
$\hat{t}_{y, MADI} = \sum_{i \in A} y_i + \sum_{i \in B} \mu(x_i, A) + \sum_{i \in s_B} \frac{e_i}{\pi_{iB}}$
Onde $e_i = y_i - \mu(x_i, A)$ é o resíduo (erro) do modelo para a unidade $i$ na amostra probabilística, e $\pi_{iB}$ é a probabilidade de inclusão no desenho de amostragem de $B$ .

Vantagens Metodológicas:

Viés de Desenho Nulo: Ao treinar o modelo apenas nos dados $A$ (fora da amostra probabilística) e usar a amostra $s_B$ apenas para estimar o erro do modelo, o estimador torna-se insensível ao viés do modelo. O viés do modelo é corrigido pelo termo de diferença, garantindo que o estimador seja design-unbiased.
Flexibilidade de Modelos: Permite o uso de qualquer modelo de aprendizado de máquina (ex: Random Forest, Redes Neurais) sem risco de viés, desde que o modelo seja treinado nos dados não probabilísticos e avaliado na amostra probabilística.
Estimativa de Variância: Os autores propõem um estimador de variância design-unbiased que é válido para qualquer modelo escolhido, resolvendo o problema comum de estimativas de variância zero ou negativas em modelos complexos com amostras pequenas.

3. Contribuições Principais

Estratégia de Amostragem Direcionada: A proposta de amostrar apenas a parte da população não coberta pelos dados não probabilísticos ( $B$ ), maximizando a eficiência ao utilizar os dados existentes ( $A$ ) como base para modelagem.
Robustez a Viés de Seleção: O método não exige que os dados não probabilísticos sejam "Missing At Random" (MAR). Ele lida eficazmente com cenários de "Missing Not At Random" (MNAR), desde que a variável de estudo seja conhecida em $A$ .
Redução drástica do tamanho da amostra: Demonstra que é possível obter estimativas precisas com amostras probabilísticas muito menores do que as necessárias para métodos tradicionais, reduzindo custos e carga de resposta.
Viabilidade Operacional: O método é projetado para o ciclo de produção de estatísticas oficiais, utilizando modelos que não exigem ajuste complexo de hiperparâmetros (como Random Forest) e fornecendo estimativas de variância confiáveis.

4. Resultados das Simulações

Os autores validaram o método utilizando dados reais do Registro de Renda e Tributação da Suécia (2021), simulando diferentes cenários de viés de seleção e tamanhos de dados não probabilísticos.

Comparação de RMSE (Erro Quadrático Médio): O estimador MADI com Random Forest ( $SRS_B-MADI_{RF}$ ) apresentou consistentemente o menor RMSE em comparação com todos os outros métodos (HT, GREG, DI tradicional), especialmente para tamanhos de amostra pequenos.
Viés: O estimador MADI manteve-se não viesado (próximo de zero) em todos os cenários, incluindo quando o modelo de aprendizado de máquina era mal ajustado. Em contraste, estimadores "ingênuos" que aplicam Random Forest diretamente na amostra probabilística (sem a estrutura MADI) apresentaram viés significativo.
Cobertura de Intervalos de Confiança: O MADI atingiu taxas de cobertura próximas ao nível nominal de 95%, enquanto o estimador GREG teve dificuldades em cobrir o valor verdadeiro em amostras pequenas com muitas variáveis auxiliares.
Eficiência (Tamanho de Amostra): Para atingir um Coeficiente de Variação (CV) de 1%, o método MADI exigiu tamanhos de amostra drasticamente menores (muitas vezes na casa de dezenas ou baixas centenas) em comparação com o HT (que exigiu ~3000 unidades) e o GREG (que exigiu ~270 unidades, mas com riscos de instabilidade numérica). Mesmo em cenários de viés de seleção extremo, o MADI superou ou igualou o desempenho do HT.

5. Significância e Conclusão

O artigo demonstra que a integração de dados não probabilísticos em estatísticas oficiais pode ser realizada de forma rigorosamente teórica e prática, sem depender de suposições não verificáveis sobre o mecanismo de seleção dos dados.

A estratégia MADI oferece uma solução viável para o dilema moderno das agências estatísticas: como aproveitar o volume massivo de dados administrativos e digitais (NPD) sem comprometer a qualidade estatística. Ao permitir o uso de modelos complexos de aprendizado de máquina para reduzir a variância, enquanto mantém a garantia de não viés através de uma amostra probabilística direcionada e pequena, o método promete:

Redução significativa de custos operacionais.
Diminuição da carga de resposta para os cidadãos/empresas.
Maior resiliência contra a não-resposta e viés de seleção.

Os autores concluem que o MADI é uma ferramenta robusta para a produção de estatísticas oficiais na era dos dados massivos, superando as limitações dos estimadores tradicionais e oferecendo um caminho seguro para a modernização dos sistemas estatísticos nacionais.