The Global Representativeness Index: A Total Variation Distance Framework for Measuring Demographic Fidelity in Survey Research

Resumo Técnico: O Índice de Representatividade Global (GRI)

1. O Problema: A Lacuna na Medição de Representatividade

A pesquisa de opinião global é fundamental para decisões de governança de IA e políticas interculturais. No entanto, não existe uma métrica padronizada que quantifique objetivamente o quão bem a composição demográfica de uma amostra corresponde à sua população-alvo.

• Limitações das Métricas Atuais: As métricas predominantes, como taxas de resposta e cotas demográficas, medem esforço e cobertura, mas não a fidelidade distribucional.
  • Taxas de resposta: Medem participação, não fidelidade demográfica, e têm declinado drasticamente.
  • Cotas: Garantem representação mínima de grupos específicos, mas não asseguram que a distribuição conjunta de características (ex: país × gênero × idade) espelhe a população.
  • Ponderação (Post-stratification): Corrige desequilíbrios na análise, mas não mede o problema subjacente nem evita a inflação da variância.
• Consequência: Há uma lacuna entre a alegação de "perspectivas globais" e a realidade demográfica das amostras, o que distorce quais vozes informam a regulação e quais valores culturais são codificados em sistemas de IA.

2. Metodologia: O Índice de Representatividade Global (GRI)

O artigo propõe o Global Representativeness Index (GRI), um framework baseado na Distância de Variação Total (Total Variation Distance - TVD).

• Definição Matemática:
  O GRI é definido como $1 - \text{TVD}(P, Q)$, onde $P$ é a distribuição da amostra e $Q$ é a distribuição da população de referência.
  $$\text{GRI} = 1 - \frac{1}{2} \sum_{i=1}^{K} |p_i - q_i|$$
  Onde $p_i$ e $q_i$ são as proporções no estrato $i$ para a amostra e a população, respectivamente.
• Propriedades:
  • Escala: Varia de 0 a 1 (0 = nenhuma correspondência, 1 = correspondência perfeita).
  • Simetria: Trata super-representação e sub-representação de forma simétrica (diferente do efeito de design, que é assimétrico).
  • Interpretabilidade: Um TVD de 0,3 significa que 30% da massa de probabilidade está mal alocada.
• Dimensões de Avaliação:
  O framework avalia a representatividade em três dimensões cruzadas principais, utilizando dados da ONU e do Pew Research Center:
  1. País × Gênero × Idade (mais granular, 2.699 estratos).
  2. País × Religião (1.607 estratos).
  3. País × Ambiente Urbano/Rural (449 estratos).
• Métricas Complementares:
  • Diversity Score: Mede a cobertura (quantos estratos da população foram alcançados).
  • Efeito de Design (deff) e Tamanho de Amostra Efetivo ($N_{eff}$): Quantificam o custo inferencial da não representatividade. A sub-representação aumenta drasticamente a variância, reduzindo o $N_{eff}$.
  • Índice de Representatividade Estratégica (SRI): Uma variação que usa alocação proporcional à raiz quadrada ($\sqrt{q_i}$) para otimizar o poder estatístico em projetos futuros.

3. Contribuições Principais

O artigo apresenta quatro contribuições fundamentais:

1. Framework Matemático Formal: Uma métrica reproduzível baseada em TVD para medir representatividade com limites claros e propriedades interpretáveis.
2. Abordagem Multidimensional: Avaliação simultânea em múltiplas dimensões demográficas usando benchmarks autoritativos globais.
3. Validação Empírica: Aplicação e validação em sete ondas do Global Dialogues (N=7.500), sete ondas do World Values Survey (N=403.000), Afrobarometer e Latinobarómetro, incluindo simulações de Monte Carlo para determinar pontuações máximas teóricas.
4. Ferramenta de Código Aberto: Lançamento da biblioteca Python gri, que implementa todo o framework e fornece benchmarks de dados populacionais.

4. Resultados Empíricos

A aplicação do GRI revelou achados críticos sobre a qualidade das amostras atuais:

• Global Dialogues (GD):
  • Amostras online intencionais (N ≈ 1.000 por onda, 60+ países) obtiveram pontuações de GRI de 0,33 a 0,36 na dimensão País × Gênero × Idade.
  • Isso representa apenas 43% da representatividade teoricamente máxima alcançável para aquele tamanho de amostra.
  • O custo inferencial é alto: o tamanho de amostra efetivo ($N_{eff}$) cai para cerca de 189 (de um N bruto de ~1.075), indicando que dois terços do orçamento de coleta de dados são "consumidos" pela necessidade de reponderação.
• World Values Survey (WVS):
  • Embora seja um inquérito probabilístico massivo (N ≈ 57.600 por onda), sua pontuação GRI é baixa (~0,20) devido à cobertura limitada de países (apenas ~40 países por onda).
  • No entanto, o WVS mantém um $N_{eff}$ muito superior (~5.700) devido ao grande número de respondentes dentro dos países cobertos.
• Comparação Crucial:
  • O GD tem melhor cobertura global (maior GRI), mas menor poder inferencial.
  • O WVS tem maior poder inferencial (maior $N_{eff}$), mas menor cobertura global (menor GRI).
  • Conclusão: Relatar apenas uma das métricas é enganoso; ambas são necessárias para uma avaliação completa.
• Inquéritos Regionais: O Afrobarometer e o Latinobarómetro demonstraram que inquéritos probabilísticos de grande escala com cobertura regional completa podem atingir bons níveis de GRI e $N_{eff}$ simultaneamente.

5. Significado e Implicações

O artigo redefine como a qualidade de amostras de pesquisa deve ser avaliada e comunicada:

• Transparência e Padronização: O GRI transforma uma questão vaga ("quão representativo é?") em uma quantidade mensurável e comparável, permitindo que consumidores de pesquisa (policymakers, jornalistas) calibrem sua confiança nos resultados.
• Otimização de Design: A decomposição por segmentos e a análise de eficiência identificam lacunas demográficas específicas, guiando estratégias de recrutamento.
• Auditoria de Conjuntos de Dados de ML: O framework é aplicável não apenas a pesquisas, mas também à auditoria de conjuntos de dados de treinamento de Machine Learning, permitindo a quantificação de viés demográfico em modelos de IA.
• Responsabilidade: Estabelece a base para que financiadores e formuladores de políticas exijam metas mínimas de representatividade para pesquisas que alegam capturar "perspectivas globais".

Em suma, o GRI e o efeito de design são métricas complementares essenciais: o GRI mede a distância simétrica da amostra em relação à população, enquanto o tamanho de amostra efetivo mede o custo assimétrico (em precisão estatística) dessa distância. A adoção deste framework é um passo crítico para a melhoria da metodologia de pesquisa global e da avaliação de sistemas de IA.