Resumo Técnico: Modelos de Linguagem de Grande Escala Recuperam Etnicidade de Registros Individuais de Forma Ingênua

Definição do Problema

Dados de nível individual sobre raça, etnia, casta e seita religiosa são críticos para a pesquisa em ciências sociais, mas frequentemente estão ausentes de registros administrativos. Pesquisadores costumam recorrer ao Geocodificação de Sobrenome Bayesiana Melhorada (BISG - Bayesian Improved Surname Geocoding) para inferir essas identidades usando sobrenomes e dados geográficos. No entanto, o BISG enfrenta limitações fundamentais:

1. Dependência de Dados: Requer dados de treinamento específicos (ex: distribuições de sobrenome-raça do Censo) que raramente existem fora dos Estados Unidos.
2. Rigidez Categórica: É limitado às categorias oficiais do Censo dos EUA, tornando-se inadequado para estudar seitas religiosas, castas ou grupos étnicos não americanos.
3. Perda de Informação: Tipicamente utiliza apenas sobrenomes, descartando nomes próprios e do meio potencialmente informativos.
4. Viés Socioeconômico: O BISG classifica sistematicamente minorias raciais em bairros mais ricos como Brancas, introduzindo endogeneidade em análises subsequentes.

Metodologia

O artigo propõe o uso de Modelos de Linguagem de Grande Escala (LLMs) para inferir etnicidade diretamente de nomes e metadados opcionais sem dados de treinamento rotulados. A abordagem envolve:

• Prompting: Construção de prompts zero-shot que solicitam a classificação em categorias específicas ao contexto (ex: grupos raciais dos EUA, seitas religiosas libanesas, castas indianas) com base em um nome e localização.
• Modelos Testados: Seis modelos foram avaliados, incluindo sistemas proprietários (Gemini 3 Flash, GPT-4o, GPT-4.1-mini) e alternativas de código aberto (DeepSeek v3.2, GLM-4.7, GLM-4.7-Flash).
• Estratégia de Validação:
  • Nível Individual (EUA): Amostras estratificadas de arquivos de eleitores da Flórida e Carolina do Norte com raça autorreportada.
  • Nível Individual (Internacional): Registros de eleitores libaneses (seita religiosa), Membros do Parlamento indianos de circunscrições reservadas (Castas/Tribos Esquecidas) e registros de terras indianas (casta).
  • Nível Agregado: Comparação das distribuições étnicas inferidas contra dados do censo para Índia, Uganda, Nepal, Armênia, Chile e Costa Rica usando registros eleitorais originais de contagem total.
  • Escalabilidade: Experimentos de destilação de conhecimento onde pequenos modelos de transformadores (Qwen3) foram ajustados (fine-tuned) em rótulos gerados por LLMs.
  • Análise de Atributos: Teste do impacto de metadados adicionais (idade, registro partidário, gênero, CEP) e modos de "raciocínio".

Principais Resultados

1. Precisão vs. BISG (Estados Unidos)
Em amostras estratificadas equilibradas da Flórida e Carolina do Norte, a classificação baseada em LLM superou significativamente o BISG:

• Gemini 3 Flash alcançou 83,8% (Flórida) e 83,5% (Carolina do Norte) de precisão.
• BISG (sobrenome + condado) alcançou 68,2% e 68,9%, respectivamente.
• Melhorias no Recall: Os LLMs mostraram ganhos substanciais para grupos minoritários. Para eleitores negros, o recall melhorou de ~49% (BISG) para ~81% (Gemini). Para eleitores hispânicos, o recall excedeu 90% na Flórida.
• Sensibilidade de Entrada: Remover os primeiros nomes reduziu a precisão em 8,7 pontos percentuais, confirmando que os nomes completos carregam sinal demográfico significativo além dos sobrenomes.

2. Desempenho Internacional e Transcategórico

• Líbano (Seita Religiosa): O Gemini 3 Flash alcançou 64,3% de precisão geral. O desempenho foi alto para grupos com convenções de nomenclatura distintas (ex: Ortodoxos Armênios com 97,4%, Xiita com 86,4%), mas menor para grupos sobrepostos (Católicos Romanos/Ortodoxos).
• Índia (Casta):
  • MPs: O Gemini 3 Flash alcançou 99,2% de precisão ao distinguir Castas Esquecidas (SC) de Tribos Esquecidas (ST) baseando-se apenas em nomes.
  • Registros de Terras/Sarpanch: A precisão variou por região (74,0% em Bihar vs. 57,0% em Rajasthan), correlacionando-se com a presença de marcadores de casta explícitos nas convenções de nomenclatura locais.
• Validação Agregada: Em países com convenções de nomenclatura distintas (Índia, Armênia), os LLMs recuperaram as distribuições populacionais com alta fidelidade (ex: as fatias de Hindu/Muçulmano na Índia ficaram dentro de 0,5 ponto percentual dos dados do censo). O desempenho degradou onde as convenções de nomenclatura se sobrepunham significativamente (ex: populações indígenas na Costa Rica).

3. Impacto de Metadados e Raciocínio

• Metadados: Adicionar o registro partidário ao prompt aumentou a precisão em 2,0 pontos percentuais (para 86,7%) na Flórida. A idade forneceu um ganho marginal (+0,3pp), enquanto o gênero e a geografia mais fina (CEP) não ofereceram melhoria ou causaram leve degradação.
• Raciocínio: Habilitar modos de "raciocínio estendido" produziu resultados mistos. Melhorou a precisão para modelos menores (ex: Qwen 8B +3,4pp na Flórida), mas ofereceu ganhos negligenciáveis ou negativos para modelos maiores, além de aumentar significativamente o tempo de inferência e os custos de tokens.

4. Escalabilidade e Custo
O ajuste fino de modelos pequenos (ex: Qwen3-1.7B) em um pequeno conjunto de dados rotulados por LLM (n=1.200) permitiu a implantação local com precisão aproximando-se do modelo "professor" (Gemini) e superando o BISG (79,7% vs. 76,2% na Flórida), eliminando custos de API.

5. Mitigação do Viés de Renda
O estudo replicou as descobertas de que as taxas de erro de classificação do BISG para eleitores negros correlacionam-se positamente com a renda do bairro (áreas mais ricas = maior erro de classificação como Brancos). Em contraste, a classificação por LLM não mostrou relação estatisticamente significativa entre as taxas de erro e a renda do bairro, sugerindo que os LLMs não dependem de priors geográficos da mesma maneira enviesada que os modelos Bayesianos.

Significância e Alegações

O artigo afirma que os LLMs fornecem uma alternativa viável e flexível ao BISG para a inferência de etnicidade que:

1. Não requer dados de treinamento rotulados, permitindo a aplicação em países que carecem de distribuições de sobrenome-geografia do Censo.
2. Suporta esquemas de classificação arbitrários, permitindo que pesquisadores estudem seitas religiosas, castas e categorias étnicas não americanas sem serem limitados pelas definições administrativas oficiais.
3. Aproveita informações de nome completo (primeiro e nome do meio) e metadados diversos (ex: registro partidário) que os métodos tradicionais descartam.
4. Reduz o viés socioeconômico sistemático inerente aos métodos baseados em priors geográficos como o BISG.
5. Permite a implantação local de baixo custo através do ajuste fino de pequenos modelos de código aberto em rótulos gerados por LLM.

Os autores concluem que, embora o desempenho varie conforme o contexto e a distinção das convenções de nomenclatura, o método abre novas possibilidades para o estudo da política étnica em contextos globais onde os métodos tradicionais de inferência são inaplicáveis.