NameBERT: Scaling Name-Based Nationality Classification with LLM-Augmented Open Academic Data

Resumo Técnico: NameBERT

1. Problema e Motivação

A inferência de nacionalidade a partir de nomes pessoais é uma ferramenta crucial para monitoramento de equidade, viés, personalização de serviços e pesquisa sociobiomédica, especialmente com o aumento das restrições à coleta direta de dados demográficos sensíveis.

No entanto, a literatura atual enfrenta três limitações principais:

1. Dados Limitados e Específicos: Classificadores existentes (como NamePrism ou Name2Nat) são frequentemente treinados em conjuntos de dados proprietários, pequenos ou desbalanceados, resultando em lacunas de cobertura e baixo desempenho para países sub-representados (cauda longa).
2. Granularidade Insuficiente: Muitos modelos focam em etnia ou categorias regionais amplas, falhando em prever nacionalidades finas (ex: distinguir entre nacionalidades de países vizinhos ou culturalmente relacionados).
3. Custo Computacional de LLMs: Embora os Grandes Modelos de Linguagem (LLMs) demonstrem forte desempenho zero-shot, seu alto custo computacional e latência os tornam impraticáveis para implantação em larga escala e em tempo real.

O objetivo deste trabalho é criar um classificador de nacionalidade escalável, preciso e eficiente, capaz de lidar com a desbalanceamento de dados e generalizar para cenários fora do domínio (out-of-domain).

2. Metodologia

A. Construção do Dataset (OAG)
Os autores criaram um novo conjunto de dados em larga escala derivado do Open Academic Graph (OAG), contendo 1,4 milhão de pares nome-nacionalidade.

• Extração de Labels: A nacionalidade é usada como um proxy baseado nas afiliações institucionais dos autores (ex: "Universidade de Oxford, UK"). Um pipeline de heurística e validação com LLM (GPT-4o) foi utilizado para limpar ruídos e validar a plausibilidade dos pares nome-país.
• Características: O dataset abrange 99 países, mas apresenta uma distribuição altamente "cauda longa" (poucos países dominam, enquanto muitos têm menos de 50 amostras).

B. Abordagem Híbrida: NameBERT + LLM como Enriquecedor
Em vez de usar LLMs como motores de inferência direta, os autores propõem um framework híbrido onde os LLMs atuam como enriquecedores de dados:

1. Modelo Base (NameBERT): Um classificador baseado em transformer (fine-tuning de bert-base-multilingual-cased) treinado nos dados do OAG.
2. Augmentation (Aumento de Dados): Para países com menos de 6.000 amostras, um LLM (GPT-5) gera nomes sintéticos plausíveis para aumentar a supervisão nessas classes minoritárias.
3. Estratégia de Treino: O modelo é treinado com os dados originais do OAG (NameBERToag) e com os dados aumentados (NameBERTaug).

C. Protocolo de Avaliação
Os modelos foram avaliados em múltiplos cenários para testar robustez e generalização:

• In-domain: Dados reais do OAG (com ruído de label) e dados filtrados por LLM.
• Cauda Longa: Avaliação em conjuntos sintéticos mistos e diagnósticos focados em países de baixa frequência.
• Out-of-Domain: Testes em dados do Wikipedia (conjunto NaNa) e nomes sintéticos gerados por LLM (test_gold), onde o modelo não teve contato durante o treino.
• Baselines: Comparação com EthnicSeer, NamePrism e Name2Nat.

3. Contribuições Principais

1. Novo Dataset de Larga Escala: Curadoria e disponibilização de um dataset de 1,4M de nomes com labels de nacionalidade derivadas de afiliações acadêmicas, cobrindo 99 países.
2. Pipeline de Enriquecimento com LLM: Proposta e análise empírica de usar LLMs para gerar dados sintéticos apenas para classes de baixa recursos, demonstrando que isso melhora a robustez sem distorcer a distribuição global quando aplicado seletivamente.
3. Modelo NameBERT: Desenvolvimento de um classificador baseado em Transformer que supera o estado da arte (SOTA) em precisão e eficiência, mantendo-se viável para implantação em larga escala.

4. Resultados Chave

• Desempenho Superior: O NameBERT superou consistentemente todas as baselines (EthnicSeer, NamePrism, Name2Nat) em todas as taxonomias (12, 39 e 99 classes), tanto em dados in-domain quanto out-of-domain.
  • No dataset OAG (99 classes), o NameBERT atingiu 69,9% de acurácia e 0,364 de Macro-F1, superando significativamente o Name2Nat (0,467 de acurácia e 0,139 de Macro-F1).
• Impacto da Augmentation:
  • A adição de dados sintéticos (NameBERTaug) trouxe ganhos modestos em dados reais, mas ganhos substanciais em cenários de avaliação focados na cauda longa (Macro-F1 saltou de 0,350 para 0,569 em testes sintéticos mistos).
  • Em dados out-of-domain (Wikipedia), a augmentação melhorou o desempenho em países de cauda longa, mas reduziu ligeiramente a acurácia geral, indicando um trade-off dependente da distribuição.
• Eficiência Computacional:
  • O NameBERT local (GPU) alcançou uma taxa de transferência de 1.831 nomes/segundo, com latência de <1 ms/nome.
  • Em contraste, APIs de LLMs (GPT-5, Claude, Gemini) operaram entre 3,7 e 4,8 nomes/segundo, com latência de 200–270 ms/nome e custos significativos. O NameBERT é aproximadamente 100x mais rápido e muito mais barato.
• Estudo de Viés (SimpleQA): A aplicação do modelo para analisar alucinações de LLMs em perguntas baseadas em nomes revelou que os erros de LLMs não criam um viés demográfico deslocado, mas sim uma desigualdade de precisão entre grupos.

5. Significado e Conclusão

O trabalho demonstra que é possível construir classificadores de nacionalidade de alta precisão e granularidade fina utilizando dados acadêmicos abertos, superando a dependência de dados proprietários.

A principal descoberta metodológica é que LLMs devem ser usados como ferramentas de aumento de dados para classes minoritárias, e não como classificadores diretos, para equilibrar a eficiência e a justiça (fairness). O modelo NameBERT oferece uma solução prática para aplicações em larga escala, combinando a precisão de modelos neurais modernos com a eficiência computacional necessária para processar milhões de registros, ao mesmo tempo que mitiga o viés contra países sub-representados através de augmentation direcionada.