NameBERT: Scaling Name-Based Nationality Classification with LLM-Augmented Open Academic Data

1. El Problema

La inferencia de la nacionalidad a partir de nombres personales es una capacidad crítica para el monitoreo de equidad, la detección de sesgos y la investigación sociológica. Sin embargo, los clasificadores existentes enfrentan tres limitaciones principales:

• Datos limitados y sesgados: La mayoría de los modelos se entrenan con conjuntos de datos pequeños, propietarios o centrados en regiones específicas (como EE. UU.), lo que genera brechas de cobertura y un rendimiento deficiente en países subrepresentados (cola larga).
• Granularidad insuficiente: Muchos modelos predicen etnicidades amplias en lugar de nacionalidades finas, o están restringidos a un número limitado de clases de salida.
• Costo computacional de los LLM: Aunque los Modelos de Lenguaje Grande (LLM) muestran un buen rendimiento zero-shot, su alto costo computacional y latencia los hacen imprácticos para la implementación a gran escala y en tiempo real.

2. Metodología

Los autores proponen un marco híbrido que utiliza los LLM como enriquecedores de datos en lugar de motores de inferencia directos.

A. Construcción del Dataset (OAG)

• Fuente de datos: Se utilizó el Open Academic Graph (OAG), que contiene metadatos de más de 130 millones de publicaciones y 35 millones de autores.
• Extracción de etiquetas: Dado que OAG no tiene etiquetas de nacionalidad explícitas, se diseñó un pipeline heurístico para extraer la nacionalidad de las afiliaciones institucionales de los autores (ej. "Universidad de Oxford, UK").
• Filtrado: Se eliminaron entradas ambiguas (autores con múltiples afiliaciones en diferentes países). El resultado final es un conjunto de datos de 1.4 millones de nombres únicos con etiquetas de nacionalidad proxy, abarcando 99 países.
• Validación: Se utilizó GPT-4o para validar una muestra de pares nombre-país, confirmando que la mayoría de las etiquetas son plausibles, aunque se reconoce la presencia de ruido inherente.

B. Estrategia de Aumento con LLM

Para abordar el desequilibrio de clases (donde países como China y EE. UU. dominan y otros tienen menos de 50 muestras):

• Se identificaron 57 países de "cola larga" con menos de 6,000 instancias.
• Se utilizó GPT-5 para generar 5,000 nombres sintéticos plausibles para cada uno de estos países.
• Estos datos sintéticos se dividieron en conjuntos de entrenamiento, validación y prueba, y se fusionaron con los datos reales para crear un conjunto de datos aumentado.

C. Modelo NameBERT

• Arquitectura: Se fine-tunearon modelos basados en transformers (bert-base-multilingual-cased).
• Entrenamiento: Se entrenaron dos variantes:
  1. NameBERToag: Entrenado solo con los datos originales de OAG.
  2. NameBERTaug: Entrenado con los datos originales más los nombres sintéticos generados por LLM.
• Evaluación: Se compararon en tres taxonomías de etiquetas (12, 39 y 99 clases) utilizando métricas de Precisión, F1 Ponderado y F1 Macro (éste último crucial para evaluar el rendimiento en clases minoritarias).

3. Contribuciones Clave

1. Dataset de Escala Masiva: Creación y liberación de código abierto de un dataset de 1.4M de pares nombre-nacionalidad derivado de OAG, superando en tamaño y diversidad a conjuntos de datos previos como NaNa o NamePrism.
2. Pipeline de Enriquecimiento con LLM: Propuesta de utilizar LLMs exclusivamente para generar datos de entrenamiento para clases minoritarias, en lugar de usarlos para inferencia directa.
3. Modelo NameBERT: Desarrollo de un clasificador transformer que supera a los baselines del estado del arte (State-of-the-Art) en tareas dentro y fuera del dominio.
4. Análisis de Eficiencia: Demostración de que un clasificador local es órdenes de magnitud más eficiente que las APIs de LLM.

4. Resultados Principales

Rendimiento en el Dataset OAG (In-Domain)

• NameBERT superó significativamente a los baselines (NamePrism, EthnicSeer, Name2Nat) en todas las taxonomías (12, 39 y 99 clases).
• En la taxonomía de 99 clases, NameBERTaug logró un F1 Macro de 0.364 frente a 0.349 de NameBERToag y 0.139 de Name2Nat.
• El aumento de datos con LLM mejoró consistentemente el rendimiento en países de cola larga, aunque con un ligero trade-off en la precisión general en algunos escenarios.

Generalización Fuera del Dominio (Out-of-Domain)

• Se evaluó en el dataset NaNa (nombres de Wikipedia) y en un conjunto de prueba sintético (test_gold).
• NameBERT mantuvo una superioridad significativa sobre los baselines, demostrando que las representaciones aprendidas de OAG se transfieren bien a otros dominios.
• El aumento con LLM mejoró el rendimiento en países de cola larga incluso en datos fuera del dominio, aunque no mejoró la precisión global, sugiriendo que el beneficio es específico para las clases minoritarias.

Eficiencia Computacional

• Throughput: NameBERT ejecutado localmente en una GPU de consumo (RTX 3070) alcanzó 1,831 nombres/segundo.
• Comparación con LLM: Las APIs de LLM (GPT-5, Claude, Gemini) alcanzaron entre 3.7 y 4.8 nombres/segundo.
• Latencia y Costo: NameBERT tiene una latencia de <1 ms por nombre (vs. ~200-270 ms en LLM) y un costo marginal cercano a cero, frente a cientos de dólares por millón de nombres en APIs.

5. Significado y Conclusiones

El trabajo demuestra que es posible construir clasificadores de nacionalidad de alta precisión y gran escala sin depender de datos propietarios o de la inferencia costosa de LLMs.

• Valor de los Datos Abiertos: El OAG es una fuente viable y rica para etiquetas de nacionalidad proxy, superando las limitaciones de los datos centrados en EE. UU.
• Uso Estratégico de LLMs: Los LLMs son herramientas poderosas para enriquecer conjuntos de datos desequilibrados, mejorando la equidad (F1 Macro) en países subrepresentados, pero no deben usarse como clasificadores directos debido a su ineficiencia.
• Aplicabilidad: El modelo NameBERT permite la auditoría de sesgos y la personalización a gran escala en aplicaciones reales (como el estudio de sesgos en SimpleQA presentado en el artículo), donde la latencia y el costo son factores determinantes.

En resumen, NameBERT establece un nuevo estándar para la clasificación de nacionalidad basada en nombres, combinando la calidad de los datos académicos masivos con la capacidad de generación de LLMs para abordar el problema de la cola larga, todo ello manteniendo una eficiencia computacional superior.