Resumen Técnico: Los Modelos de Lenguaje de Gran Escala Recuperan la Etnicidad de Forma Ingenua a partir de Registros Individuales

Planteamiento del Problema

Los datos a nivel individual sobre raza, etnia, casta y secta religiosa son fundamentales para la investigación en ciencias sociales, pero suelen estar ausentes de los registros administrativos. Los investigadores suelen recurrir a la Geocodificación de Apellidos Mejorada por Bayes (BISG, por sus siglas en inglés) para inferir estas identidades utilizando apellidos y datos geográficos. Sin embargo, la BISG enfrenta limitaciones fundamentales:

1. Dependencia de Datos: Requiere datos de entrenamiento específicos (por ejemplo, distribuciones de raza por apellido del Censo) que rara vez existen fuera de los Estados Unidos.
2. Rigidez Categórica: Está limitada a las categorías oficiales del Censo de EE. UU., lo que la hace inadecuada para estudiar sectas religiosas, castas o grupos étnicos no estadounidenses.
3. Pérdida de Información: Típicamente utiliza solo los apellidos, descartando nombres de pila y de segundo nombre que podrían ser informativos.
4. Sesgo Socioeconómico: La BISG clasifica erróneamente de forma sistemática a las minorías raciales en vecindarios de mayor riqueza como blancas, introduciendo endogeneidad en los análisis posteriores.

Metodología

El artículo propone utilizar Modelos de Lenguaje de Gran Escala (LLMs) para inferir la etnicidad directamente a partir de nombres y metadatos opcionales sin necesidad de datos de entrenamiento etiquetados. El enfoque consiste en:

• Prompting (Inducción): Construcción de prompts de disparo cero (zero-shot) que solicitan la clasificación en categorías específicas al contexto (por ejemplo, grupos raciales de EE. UU., sectas religiosas libanesas, castas indias) basándose en un nombre y una ubicación.
• Modelos Probados: Se evaluaron seis modelos, incluyendo sistemas propietarios (Gemini 3 Flash, GPT-4o, GPT-4.1-mini) y alternativas de código abierto (DeepSeek v3.2, GLM-4.7, GLM-4.7-Flash).
• Estrategia de Validación:
  • Nivel Individual (EE. UU.): Muestras estratificadas de los archivos de votantes de Florida y Carolina del Norte con raza autorreportada.
  • Nivel Individual (Internacional): Padrones electorales libaneses (secta religiosa), parlamentarios indios de circunscripciones reservadas (Castas/Tribus Programadas), y registros de tierras en la India (casta).
  • Nivel Agregado: Comparación de las distribuciones étnicas inferidas contra los datos del censo para India, Uganda, Nepal, Armenia, Chile y Costa Rica utilizando los padrones electorales originales de recuento completo.
  • Escalabilidad: Experimentos de destilación de conocimiento donde modelos transformadores pequeños (Qwen3) fueron ajustados (fine-tuned) con etiquetas generadas por LLMs.
  • Análisis de Características: Pruebas del impacto de metadatos adicionales (edad, registro de partido, género, código postal) y modos de "razonamiento".

Resultados Clave

1. Precisión vs. BISG (Estados Unidos)
En muestras estratificadas equilibradas de Florida y Carolina del Norte, la clasificación basada en LLM superó significativamente a la BISG:

• Gemini 3 Flash alcanzó un 83.8% (Florida) y un 83.5% (Carolina del Norte) de precisión.
• BISG (apellido + condado) alcanzó un 68.2% y un 68.9%, respectivamente.
• Mejoras en la Recuperación (Recall): Los LLMs mostraron ganancias sustanciales para los grupos minoritarios. Para los votantes negros, la recuperación mejoró de aproximadamente ~49% (BISG) a ~81% (Gemini). Para los votantes hispanos, la recuperación superó el 90% en Florida.
• Sensibilidad de la Entrada: Eliminar los nombres de pila redujo la precisión en 8.7 puntos porcentuales, confirmando que los nombres completos portan una señal demográfica significativa más allá de los apellidos.

2. Desempeño Internacional y Transcategórico

• Líbano (Secta Religiosa): Gemini 3 Flash alcanzó un 64.3% de precisión general. El desempeño fue alto para grupos con convenciones de nomenclatura distintivas (por ejemplo, Ortodoxos Armenios con 97.4%, Chiíta con 86.4%) pero menor para grupos con solapamiento (Católicos/Ortodoxos).
• India (Caste):
  • Parlamentarios (MPs): Gemini 3 Flash alcanzó un 99.2% de precisión al distinguir entre Castas Programadas (SC) y Tribus Programadas (ST) basándose únicamente en los nombres.
  • Registros de Tierras/Sarpanch: La precisión varió según la región (74.0% en Bihar frente a 57.0% en Rajasthan), correlacionándose con la presencia de marcadores de casta explícitos en las convenciones de nombres locales.
• Validación Agregada: En países con convenciones de nombres distintivas (India, Armenia), los LLMs recuperaron las distribuciones de población con alta fidelidad (por ejemplo, las proporciones de Hindúes/Musulmanes en la India dentro de 0.5 puntos porcentuales de los datos del censo). El desempeño se degradó donde las convenciones de nombres se solapaban significativamente (por ejemplo, poblaciones indígenas en Costa Rica).

3. Impacto de los Metadatos y el Razonamiento

• Metadatos: Añadir el registro de partido al prompt aumentó la precisión en 2.0 puntos porcentuales (al 86.7%) en Florida. La edad proporcionó una ganancia marginal (+0.3pp), mientras que el género y la geografía más fina (código postal) no ofrecieron mejoras o incluso causaron una ligera degradación.
• Razonamiento: Habilitar modos de "razonamiento extendido" arrojó resultados mixtos. Mejoró la precisión para modelos más pequeños (por ejemplo, Qwen 8B +3.4pp en Florida) pero ofreció ganancias insignificantes o negativas para modelos más grandes, aumentando significativamente el tiempo de inferencia y los costos de tokens.

4. Escalabilidad y Costo
El ajuste fino de modelos pequeños (por ejemplo, Qwen3-1.7B) utilizando un pequeño conjunto de datos etiquetados por LLM (n=1,200) permitió el despliegue local con una precisión que se acerca al modelo "maestro" (Gemini) y supera a la BISG (79.7% frente a 76.2% en Florida), eliminando los costos de API.

5. Mitigación del Sesgo de Ingresos
El estudio replicó los hallazgos de que las tasas de clasificación errónea de la BISG para votantes negros se correlacionan positamente con el ingreso del vecindario (áreas más ricas = mayor clasificación errónea como blancos). En contraste, la clasificación por LLM no mostró una relación estadísticamente significativa entre las tasas de error y el ingreso del vecindario, lo que sugiere que los LLM no dependen de los supuestos geográficos de la misma manera sesgada que los modelos bayesianos.

Significancia y Reivindicaciones

El artículo sostiene que los LLM proporcionan una alternativa viable y flexible a la BISG para la inferencia de etnicidad que:

1. No requiere datos de entrenamiento etiquetados, permitiendo su aplicación en países que carecen de distribuciones de apellido-geografía del Censo.
2. Soporta esquemas de clasificación arbitrarios, permitiendo a los investigadores estudiar sectas religiosas, castas y categorías étnicas no estadounidenses sin verse limitados por las definiciones administrativas oficiales.
3. Aprovecha la información del nombre completo (nombre de pila y segundo nombre) y metadatos diversos (por ejemplo, registro de partido) que los métodos tradicionales descartan.
4. Reduce el sesgo socioeconómico sistemático inherente a los métodos basados en supuestos geográficos como la BISG.
5. Permite el despliegue local de bajo costo mediante el ajuste fino de modelos de código abierto pequeños utilizando etiquetas generadas por LLM.

Los autores concluyen que, si bien el desempeño varía según el contexto dependiendo de la distintividad de las convenciones de nombres, este método abre nuevas posibilidades para estudiar la política étnica en contextos globales donde los métodos de inferencia tradicionales son inaplicables.