Author Name Disambiguation in Portuguese Scientific Publications: The SBC-AND dataset

Resumen Técnico: Desambiguación de Nombres de Autores en Publicaciones Científicas en Portugués: El Conjunto de Datos SBC-AND

Planteamiento del Problema
La Desambiguación de Nombres de Autores (AND, por sus siglas en inglés) es crítica para mantener la precisión de los datos bibliográficos, influyendo en el recuento de citas, las redes de colaboración y las métricas de evaluación de la investigación. Si bien se han logrado avances significativos en AND durante las últimas dos décadas, particularmente utilizando embeddings de texto y modelos de grafos, la mayoría de los conjuntos de datos y benchmarks públicos se centran en publicaciones en lengua inglesa. Esto deja a los registros científicos en portugués subrepresentados. Los nombres en portugués presentan desafíos específicos, incluyendo múltiples apellidos, partículas (por ejemplo, "de", "da", "dos") e inconsistencias en el formato de los metadatos (por ejemplo, falta de acentos, truncamientos, ausencia de identificadores ORCID). Los conjuntos de datos existentes en portugués, como BDBComp, carecen de la estructura estandarizada necesaria para la integración con marcos de trabajo de AND modernos y configurables, lo que dificulta la reproducibilidad y el análisis comparativo.

Metodología
Para abordar estas brechas, los autores desarrollaron SBC-AND, un conjunto de datos curado y estandarizado específicamente para la AND en publicaciones científicas en portugués.

• Curación de Datos: El conjunto de datos agrega 442 registros de publicaciones de revistas de acceso abierto mantenidas por la Sociedad Brasileña de Computación (SBC), incluyendo el Journal of the Brazilian Computer Society y otras alojadas en la plataforma SOL. La colección se centra en investigadores brasileños y portugueses para capturar patrones lingüísticos lusófonos.
• Estructura: Los datos se organizan en 21 bloques de autores ambiguos (agrupados por firmas abreviadas, por ejemplo, "A. Silva") que contienen un total de 232 clústeres de autores reales. Cada bloque se almacena como un archivo JSON individual que contiene metadatos como título, autores, coautores, resumen, palabras clave, sede, y año de publicación.
• Proceso de Curación: Un script de Python recolectó los metadatos iniciales, seguido de una curación manual para verificar autores reales y resolver ambigüedades utilizando evidencia de títulos, afiliaciones, coautores y áreas de investigación.
• Marco Experimental: El conjunto de datos fue evaluado utilizando ADAN, un marco de trabajo de AND configurable. Los experimentos utilizaron:
  • Modelos de Embedding: Se probaron dos modelos multilingües: BAAI/bge-m3 e IBM Granite.
  • Arquitectura de Grafos: Se construyeron grafos heterogéneos donde los registros de publicaciones son nodos y la evidencia bibliográfica (coautoría, sedes) son relaciones. Se aplicaron Redes Convolucionales de Grafos (GCN) para aprender representaciones conscientes del grafo.
  • Configuraciones: Los autores probaron 1{18} configuraciones variando el número de capas GCN (1, 2 o 3) y los épocas de entrenamiento (1000, 2000 o 3000).
• Métricas de Evaluación: El desempeño se evaluó mediante Precisión de Pares ($pP$), Recall de Pares ($pR$), F1 de Pares ($pF1$), Pureza de Clúster Promedio (ACP), Pureza de Autor Promedio (AAP) y la métrica K ($K$).

Contribuciones Clave
El artículo realiza tres contribuciones primarias:

1. Conjunto de Datos SBC-AND: La introducción de un nuevo conjunto de datos estandarizado para la investigación de AND en portugués, que presenta metadatos completos y una estructura JSON compatible con marcos de trabajo modernos.
2. Evaluación Configurable: La aplicación de un marco de trabajo flexible y configurable (ADAN) para evaluar el conjunto de datos bajo diversas configuraciones experimentales, demostrando cómo diferentes modelos de embedding y profundidades de grafo se desempeñan en datos en portugués.
3. Caracterización de Desafíos: Un análisis cuantitativo y cualitativo que identifica dificultades específicas en la AND en portugués, particularmente respecto a apellidos frecuentes y baja recurrencia de registros por autor.

Resultados
La evaluación de SBC-AND utilizando el marco ADAN arrojó los siguientes hallazgos:

• Dificultad del Benchmark: El conjunto de datos demuestra ser un benchmark exigente. Mientras que las métricas de agrupamiento global (ACP, AAP y $K$) se mantuvieron altas (con $K$ alcanzando 0.9168), los puntajes de F1 de Pares fueron significativamente más bajos (el mejor $pF1$ de 0.4600). Esto indica que, si bien el sistema mantiene una estructura de clúster global coherente, tiene dificultades para recuperar correctamente todas las asociaciones de registros individuales.
• Desempeño de los Modelos: El modelo de embedding IBM Granite superó a BAAI/bge-m3 en todas las configuraciones, logrando el mejor puntaje $pF1$ (0.4600) con dos capas GCN y 1000 épocas.
• Profundidad del Grafo: Aumentar las capas GCN más allá de dos no mejoró el desempeño; en algunos casos, la propagación más profunda (3 capas) pareció introducir ruido o un suavizado excesivo.
• Varianza a Nivel de Bloque: El desempeño varió significativamente entre los bloques ambiguos. Los bloques con apellidos comunes (por ejemplo, "silva", "santos") y baja recurrencia de registros (autores con uno o pocos registros) resultaron en puntajes $pF1$ cercanos a 0.00, mientras que los bloques con mayor recurrencia de autores mostraron un mejor desempeño.

Significancia
Los autores posicionan a SBC-AND como un recurso necesario para apoyar la reproducibilidad y la investigación futura en datos bibliográficos multilingües y de bajos recursos. Al proporcionar un conjunto de datos estandarizado para publicaciones en portugués, este trabajo permite probar los métodos actuales de AND en un contexto lingüístico previamente dominado por los datos en inglés. Los resultados resaltan que, aunque se pueden preservar las estructuras de agrupamiento global, el desafío específico de distinguir autores con apellidos comunes y registros de publicación dispersos sigue siendo un obstáculo significativo para los métodos actuales de vanguardia. El conjunto de datos se pone a disposición en un repositorio en línea para facilitar estudios posteriores y el desarrollo de herramientas de desambiguación más robustas para la comunidad científica lusófona.