Author Name Disambiguation in Portuguese Scientific Publications: The SBC-AND dataset

Resumo Técnico: Desambiguação de Nomes de Autores em Publicações Científicas em Português: O Conjunto de Dados SBC-AND

Problema
A Desambiguação de Nomes de Autores (AND - Author Name Disambiguation) é fundamental para manter a precisão dos dados bibliográficos, influenciando contagens de citações, redes de colaboração e métricas de avaliação de pesquisa. Embora avanços significativos tenham sido feitos em AND nas últimas duas décadas, particularmente utilizando embeddings de texto e modelos de grafos, a maioria dos conjuntos de dados e benchmarks públicos foca em publicações na língua inglesa. Isso deixa os registros científicos em língua portuguesa sub-representados. Nomes em português apresentam desafios específicos, incluindo múltiplos sobrenomes, partículas (ex: "de", "da", "dos") e formatação inconsistente de metadados (ex: ausência de acentos, truncamentos, falta de identificadores ORCID). Conjuntos de dados existentes em português, como o BDBComp, carecem da estrutura padronizada necessária para integração com frameworks de AND modernos e configuráveis, dificultando a reprodutibilidade e a análise comparativa.

Metodologia
Para abordar essas lacunas, os autores desenvolveram o SBC-AND, um conjunto de dados curado e padronizado especificamente para AND em publicações científicas em português.

• Curadoria de Dados: O conjunto de dados agrega 442 registros de publicações de periódicos de acesso aberto mantidos pela Sociedade Brasileira de Computação (SBC), incluindo o Journal of the Brazilian Computer Society e outros hospedados na plataforma SOL. A coleção foca em pesquisadores brasileiros e portugueses para capturar padrões linguísticos lusófonos.
• Estrutura: Os dados estão organizados em 21 blocos de autores ambíguos (agrupados por assinaturas abreviadas, ex: "A. Silva") contendo um total de 232 clusters de autores reais. Cada bloco é armazenado como um arquivo JSON individual contendo metadados como título, autores, coautores, resumo, palavras-chave, periódico, ano de publicação e afiliação.
• Processo de Curadoria: Um script em Python coletou os metadados iniciais, seguido de curadoria manual para verificar autores reais e resolver ambiguidades usando evidências de títulos, afiliações, coautores e áreas de pesquisa.
• Framework Experimental: O conjunto de dados foi avaliado utilizando o ADAN, um framework de AND configurável. Os experimentos utilizaram:
  • Modelos de Embedding: Dois modelos multilíngues foram testados: BAAI/bge-m3 e IBM Granite.
  • Arquitetura de Grafo: Grafos heterogêneos foram construídos onde os registros de publicação são nós e a evidência bibliográfica (coautoria, periódicos) são relações. Redes Convolucionais de Grafos (GCN) foram aplicadas para aprender representações conscientes do grafo (graph-aware).
  • Configurações: Os autores testaram 1-18 configurações variando o número de camadas GCN (1, 2 ou 3) e épocas de treinamento (1000, 2000 ou 3000).
• Métricas de Avaliação: O desempenho foi avaliado usando Precisão Pareada ($pP$), Recall Pareado ($pR$), F1 Pareado ($pF1$), Pureza Média de Cluster (ACP), Pureza Média de Autor (AAP) e a métrica K ($K$).

Principais Contribuições
O artigo apresenta três contribuições primárias:

1. Conjunto de Dados SBC-AND: A introdução de um novo conjunto de dados padronizado para pesquisa de AND em português, apresentando metadados completos e uma estrutura JSON compatível com frameworks modernos.
2. Avaliação Configurável: A aplicação de um framework flexível e configurável (ADAN) para avaliar o conjunto de dados sob várias configurações experimentais, demonstrando como diferentes modelos de embedding e profundidades de grafo performam em dados em português.
3. Caracterização de Desafios: Uma análise quantitativa e qualitativa identificando dificuldades específicas no AND em português, particularmente em relação a sobrenomes frequentes e baixa recorrência de registros por autor.

Resultados
A avaliação do SBC-AND utilizando o framework ADAN gerou as seguintes descobertas:

• Dificuldade do Benchmark: O conjunto de dados prova ser um benchmark exigente. Embora as métricas globais de agrupamento (ACP, AAP e $K$) tenham permanecido altas (com $K$ atingindo 0.9168), os escores de F1 Pareado foram significativamente menores (melhor $pF1$ de 0.4600). Isso indica que, embora o sistema mantenha uma estrutura de cluster global coerente, ele tem dificuldade em recuperar todas as associações de registros individuais corretamente.
• Desempenho do Modelo: O modelo de embedding IBM Granite superou o BAAI/bge-m3 em todas as configurações, alcançando o melhor escore de $pF1$ (0.4600) com duas camadas GCN e 1000 épocas.
• Profundidade do Grafo: Aumentar as camadas GCN além de duas não melhorou o desempenho; em alguns casos, a propagação mais profunda (3 camadas) pareceu introduzir ruído ou suavização excessiva (excessive smoothing).
• Variância por Bloco: O desempenho variou significativamente entre os blocos ambíguos. Blocos com sobrenomes comuns (ex: "silva", "santos") e baixa recorrência de registros (autores com apenas um ou poucos registros) resultaram em escores de $pF1$ próximos a 0.00, enquanto blocos com maior recorrência de autores mostraram melhor desempenho.

Significância
Os autores posicionam o SBC-AND como um recurso necessário para apoiar a reprodutibilidade e pesquisas futuras em dados bibliográficos multilíngues e de baixos recursos. Ao fornecer um conjunto de dados padronizado para publicações em português, este trabalho permite o teste de métodos atuais de AND em um contexto linguístico anteriormente dominado por dados em inglês. Os resultados destacam que, embora as estruturas de agrupamento global possam ser preservadas, o desafio específico de distinguir autores com sobrenomes comuns e registros de publicação esparsos continua sendo um obstáculo significativo para os métodos de estado da arte atuais. O conjunto de dados está disponível em um repositório online para facilitar estudos futuros e o desenvolvimento de ferramentas de desambiguação mais robustas para a comunidade científica lusófona.