Linking Hadith Narrator Identities Across Heterogeneous Arabic Biographical Databases: A Multi-Signal Entity Resolution Pipeline

Resumo Técnico: Vinculação de Identidades de Narradores de Hadith entre Bases de Dados Biográficas Árabes Heterogêneas

Definição do Problema
A análise computacional da literatura de Hadith islâmico é atualmente dificultada pela fragmentação dos dados dos narradores. Embora existam corpora digitais de larga escala — como o Sanadset 650K (contendo 650.986 registros de Hadith com cadeias de narradores) e bases de dados biográficas como Hadithtransmitters (hawramani) e Muslimscholars.info — esses recursos operam isoladamente. Eles carecem de identificadores comuns e utilizam representações de nomes divergentes (ex: variações de cadeias de nasab, formas de kunyah vs. ism e variações ortográficas). As abordagens existentes de resolução de entidades para o árabe são amplamente projetadas para bases de conhecimento modernas, alinhadas à Wikipedia, e falham ao não abordar os desafios específicos de nomes históricos islâmicos, como cadeias de nasab de comprimento variável e variações de caso morfológico. Consequentemente, as análises de redes sociais de cadeias de transmissão (sanad) estão limitadas a coleções únicas, sem acesso a metadados biográficos de múltiplas fontes (ex: anos de morte, graus de confiabilidade), e os sistemas de desambiguação operam sob suposições de mundo fechado que não facilitam a vinculação entre bases de dados independentes.

Metodologia
O artigo propõe um pipeline de resolução de entidades em duas fases, projetado para vincular nomes de narradores do Sanadset ao hawramani e, subsequentemente, vincular o hawramani ao muslimscholars. O pipeline baseia-se em uma normalização de nomes em árabe específica para o domínio e um framework de pontuação de múltiplos sinais.

1. Normalização de Nomes em Árabe: Antes de qualquer comparação, uma função de normalização compartilhada norm(t) é aplicada a todas as três bases de dados. Este processo:

   • Remove diacríticos (tashkeel) usando intervalos Unicode explícitos e disjuntos para evitar a remoção acidental de consoantes.
   • Unifica cinco variantes de Alef em um único Alef nu.
   • Normaliza Ta marbuta para ha e Alef maqsura para ya.
   • Remove Tatweel e colapsa espaços em branco.

2. Geração de Candidatos: Para evitar comparações computacionalmente proibitivas de $O(n \times m)$, o sistema emprega um índice de prefixo de bigrama. Os registros são indexados por pares de tokens consecutivos normalizados. Os candidatos são recuperados como a união de registros que compartilham pelo menos um bigrama com o nome de consulta, reduzindo o fardo computacional em ordens de magnitude.

3. Fase 1: Sanadset $\rightarrow$ hawramani (Apenas Nome):

   • Restrição: As entradas do Sanadset carecem de metadados biográficos (sem anos de morte ou graus).
   • Método: A correspondência baseia-se apenas na similaridade de nomes usando correspondência difusa de ordenação de tokens (TSR). Os tokens são ordenados alfabeticamente para mitigar variações na ordem das cadeias de nasab.
   • Pontuação: Uma pontuação de similaridade $s_{name} \in [0, 1]$ é computada. Os vínculos são estabelecidos se $s_{name} \ge 0.80$.
   • Confiança: ALTA ($\ge 0.90$) e MÉDIA ($\ge 0.80$).

4. Fase 2: hawramani $\leftrightarrow$ muslimscholars (Múltiplos Sinais):

   • Método: Uma função de múltiplos sinais ponderada combina similaridade de nome, proximidade de ano de morte e polaridade de grau de confiabilidade.
   • Sinais:
     • Similaridade de Nome: Ponderada em 0.70 (ou 0.50 se os anos de morte estiverem disponíveis em ambos os lados).
     • Proximidade de Ano de Morte: Calculada como $s_{death}(\Delta y)$ baseada na diferença absoluta em anos Hijri. As pontuações variam de 1.0 (correspondência exata) a 0.0 (>10 anos de diferença). Se os anos de morte estiverem ausentes, aplica-se uma pontuação neutra de 0.50.
     • Polaridade de Grau: Graus de confiabilidade são colapsados em classes positiva, negativa ou desconhecida (pontuações 1.0, 0.0, 0.5).
     • Bônus de Fonte: Um pequeno bônus ($\delta_{src} = 0.05$) é adicionado se o registro do hawramani possuir cinco ou mais citações de fonte.
   • Ponderação Dinâmica: Como os anos de morte são esparsos no hawramani (disponíveis para <0.1% dos pares correspondidos na execução inicial, embora o artigo note que a extração melhorada cobre 27.2% nos resultados), o sistema ajusta dinamicamente os pesos. Para a vasta maioria dos pares, a distribuição de peso efetiva é de aproximadamente ~70% nome, 10% morte (neutro) e 10% grau.
   • Confiança: ALTA ($\ge 0.85$), MÉDIA ($\ge 0.65$) e BAIXA ($\ge 0.45$).

5. Construção do Grafo: Os dados vinculados são usados para construir um grafo de transmissão direcionado onde as arestas representam a relação aluno-professor. Os metadados dos nós são enriquecidos com detalhes biográficos de múltiplas fontes. A confiança da cadeia para vínculos transitivos (Sanadset $\rightarrow$ hawramani $\rightarrow$ muslimscholars) é determinada pelo nível mínimo de confiança dos vínculos constituintes.

Principais Resultados

• Fase 1 (Sanadset $\rightarrow$ hawramani): Dos 185.216 variantes únicas de nomes de narradores em Sanadset, 94.628 (51.1%) foram vinculadas com sucesso.
  • Confiança ALTA: 39.938 (21.6%).
  • Confiança MÉDIA: 54.690 (29.5%).
  • 47.7% dos narradores não possuíam candidatos de bigrama, tipicamente devido a formas altamente abreviadas ou ausência na base de dados alvo.
• Fase 2 (hawramani $\leftrightarrow$ muslimscholars): 95.573 vínculos foram estabelecidos, cobrindo 94.7% das 100.915 entradas do hawramani.
  • Confiança ALTA: 18.245 (18.1%).
  • Confiança MÉDIA: 71.546 (70.9%).
  • Confiança BAIXA: 5.782 (5.7%).
  • A dominância da confiança MÉDIA é atribuída à esparsidade dos dados (falta de anos de morte em ambos os lados), forçando a dependência da similaridade de nomes.
• Grafo de Transmissão: O pipeline produziu um grafo direcionado com 185.216 nós e 814.093 arestas. Isto é aproximadamente 90 vezes maior que o próximo maior grafo de narradores de Hadith publicado. O grafo exibe propriedades de rede de escala livre com distribuições de lei de potência de grau.
• Enriquecimento: 93.588 narradores alcançaram o alinhamento de três fontes (Sanadset $\rightarrow$ hawramana $\rightarrow$ muslimscholars), permitindo o enriquecimento do grafo com metadados de múltiplas fontes.

Significância e Contribuições
O artigo reivindica três contribuições primárias que abordam uma lacuna identificada em levantamentos anteriores sobre a falta de resolução de identidade de narradores entre múltiplas fontes em escala:

1. Um Pipeline de Duas Fases: Um pipeline inovador que combina uma fase de apenas nome (necessária para fontes com poucos metadados) e uma fase de múltiplos sinais (aproveitando anos de morte e graus quando disponíveis), utilizando normalização de árabe específica para o domínio.
2. Corpora de Vínculos Anotados: A liberação de dois corpora de vínculos estratificados (sanad_links e narrator_links) categorizados por níveis de confiança, que servem como os primeiros recursos de larga escala para esta tarefa específica de vinculação entre múltiplas fontes.
3. Grafo de Transmissão Enriquecido: A construção do maior grafo de transmissão de Hadith publicado (185k nós), enriquecido com metadados biográficos de múltiplas fontes, permitindo análises anteriormente impossíveis com conjuntos de dados isolados.

Os autores enfatizam que o pipeline opera inteiramente sobre strings de nomes estruturadas e metadados categóricos, tornando-o aplicável a qualquer par de bases de dados biográficas árabes. Eles observam que, embora os limiares de confiança tenham sido definidos por inspeção em vez de calibração formal de verdade fundamental (devido à falta de um conjunto de avaliação verificado manualmente), os recursos resultantes fornecem um ponto de partida fundamental para pesquisas subsequentes em autenticação de Hadith e humanidades digitais islâmicas. O trabalho posiciona-se explicitamente como a solução de um problema de vinculação de "mundo aberto", distinto das tarefas de desambiguação de "mundo fechado" abordadas por modelos anteriores como o AR-Sanad v2.