💻 computer science

Linking Hadith Narrator Identities Across Heterogeneous Arabic Biographical Databases: A Multi-Signal Entity Resolution Pipeline

Dieses Paper präsentiert eine zweiphasige Entity-Resolution-Pipeline, die erfolgreich über 185.000 einzigartige Varianten von Hadith-Erzähler-Namen aus dem Sanadset-Korpus mit zwei großen biografischen Datenbanken verknüpft, wodurch ein einheitlicher, metadatenangereicherter Übertragungsgraph erstellt und die daraus resultierenden verknüpften Daten als offene Ressource veröffentlicht werden.

Ursprüngliche Autoren: Taufiq Wirahman

Veröffentlicht 2026-07-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Taufiq Wirahman

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges, antikes Puzzle zu lösen. Die Puzzleteile sind die Namen von tausenden Geschichtenerzählern aus vor über tausend Jahren. Diese Geschichtenerzähler, bekannt als Hadith-Überlieferer, gaben religiöse Geschichten von Lehrer zu Schüler weiter.

Das Problem ist, dass diese Namen über drei verschiedene digitale Bibliotheken verstreut sind und nicht dieselbe Sprache sprechen. Eine Bibliothek bezeichnet einen Mann vielleicht als „Vater der Weisheit“, eine andere nennt ihn „Omar, Sohn von Ali, Sohn von Ahmed“ und eine dritte listet ihn einfach nur als „Omar“ auf. Es handelt sich um dieselbe Person, aber die Computer wissen das nicht.

Dieses Papier beschreibt ein neues „Übersetzer“- und „Matchmaker“-System, das gebaut wurde, um diese verstreuten Bibliotheken miteinander zu verbinden. So funktioniert es, unterteilt in einfache Schritte:

Die drei Bibliotheken

Betrachten Sie die drei Datenbanken als drei verschiedene Archive:

Das Geschichtsarchiv (Sanadset): Dies ist eine riesige Sammlung von 650.000 Geschichten. Es listet auf, wer die Geschichte wem erzählt hat, besitzt aber keine Biografie. Es ist wie eine Gästeliste bei einer Party, auf der man nur Vornamen hat, aber keine Fotos oder Geburtsdaten.
Das Biografie-Archiv A (Hawramani): Dies ist ein massives Verzeichnis von 100.000 Überlieferern mit Details wie ihrem Todesjahr und wie zuverlässig sie galten.
Das Biografie-Archiv B (Muslimscholars): Dies ist eine kleinere, kuratierte Liste von 25.000 Gelehrten mit ähnlichen Details, aber in einem etwas anderen Format geschrieben.

Die zweiphasige Matchmaking-Pipeline

Die Autoren haben einen zweistufigen Prozess entwickelt, um diese Archive miteinander zu verknüpfen.

Phase 1: Die „Nur-Namen“-Vermutung

Da das Geschichtsarchiv (Sanadset) keine zusätzlichen Details (wie Todesjahre) besitzt, kann das System nur nach den Namen suchen.

Die Herausforderung: Arabische Namen sind knifflig. Sie können unterschiedliche Schreibweisen, zusätzliche Buchstaben zur Betonung oder eine andere Reihenfolge haben.
Die Lösung: Das System „reinigt“ zuerst die Namen, entfernt dekorative Zeichen und standardisiert Buchstaben (indem es zum Beispiel alle Variationen des Buchstabens „A“ in eine Standardversion umwandelt).
Der Abgleich: Es sucht dann nach „Bigrammen“ (Wortpaaren) in den Namen. Wenn das Geschichtsarchiv „Muhammad ibn Ismail“ sagt und das Biografie-Archiv „Muhammad ibn Ismail“ sagt, erhalten sie ein Match.
Das Ergebnis: Es hat erfolgreich etwa 51 % der Namen aus dem Geschichtsarchiv mit dem Biografie-Archiv verknüpft. Es vergab dazu einen Konfidenzwert: „Hoch“ (sehr sicher) oder „Mittel“ (ziemlich sicher).

Phase 2: Der „Detektiv“-Abgleich

Nun, da das Geschichtsarchiv mit dem Biografie-Archiv A verknüpft ist, versucht das System, das Biografie-Archiv A mit dem Biografie-Archiv B zu verbinden.

Der Vorteil: Dieses Mal verfügt das System über mehr Hinweise. Es kann Folgendes vergleichen:
1. Namen: Klingen sie ähnlich?
2. Todesjahre: Starben sie etwa zur gleichen Zeit? (Dies ist ein entscheidender Hinweis bei häufigen Namen wie „Muhammad“).
3. Ruf: Wurde einer als „vertrauenswürdig“ und der andere als „schwach“ beschrieben?
Das Ergebnis: Aufgrund der zusätzlichen Hinweise konnte es 94,7 % der Einträge in Biografie-Archiv A mit Biografie-Archiv B verknüpfen.

Die große Verbindung

Durch das Hintereinanderschalten dieser zwei Schritte erstellt das System eine „transitive“ Verbindung.

Wenn Geschichtsarchiv-Name A mit Biografie-Archiv A Name B übereinstimmt, und Biografie-Archiv A Name B mit Biografie-Archiv B Name C übereinstimmt...
Dann ist Geschichtsarchiv-Name A mit Biografie-Archiv B Name C verbunden.

Dies ermöglicht es Forschern, einen einfachen Namen aus einer Geschichte zu nehmen und sofort detaillierte biografische Daten aus zwei anderen Quellen abzurufen.

Das Endprodukt: Eine riesige Karte

Das Endergebnis dieser Arbeit ist eine massive, gerichtete Karte (ein Graph) mit:

185.000 Knoten (den einzigartigen Geschichtenerzählern).
814.000 Kanten (den Linien, die Lehrer mit Schülern verbinden).

Diese Karte ist nun „angereichert“. Zuvor war sie nur eine Karte von Verbindungen. Jetzt ist jeder Punkt auf der Karte mit Zusatzinformationen (wie Todesjahren und Zuverlässigkeitsgraden) versehen, die aus den anderen Datenbanken stammen.

Warum dies wichtig ist (laut dem Papier)

Das Papier stellt fest, dass Forscher vor diesem Zeitpunkt gezwungen waren, diese Datenbanken isoliert zu betrachten. Sie konnten die Zuverlässigkeit eines Überlieferers über verschiedene Bücher hinweg nicht einfach vergleichen, da die Computer nicht wussten, dass die Namen dieselbe Person bezeichneten.

Dieses Papier liefert die erste groß angelegte „Brücke“ zwischen diesen Datenbanken. Die Autoren stellen die Daten als Open-Source-Ressourcen zur Verfügung, damit andere Forscher die Geschichte dieser Erzählungen mit einer viel klareren, stärker vernetzten Sichtweise untersuchen können.

Kurz gesagt: Die Autoren haben ein intelligentes System gebaut, das unordentliche arabische Namen bereinigt, einen zweistufigen Abgleichsprozess nutzt, um drei verschiedene Datenbanken zu verbinden, und die bisher größte Karte islamischer Geschichtenerzähler erstellt, der mit biografischen Details für jeden Namen versehen ist.

Technische Zusammenfassung: Verknüpfung von Identitäten von Hadith-Erzählern über heterogene arabische biografische Datenbanken hinweg

Problemstellung
Die computergestützte Analyse der islamischen Hadith-Literatur wird derzeit durch die Fragmentierung der Erzählerdaten behindert. Während groß angelegte digitale Korpora existieren – wie etwa Sanadset 650K (mit 650.986 Hadith-Datensätzen inklusive Erzählketten) sowie biografische Datenbanken wie Hadithtransmitters (hawramani) und Muslimscholars.info – operieren diese Ressourcen isoliert. Ihnen fehlen gemeinsame Identifikatoren, und sie nutzen divergierende Namensrepräsentationen (z. B. variierende Nasab-Ketten, Kunya- vs. Ism-Formen sowie orthografische Variationen). Bestehende Ansätze zur Entitätserkennung für das Arabische sind weitgehend auf moderne, mit Wikipedia kompatible Wissensbasen ausgelegt und versagen bei der Bewältigung der spezifischen Herausforderungen historischer islamischer Namen, wie etwa variabler Nasab-Kettenlängen oder morphologischer Kasusvariationen. Infolgeddessen ist die soziale Netzwerkanalyse von Übertragungsketten (Sanad) auf einzelne Sammlungen beschränkt, ohne Zugriff auf quellübergreifende biografische Metadaten (z. B. Todesjahre, Zuverlässigkeitsgrade) zu haben, und Disambiguierungssysteme operieren unter Closed-World-Annahmen, die eine Verknüpfung über unabhängige Datenbanken hinweg nicht ermöglichen.

Methodik
Das Paper schlägt eine zweiphasige Entitätserkennungs-Pipeline vor, die darauf ausgelegt ist, Erzählernamen aus Sanadset mit hawramani zu verknüpfen und anschließend hawramani mit muslimscholars zu verbinden. Die Pipeline stützt sich auf domänenspezifische arabische Normalisierung und ein Multi-Signal-Scoring-Framework.

Arabische Namensnormalisierung: Vor jedem Vergleich wird eine gemeinsame Normalisierungsfunktion norm(t) auf alle drei Datenbanken angewendet. Dieser Prozess:
- Entfernt Diakritika (Tashkeel) unter Verwendung expliziter, disjunkter Unicode-Bereiche, um das versehentliche Entfernen von Konsonanten zu vermeiden.
- Vereinheitlicht fünf Alef-Varianten zu einem einzelnen, nackten Alef.
- Normalisiert Ta marbuta zu Ha und Alef maqsura zu Ya.
- Entfernt Tatweel und kollabiert Whitespace.
Kandidatengenerierung: Um rechenintensive $O(n \times m)$ -Vergleiche zu vermeiden, nutzt das System einen Bigramm-Präfix-Index. Datensätze werden durch Paare aufeinanderfolgender normalisierter Token indiziert. Kandidaten werden als die Vereinigung von Datensätzen abgerufen, die mindestens ein Bigramm mit dem Abfragenamen teilen, wodurch die Vergleichslast um Größenordnungen reduziert wird.
Phase 1: Sanadset $\rightarrow$ hawramani (Nur Name):
- Einschränkung: Sanadset-Einträge verfügen über keine biografischen Metadaten (keine Todesjahre oder Grade).
- Methode: Das Matching stützt sich ausschließlich auf die Namensähnlichkeit mittels Token-sortierter Fuzzy-String-Ähnlichkeit (TSR). Die Token werden alphabetisch sortiert, um Variationen in der Reihenfolge der Nasab-Ketten abzumildern.
- Scoring: Ein Ähnlichkeitswert $s_{name} \in [0, 1]$ wird berechnet. Verknüpfungen werden hergestellt, wenn $s_{name} \ge 0,80$ .
- Konfidenz: HOCH ( $\ge 0,90$ ) und MITTEL ( $\ge 0,80$ ).
Phase 2: hawramani $\leftrightarrow$ muslimscholars (Multi-Signal):
- Methode: Eine gewichtete Multi-Signal-Funktion kombiniert Namensähnlichkeit, Todesjahr-Proximität und die Polarität des Zuverlässigkeitsgrades.
- Signale:
  - Namensähnlichkeit: Gewichtung mit 0,70 (oder 0,50, falls Todesjahre auf beiden Seiten verfügbar sind).
  - Todesjahr-Proximität: Berechnet als $s_{death}(\Delta y)$ basierend auf der absoluten Differenz in Hijri-Jahren. Die Werte reichen von 1,0 (Exakter Treffer) bis 0,0 (Differenz $> 10$ Jahre). Wenn Todesjahre fehlen, wird ein neutraler Wert von 0,50 angewendet.
  - Grad-Polarität: Zuverlässigkeitsgrade werden in positive, negative oder unbekannte Klassen kollabiert (Scores 1,0, 0,0, 0,5).
  - Quellen-Bonus: Ein kleiner Bonus ( $\delta_{src} = 0,05$ ) wird hinzugefügt, wenn der hawramani-Datensatz fünf oder mehr Quellenangaben besitzt.
- Dynamische Gewichtung: Da Todesjahre in hawramani spärlich vorhanden sind (verfügbar für $< 0,1\,\%$ der gematchten Paare im ersten Durchlauf, obwohl das Paper eine verbesserte Extraktion von 27,2,% in den Ergebnissen anmerkt), passt das System die Gewichte dynamisch an. Für die überwiegende Mehrheit der Paare beträgt die effektive Gewichtungsverteilung ca. 70,% Name, 10,% Tod (neutral) und 10,% Grad.
- Konfidenz: HOCH ( $\ge 0,85$ ), MITTEL ( $\ge 0,65$ ) und NIEDRIG ( $\ge 0,45$ ).
Graphkonstruktion: Die verknüpften Daten werden verwendet, um einen gerichteten Übertragungsgraph zu konstruieren, in dem Kanten Schüler-zu-Lehrer-Beziehungen repräsentieren. Die Knoten-Metadaten werden durch quellübergreifende biografische Details angereichert. Die Konfidenz der Kette für transitive Verknüpfungen (Sanadset $\rightarrow$ hawramani $\rightarrow$ muslimscholars) wird durch das Minimum der Konfidenzstufen der konstituierenden Verknüpfungen bestimmt.

Wichtigste Ergebnisse

Phase 1 (Sanadset $\rightarrow$ hawramani): Von 185.216 eindeutigen Varianten der Erzählernamen in Sanadset wurden 94.628 (51,1,%) erfolgreich verknüpft.
- HOHE Konfidenz: 39.938 (21,6,%).
- MITTELE Konfidenz: 54.690 (29,5,%).
- 47,7,% der Erzähler hatten keine Bigramm-Kandidaten, was typischerweise auf stark abgekürzte Formen oder das Fehlen in der Zieldatenbank zurückzuführen ist.
Phase 2 (hawramani $\leftrightarrow$ muslimscholars): Es wurden 95.573 Verknüpfungen hergestellt, was 94,7,% der 100.915 hawramani-Einträge abdeckt.
- HOHE Konfidenz: 18.245 (18,1,%).
- MITTELE Konfidenz: 71.546 (70,9,%).
- NIEDRIGE Konfidenz: 5.782 (5,7,%).
- Die Dominanz der MITTELEN Konfidenz ist auf die Datensparsamkeit (Mangel an Todesjahren auf beiden Seiten) zurückzuführen, was eine Abhängigkeit von der Namensähnlichkeit erzwingt.
Übertragungsgraph: Die Pipeline erzeugte einen gerichteten Übertragungsgraph mit 185.216 Knoten und 814.093 Kanten. Dies ist etwa 90 Mal größer als der nächstgrößere veröffentlichte Hadith-Erzählergraph. Der Graph weist skalenfreie Eigenschaften mit Potenzgesetz-Gradverteilungen auf.
Anreicherung: 93.588 Erzähler erreichten eine Drei-Quellen-Ausrichtung (Sanadset $\rightarrow$ hawramani $\rightarrow$ muslimscholars), was die Anreicherung des Graphen mit quellübergreifenden biografischen Metadaten ermöglichte.

Bedeutung und Beiträge
Das Paper beansprucht drei primäre Beiträge, die eine Lücke schließen, die in vorangegangenen Untersuchungen bezüglich des Fehlens der quellübergreifenden Identitätsauflösung von Erzählern in großem Maßstab identifiziert wurde:

Eine zweiphasige Pipeline: Eine neuartige Pipeline, die eine Name-only-Phase (notwendig für metadatenarme Quellen) und eine Multi-Signal-Phase (Nutzung von Todesjahren und Graden, sofern verfügbar) kombiniert und dabei domänenspezifische arabische Normalisierung nutzt.
Annotierte Verknüpfungskorpora: Die Veröffentlichung von zwei stratifizierten Verknüpfungskorpora (sanad_links und narrator_links), kategorisiert nach Konfidenzstufen, die als erste groß angelegte Ressourcen für diese spezifische quellübergreifende Verknüpfungsaufgabe dienen.
Angereicherter Übertragungsgraph: Die Konstruktion des größten veröffentlichten Hadith-Übertragungsgraphen (185k Knoten), der mit biografischen Metadaten aus mehreren Quellen angereichert wurde, was Analysen ermöglicht, die mit isolierten Datensätzen zuvor unmöglich waren.

Die Autoren betonen, dass die Pipeline vollständig auf strukturierten Namenszeichenfolgen und kategorialen Metadaten operiert, was sie für jedes Paar arabischer biografischer Datenbanken anwendbar macht. Sie merken an, dass die Konfidenzschwellen durch Inspektion statt durch formale Ground-Truth-Kalibrierung festgelegt wurden (da es keinen manuell verifizierten Evaluierungsdatensatz gibt), die resultierenden Ressourcen jedoch einen grundlegenden Ausgangspunkt für die nachgelagerte Forschung in der Hadith-Authentifizierung und den digitalen Islamwissenschaften bieten. Die Arbeit positioniert sich explizit als Lösung eines „Open-World“-Verknüpfungsproblems, im Gegensatz zu den „Closed-World“-Disambiguierungsaufgaben, die durch Modelle wie AR-Sanad v2 adressiert wurden.