Loci Similes: A Benchmark for Extracting Intertextualities in Latin Literature

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel in einer riesigen, antiken Bibliothek zu lösen. Das Rätsel? Herauszufinden, welche alten Geschichten heimlich kopiert, abgeändert oder von späteren Schriftstellern angedeutet wurden. In der Welt der lateinischen Literatur nennt man das „Intertextualität“. Jahrhundertelang mussten Gelehrte tausende staubige Schriftrollen von Hand lesen und sich auf ihr Gedächtnis verlassen, um zu erkennen, wenn ein Autor wie Hieronymus (ein christlicher Mönch) heimlich eine coole Phrase von Vergil (einem heidnischen Dichter) entlieh.

Aber hier liegt das Problem: Autoren haben nicht einfach nur „Copy-Paste“ gemacht. Sie änderten die Wortreihenfolge, tauschten Synonyme aus oder versteckten den Bezug so geschickt, dass ein einfaches Werkzeug zur „Suche nach diesem Wort“ den Hinweis übersehen hätte. Es ist, als versuche man, ein bestimmtes Lied in einer Playlist zu finden, indem man nur ein paar Noten summt, aber der Sänger hat das Tempo und den Text leicht verändert.

Hier kommt Loci Similes ins Spiel, ein neues digitales Werkzeug, das von einem Team aus Informatikern und Lateinexperten entwickelt wurde, um bei der Lösung dieses Rätsels zu helfen. Denken Sie an ein massives, superorganisiertes „Spickzettel“-System für die Bibliothek.

Die große Bibliothek und der Spickzettel

Das Team baute einen Datensatz, der etwa 176.000 kleine Textstücke enthält. Diese wurden in zwei Stapel aufgeteilt:

1. Der „Query“-Stapel (Abfrage-Stapel): Texte, die später geschrieben wurden (von Autoren wie Hieronymus, Lactantius und Valerius Flaccus).
2. Der „Source“-Stapel (Quellen-Stapel): Texte, die früher geschrieben wurden (von Klassikern wie Cicero, Vergil, Ovid und Horaz).

Um sicherzustellen, dass ihre Computerwerkzeuge tatsächlich lernten, erstellten sie einen „Ground Truth“-Spickzettel (eine verifizierte Wahrheit). Dieser Spickzettel enthält 1.490 spezifische Verbindungen, die von menschlichen Experten als echt verifiziert wurden. Es ist wie ein Lösungsschlüssel, bei dem die Experten sagten: „Ja, dieser Satz in Hieronymus' Buch ist definitiv eine Anspielung auf diesen Satz in Vergils Buch.“

Das große Computer-Rennen

Die Forscher fragten: Können Computer diese verborgenen Verbindungen besser finden als altmodische Suchwerkzeuge?

Sie ließen ein Rennen mit drei Arten von Computermodellen laufen:

1. Der „Wort-Zähler“ (Lexikalische Modelle): Diese suchen nach exakten Wörtern oder Wortstämmen. Sie sind wie ein Bibliothekar, der nur prüft, ob in beiden Büchern exakt dieselben Wörter vorkommen.
2. Der „Tiefe Denker“ (Dichte neuronale Modelle): Diese nutzen fortschrittliche KI, um die Bedeutung eines Satzes zu verstehen, selbst wenn die Wörter unterschiedlich sind. Sie sind wie ein Detektiv, der das Gefühl einer Geschichte versteht.
3. Das „Zwei-Schritte-Team“ (Retrieve-and-Rerank): Dieses Team nutzt zuerst den „Wort-Zähler“, um eine Liste potenzieller Verdächtiger zu erstellen, und nutzt dann den „Tiefen Denker“, um diese zu überprüfen.

Was sie fanden (Die Wendung der Handlung)

Hier wird die Geschichte interessant, denn die Ergebnisse waren nicht das, was alle erwartet hatten.

1. Der „Tiefe Denker“ gewann die erste Runde nicht.
Man könnte denken, dass die schicke KI, die Bedeutung versteht, am besten darin wäre, versteckte Bezüge zu finden. Aber das Paper legt nahe, dass für das Lateinische der altmodische „Wort-Zähler“ (speziell eine Methode namens BM25 unter Verwendung von Lemmata, also den Grundformen der Wörter) beim ersten Schritt tatsächlich besser abschnitt.

• Warum? Latein ist eine Sprache mit verrückten Wortendungen, die sich je nach Grammatik ändern. Die schicke KI wurde manchmal durch diese Änderungen verwirrt, während der „Wort-Zähler“ gut darin war, diese wegzulassen, um den Kern des Wortes zu finden.
• Das Ergebnis: Der „Wort-Zähler“ fand etwa 78 % der direkten, wortwörtlichen Kopien (verbatim references), wenn er die Top-100-Kandidaten betrachtete. Die schicken KI-Modelle waren nah dran, konnten ihn aber nicht schlagen.

2. Der „Tiefe Denker“ wird für die schwierigen Aufgaben gebraucht.
Während der „Wort-Zähler“ großartig darin war, exakte Kopien zu finden, versagte er kläglich beim Finden von Allusionen (subtile Anspielungen, bei denen die Bedeutung ähnlich, aber die Wörter völlig anders sind).

• Das Problem: Wenn Hieronymus einen Satz schrieb, der sich wie der von Vergil anfühlte, aber völlig andere Wörter verwendete, sah der „Wort-Zähler“ keinerlei Verbindung.
• Die Lösung: Der „Tiefe Denker“ (speziell ein Modell namens XLM-R Large) war viel besser darin, diese subtilen Verbindungen mit geringem Überlapp zu entdecken. Er konnte sagen: „Hey, auch wenn die Wörter anders sind, sprechen diese beiden Sätze über dasselbe schreckliche Gefühl.“

3. Die Gewinnstrategie: Das Zwei-Schritte-Team.
Das Paper legt nahe, dass der beste Weg, das Rätsel zu lösen, nicht darin besteht, sich für nur einen Detektiv zu entscheiden, sondern ein Team zu nutzen.

• Schritt 1: Nutzen Sie den „Wort-Zähler“, um die gesamte Bibliothek zu scannen und die 100 wahrscheinlichsten Verdächtigen für jede Abfrage herauszufiltern.
• Schritt 2: Übergeben Sie diese Shortlist an den „Tiefen Denker“, um zu entscheiden, welche davon echte Bezüge sind und welche nur Zufälle.
• Das Ergebnis: Dieser Team-Ansatz schaffte es, 63 % der echten verborgenen Referenzen zu finden, während er die Liste, die ein menschlicher Gelehrter lesen müsste, um 97 % reduzierte. Es ist, als würde man einen Heuhaufen von einer Million Nadeln in ein kleines Körbchen von 1.900 Nadeln verwandeln, was die Arbeit viel einfacher macht.

Was das Paper ausschließt

Die Autoren sind sehr deutlich darüber, was nicht gut funktioniert:

• Nur die schicke KI allein zu verwenden, reicht nicht aus. Wenn man sich nur auf den „Tiefen Denker“ verlässt, ohne einen guten ersten Filter zu nutzen, übersieht man zu viele Verbindungen.
• Nur einfaches Wort-Matching zu verwenden, reicht ebenfalls nicht aus. Wenn man nur nach exakten Wörtern sucht, übersieht man die subtilen, cleveren Anspielungen, die der interessanteste Teil der Forschung sind.
• Es ist kein „gelöstes“ Problem. Das Paper stellt explizit fest, dass das Finden dieser subtilen Verbindungen weiterhin „herausfordernd“ ist. Die KI ist gut, aber sie macht immer noch Fehler, besonders wenn die Verbindung sehr kurz oder die Wörter sehr verschieden sind.

Das Fazgeständnis

Das Paper legt nahe, dass KI zwar ein mächtiges neues Werkzeug für das Studium antiker Literatur ist, aber kein Zauberstab, der alles sofort löst. Der beste Ansatz ist derzeit ein hybrider: Nutzen Sie einfache, schnelle Werkzeuge, um die Suche einzugrenzen, und nutzen Sie dann intelligente Deep-Learning-Werkzeuge, um die endgültige Entscheidung zu treffen.

Die Autoren geben zu, dass ihr Datensatz nicht perfekt ist (es sind nicht alle jemals existierenden Verbindungen enthalten) und dass die Definition dessen, was als „Referenz“ zählt, selbst für Menschen schwierig sein kann. Aber mit 1.490 von Experten verifizierten Beispielen und einem neuen Benchmark namens Loci Similes haben sie zukünftigen Forschern eine solide Startlinie gegeben, um noch bessere Werkzeuge zu bauen. Das Rätsel der antiken Bibliothek wird noch gelöst, aber jetzt haben wir eine viel bessere Taschenlampe.