💬 NLP

Robust, Scalable Detection of Text Containment in Large Web-Crawled Corpora

Das Paper stellt FindMyText vor, ein skalierbares, Open-Source-Python-Tool, das verteiltes Fingerprint-Chaining nutzt, um nahezu wortgetreue Textübereinstimmungen in großen, durch Web-Crawling gewonnenen Korpora präzise zu erkennen und dabei bestehende Methoden über mehrere Datensätze hinweg übertrifft.

Ursprüngliche Autoren: Lars Henry Berge Olsen, Pierre Lison, Martin Jullum, Mark Anderson

Veröffentlicht 2026-07-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lars Henry Berge Olsen, Pierre Lison, Martin Jullum, Mark Anderson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, staubige Bibliothek mit Milliarden von Büchern, Websites und Artikeln – so viele, dass ein Mensch ein ganzes Leben lang bräuchte, um sie alle zu lesen. Nun stellen Sie sich vor, jemand reicht Ihnen einen einzigen Absatz aus einem berühmten Roman und fragt: „Ist dieser exakte Absatz in jener riesigen Bibliothek aufgetaucht?“

Dies ist das Rätsel, das FindMyText löst. Es ist ein neues digitales Detektiv-Werkzeug, das darauf ausgelegt ist, aufzuspüren, ob ein bestimmtes Textstück in einer riesigen Datenmenge existiert, selbst wenn dieser Text leicht verändert, umorganisiert oder in einem Chaos aus anderen Wörtern versteckt wurde.

Das Problem: Warum „Suchen“ nicht ausreicht

Früher, wenn man eine Nadel im Heuhaufen suchen wollte, hat man vielleicht nach einem nadelähnlichen Objekt gesucht. Aber was ist, wenn die Nadel blau lackiert, leicht verbogen oder durch einen Knopf ersetzt wurde? Genau das passiert, wenn Computer das Internet scannen.

Wenn große KI-Modelle trainiert werden, „fressen“ sie Terabytes an Text aus dem Web. Aber bevor sie den Text verarbeiten, wird er „gekocht“: Satzzeichen werden geändert, Sätze werden zerstückelt und Formatierungen werden entfernt. Wenn Sie versuchen, mit alten Methoden einen Satz aus einem urheberrechtlich geschützten Buch in diesem unordentlichen Haufen zu finden, könnten Sie getäuscht werden.

Alte Werkzeuge funktionieren oft wie Fingerabdruckscanner, die nur zählen, wie viele Fingerabdrücke übereinstimmen, aber ignorieren, wo diese Fingerabdrücke liegen. Wenn Sie ein Buch über Katzen und ein Buch über Hunde haben und beide zufällig die Wörter „der“, „Katze“ und „Hund“ verwenden (nur in einer anderen Reihenfolge), könnte ein altes Werkzeug sagen: „Hey, die sehen sich ähnlich!“ Das ist jedoch ein Fehlalarm. Es ist, als würde man sagen, zwei Menschen seien Zwillinge, nur weil beide zwei Augen und eine Nase haben, während man ignoriert, dass der eine Koch und der andere Pilot ist.

Das Paper argumentt explizit gegen die Verwendung dieser „Ähnlichkeits“-Werkzeuge (wie jene, die nur übereinstimmende Wörter zählen oder „dichte“ Vektor-Karten nutzen) für diese spezifische Aufgabe. Die Forscher fanden heraus, dass diese Methoden leicht durch Texte getäuscht werden, die zwar ähnlich klingen, aber nicht tatsächlich identisch sind. Sie zeigten auch, dass einfache „Exakt-Treffer“-Suchen scheitern, da der Text in der Bibliothek selten zu 100 % identisch mit dem Original ist; er wurde bereinigt und neu formatiert.

Die Lösung: Der „Kettenreaktions“-Detektiv

Hier kommt FindMyText ins Spiel. Anstatt nur Fingerabdrücke zu zählen, sucht dieses Werkzeug nach Ketten.

Stellen Sie sich vor, Sie versuchen, zwei lange, zerrissene Papierstücke abzugleichen.

Der alte Weg: Sie zählen, wie viele Buchstaben auf beiden Papieren gleich sind. Wenn sie 50 Buchstaben gemeinsam haben, vermuten Sie, dass sie verwandt sein könnten.
Der FindMyText-Weg: Sie suchen nach einer Sequenz. Sie finden einen Buchstaben „A“ auf dem ersten Papier und suchen dann nach einem „A“ auf dem zweiten Papier. Dann suchen Sie nach dem nächsten Buchstaben, „B“, und prüfen, ob er auf dem zweiten Papier direkt nach dem „A“ erscheint, genau wie auf dem ersten. Dann suchen Sie nach „C“ und so weiter.

Wenn Sie eine lange, ununterbrochene Kette von Buchstaben finden, die in der gleichen Reihenfolge erscheinen, wissen Sie, dass Sie einen echten Treffer gefunden haben. Selbst wenn die Papiere durcheinandergebracht wurden: Wenn eine lange Kette von Buchstaben zusammenbleibt, ist das ein eindeutiger Beweis.

Das Werkzeug nutzt einen cleveren Trick namens Winnowing, um diese „Fingerabdrücke“ (winzige digitale Zusammenfassungen von Textstücken) zu erstellen. Es bildet diese dann auf einem Graphen ab. Wenn die Fingerabdrücke eine gerade, diagonale Linie auf dem Graphen bilden, bedeutet das, dass sie Teil einer kontinuierlichen Kette sind – ein echter Abzug. Wenn sie jedoch zufällig verstreut sind, handelt es sich nur um einen Zufall.

Wie sicher sind sie sich?

Die Forscher haben nicht nur geraten; sie haben einen synthetischen Benchmark (eine künstliche Testumgebung) gebaut, um zu sehen, ob ihr Werkzeug funktioniert. Sie erstellten tausende von „positiven“ Fällen (wo ein Text definitiv kopiert, aber bearbeitet wurde) und „negativen“ Fällen (wo der Text so umgeschrieben wurde, dass er ähnlich klingt, aber nicht tatsächlich kopiert wurde).

Sie testeten FindMyText gegen drei massive Datensätze:

Wikipedia: 381.000 Artikel.
ArXiv: 245.000 wissenschaftliche Arbeiten.
HPLT: Ein massiver Web-Crawl mit über 50,7 Millionen Inhalten.

Die Ergebnisse waren beeindruckend. In diesen Tests versagten die alten Methoden (wie das Zählen gemeinsamer Fingerabdrücke oder die Nutzung von KI-Embeddings) oft und erreichten Werte nahe am Zufallsniveau (AUC-ROC um 0,5 bis 0,6). Aber die „kettenbasierte“ Methode von FindMyText erzielte unglaublich hohe Werte, mit einem AUC-ROC von 0,998 bei Wikipedia und 1,00 beim HPLT-Datensatz.

Auf gut Deutsch: Wenn das Werkzeug sagte: „Ja, dieser Text ist darin enthalten“, hatte es fast jedes Mal recht, selbst wenn der Text zerstückelt, in der Groß-/Kleinschreibung geändert oder mit zufälligem „Müll“ versehen worden war. Es konnte einen Treffer in einer Datenbank von 50 Millionen Elementen in weniger als einer halben Sekunde (450 ms) finden.

Warum das wichtig ist

Dies ist nicht nur ein Spiel der „versteckten Textsuche“. Das Paper hebt hervor, dass dies entscheidend für das Urheberrecht ist. Wenn ein Unternehmen behauptet, es habe ein bestimmtes urheberrechtlich geschütztes Buch nicht zum Training seiner KI verwendet, kann FindMyText die Trainingsdaten untersuchen, um zu sehen, ob der Text dieses Buches darin verborgen ist, selbst wenn er leicht verändert wurde.

Das Werkzeug ist auf Robustheit ausgelegt. Es versteht, dass reale Daten chaotisch sind. Es ist ihm egal, ob ein Komma fehlt oder ob ein Wort anders großgeschrieben ist; es achtet auf die Kette der Fingerabdrücke.

Was es nicht ist

Es ist wichtig anzumerken, was dieses Werkzeug nicht tut. Es sagt Ihnen nicht, ob zwei Texte die gleiche Bedeutung haben (semantische Ähnlichkeit). Wenn Sie ein Gedicht über einen traurigen Hund schreiben und jemand anderes ein Gedicht über einen glücklichen Hund mit völlig anderen Worten schreibt, wird FindMyText sie nicht als Treffer markieren. Es interessiert sich nur dafür, ob die exakt gleiche Sequenz von Wörtern (oder eine sehr nahe Version davon) in der Bibliothek erscheint.

Die Autoren sind aufgrund ihrer Experimente zuversichtlich über diese Ergebnisse, weisen aber auch darauf hin, dass das Werkzeug derzeit eine „Suchmaschine“ für Text-Enthalte ist. Sie planen, in Zukunft vorgefertigte Indizes für berühmte Datensätze zu veröffentlichen, aber für den Moment ist es ein leistungsstarkes Open-Source-Werkzeug, das beweist, dass man die Nadel im Heuhaufen finden kann, selbst wenn die Nadel verbogen und bunt lackiert ist.

Technische Zusammenfassung: FindMyText

Problemstellung
Die Arbeit befasst sich mit der Herausforderung der Text-Containment (Text-Einschließung): die Bestimmung, ob ein spezifischer Eingabetext (Abfrage $q$ ) ganz oder teilweise innerhalb eines großen Zielkorpus ( $\mathcal{C}$ ) erscheint. Diese Aufgabe ist entscheidend für die Verifizierung der Zusammensetzung von Pre-Training-Daten für Large Language Models (LLMs), insbesondere zur Bewertung von Urheberrechtsverletzungen und Lizenzverstößen.

Bestehende Ansätze stehen in diesem Kontext vor erheblichen Einschränkungen:

Exakter Abgleich (Exact Matching): Schlägt fehl, da Pre-Training-Korpora umfangreichen Vorverarbeitungsschritten unterzogen werden (OCR, Entfernung von Boilerplate-Text, Normalisierung, Segmentierung), was bedeutet, dass der Abfragetext dem Korpus-Text selten wortgetreu entspricht.
Sequenz-Alignment (z. B. Smith-Waterman): Obwohl diese Algorithmen präzise bei der Messung der Ähnlichkeit sind, weisen sie eine quadratische Komplexität auf, was ihre Skalierbarkeit auf Web-Crawling-Datensätze mit Millionen von Dokumenten unmöglich macht.
Near-Duplicate-Detection (z. B. Jaccard-Ähnlichkeit, MinHash, Dense Retrieval): Diese Methoden messen oft die globale Ähnlichkeit oder semantische Nähe. Es fällt ihnen schwer, zwischen Dokumenten zu unterscheiden, die ein spezifisches, zusammenhängendes Textfragment teilen (Containment), und solchen, die lediglich ähnliche Vokabeln oder Ideen teilen, ohne dass derselbe Textabschnitt enthalten ist.
Membership Inference Attacks: Neuere Arbeiten deuten darauf, dass diese Angriffe auf Black-Box-LLMs für Produktionsmodelle, die darauf ausgelegt sind, die Generierung urheberrechtlich geschützter Inhalte zu vermeiden, unzuverlässig sind.

Methodik
FindMyText ist ein Open-Source-Python-Toolkit, das darauf ausgelegt ist, auf große Datensätze zu skalieren und gleichzeitig robust gegenüber Formatierungsunterschieden zu bleiben. Das System arbeitet in zwei Stufen:

Indizierung (Vorverarbeitung):
- Winnowing: Das System extrahiert $k$ -Gramme (Shingles) aus Dokumenten und wandelt diese in Hashes um. Es wendet einen Winnowing-Mechanismus (Schleimer et al., 2003) an, um repräsentative Fingerprints auszuwählen. Durch das Verschieben eines Fensters der Größe $w$ und die Auswahl des minimalen Hashes in jedem Fenster reduziert das System die Anzahl der Indizes drastisch und garantiert gleichzeitig, dass jeder gemeinsame Substring der Länge $k+w-1$ mindestens einen gemeinsamen Fingerprint liefert.
- Invertierter Index: Die Fingerprints werden in einem diskusbasierten, speicherabgebildeten (memory-mapped) invertierten Index gespeichert, der jeden Hash einer Liste von (doc_id, position) Paaren zuordnet. Dies ermöglicht die effiziente Abfrage von Dokumenten, die bestimmte Fingerprints enthalten.
Detektion (Abfrage):
- Fingerprint-Matching: Für eine Abfrage $q$ extrahiert das System Fingerprints und ruft die passenden Dokumente aus dem Index ab.
- Chain-Identifikation (Kerninnovation): Im Gegensatz zu Standardmethoden, die lediglich die Anzahl gemeinsamer Fingerprints zählen, identifiziert FindMyText explizit Ketten von passenden Fingerprints.
  - Es bildet die gemeinsamen Fingerprints auf einen 2D-Raum ab, der durch die Position in der Abfrage ( $p_q$ ) und den Positionsversatz ( $\delta = p_d - p_q$ ) relativ zum Korpus-Dokument definiert ist.
  - Gemeinsame Textfragmente manifestieren sich als geometrisch kohärente Cluster in diesem Raum (ein langsam steigendes $p_q$ bei nahezu konstantem $\delta$ ).
  - Das System clustert diese Punkte unter Verwendung von Schwellenwerten für Positionslücken ( $\tau_{pos}$ ) und Variationsbreiten des Versatzes ( $\tau_{off}$ ), um kleine Einfügungen oder Löschungen zu tolerieren.
  - Cluster, die kleiner als eine Mindestgröße ( $\kappa$ ) sind, werden verworfen.
- Scoring: Der Containment-Score ist definiert als die Größe des größten gültigen Fingerprint-Clusters und bietet somit ein robustes Maß für die Länge des geteilten Textes statt nur für die Ähnlichkeit.

Wesentliche Beiträge

Eine neuartige kettenbasierte Methode: Die Arbeit führt eine Methode zur Lokalisierung geteilter Textfragmente durch das Clustering von Fingerprints basierend auf Positionskohärenz ein und unterscheidet so zwischen echtem Containment und bloßer Ähnlichkeit.
Ein synthetischer Benchmark: Die Autoren konstruierten einen anspruchsvollen Benchmark unter Verwendung eines „Oracles“ basierend auf dem Smith-Waterman-Algorithmus. Dieser Benchmark generiert „positive“ Instanzen (Texte mit geteilten Fragmenten, die realistischen Vorverarbeitungs-Edits unterzogen wurden) und „negative“ Instanzen (semantisch ähnliche Texte ohne geteilte Fragmente, erstellt durch Permutation und Paraphrasierung).
Experimentelle Validierung: Das Toolkit wurde auf drei diversen Korpora evaluiert: Wikipedia (1 Mio. Artikel), ArXiv-Paper und generische Web-Inhalte (HPLT-Datensatz, 50 Mio.+ Texte).

Ergebnisse
Experimente verglichen FindMyText mit BM25, Dense Retrieval (unter Verwendung von Qwen3-Embedding-4B) und einer einfachen Methode zur Zählung gemeinsamer Fingerprints.

Performance: Der kettenbasierte Ansatz erreichte nahezu perfekte Ergebnisse mit AUC-ROC-Scores von 0,998 (Wikipedia), 0,991 (ArXiv) und 0,999 (HPLT).
Versagen der Baselines: Baseline-Methoden (BM25, Dense Retrieval und einfaches Fingerprint-Counting) schnitten schlecht ab (AUC-ROC oft < 0,60 oder nahe der Zufallschance). Die Baselines scheiterten daran, zwischen Dokumenten zu unterscheiden, die semantisch ähnlich, aber ohne geteilte Textfragmente waren, und solchen, die tatsächlich den Abfragetext enthielten.
Skalierbarkeit: Das System demonstrierte effiziente Abfragezeiten (10 ms für Wikipedia, 450 ms für den 50-Mio.-Dokumente starken HPLT-Korpus) trotz der massiven Indexgröße, dank diskusbasierter Speicherung und vektorisierter Lookups.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass FindMyText eine robuste, skalierbare Lösung für Text-Containment bietet, die speziell auf rechtliche und Transparenzverpflichtungen (z. B. den EU AI Act) zugeschnitten ist.

Rechtliche Ausrichtung: Die Autoren betonen, dass das Tool auf „substanzielle Ähnlichkeit“ im rechtlichen Sinne abzielt – die Reproduktion geschützter Ausdrucksformen – und nicht auf semantische Ähnlichkeit. Dies macht es geeignet, um urheberrechtlich geschütztes Material in Pre-Training-Datensätzen zu identifizieren.
Robustheit: Die Methode ist explizit darauf ausgelegt, die „verrauschte“ Realität von Web-Crawling-Daten zu handhaben, in denen Änderungen in Formatierung und Segmentierung exakte Übereinstimmungen verschleiern.
Transparenz: Indem es die Verifizierung ermöglicht, ob spezifische Texte (wie urheberrechtlich geschützte Bücher) in einem Korpus vorhanden sind, unterstützt das Tool die Datenkuratierung und Modellinterpretierbarkeit, ohne Zugriff auf die internen Daten des LLM-Anbieters oder dessen Black-Box-Modelle zu benötigen.

Die Autoren kommen zu dem Schluss, dass der Fokus des Toolkits derzeit auf der Detektion liegt, zukünftige Arbeiten jedoch die Veröffentlichung vorkompilierter Indizes für große öffentliche Korpora wie CommonCrawl beinhalten.