💬 NLP

Robust, Scalable Detection of Text Containment in Large Web-Crawled Corpora

Il documento presenta FindMyText, uno strumento Python open-source e scalabile che sfrutta il concatenamento distribuito di impronte digitali (fingerprint chaining) per rilevare accuratamente la presenza di testi quasi identici in grandi corpora di dati web-crawled, superando i metodi esistenti su molteplici dataset.

Autori originali: Lars Henry Berge Olsen, Pierre Lison, Martin Jullum, Mark Anderson

Pubblicato 2026-07-14

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Lars Henry Berge Olsen, Pierre Lison, Martin Jullum, Mark Anderson

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate di avere una biblioteca enorme e polverosa contenente miliardi di libri, siti web e articoli — così tanti che un essere umano impiegherebbe una vita intera per leggerli tutti. Ora, immaginate che qualcuno vi porga un singolo paragrafo di un famoso romanzo e vi chieda: "Questo esatto paragrafo è finito in quella gigantesca biblioteca?"

Questo è l'enigma che FindMyText risolve. È un nuovo strumento di investigazione digitale progettato per rintracciare se un pezzo specifico di testo esiste all'interno di una vasta collezione di dati, anche se quel testo è stato leggermente modificato, riorganizzato o nascosto all'interno di un groviglio di altre parole.

Il Problemente: Perché "Guardare" Non Basta

In passato, se volevi trovare un ago in un pagliaio, potevi semplicemente cercare un oggetto a forma di ago. Ma cosa succede se l'ago viene dipinto di blu, leggermente piegato o se al posto del foro viene inserito un bottone? È ciò che accade quando i computer scansionano Internet.

Quando i grandi modelli di IA vengono addestrati, "mangiano" terabyte di testo dal web. Ma prima di mangiarlo, il testo viene "cotto": la punteggiatura viene cambiata, le frasi vengono spezzate e la formattazione viene rimossa. Se provi a cercare una frase di un libro protetto da copyright in questo mucchio disordinato usando i vecchi metodi, potresti essere ingannato.

I vecchi strumenti agiscono spesso come scansionatori di impronte digitali che contano solo quante impronte corrispondono, ignorando dove si trovino quelle impronte. Se hai un libro sui gatti e un libro sui cani, e entrambi usano casualmente le parole "il", "gatto" e "cane" (solo in ordini diversi), un vecchio strumento potrebbe dire: "Ehi, questi sembrano simili!" Ma questo è un falso allarme. È come dire che due persone sono gemelle solo perché entrambe hanno due occhi e un naso, ignorando che una è uno chef e l'altra è un pilota.

Il documento argomenta esplicitamente contro l'affidamento di questi strumenti di "similarità" (come quelli che contano semplicemente le parole corrispondenti o utilizzano mappe vettoriali "dense") per questo compito specifico. Hanno scoperto che questi metodi si lasciano facilmente ingannare da testi che sembrano simili ma non sono in realtà lo stesso. Hanno anche dimostrato che le semplici ricerche di "corrispondenza esatta" falliscono perché il testo nella biblioteca è raramente identico al 100% all'originale; è stato pulito e riformattato.

La Soluzione: Il Detective della "Reazione a Catena"

Entra in gioco FindMyText. Invece di contare solo le impronte digitali, questo strumento cerca le catene.

Immaginate di dover far corrispondere due lunghi pezzi di carta strappati.

Il Vecchio Modo: Contate quante lettere sono uguali su entrambi i pezzi di carta. Se condividono 50 lettere, ipotizzate che possano essere correlati.
Il Modo FindMyText: Cercate una sequenza. Trovate una lettera "A" sul primo pezzo di carta, poi cercate una "A" sul secondo pezzo. Poi cercate la lettera successiva, "B", e controllate se appare subito dopo la "A" sul secondo pezzo, proprio come faceva sul primo. Poi cercate la "C", e così via.

Se trovate una lunga catena ininterrotta di lettere che appaiono nello stesso ordine, sapete di aver trovato una corrispondenza reale. Anche se i fogli sono stati rimescolati, se una lunga catena di lettere rimane unita, è una prova schiacciante.

Lo strumento utilizza un trucco astuto chiamato winnowing per creare queste "impronte digitali" (piccoli riassunti digitali di frammenti di testo). Successivamente, le mappa su un grafico. Se le impronte digitali formano una linea retta e diagonale sul grafico, significa che fanno parte di una catena continua — una copia reale. Se sono sparse casualmente, è solo una coincidenza.

Quanto Sono Sicuri?

I ricercatori non hanno solo tirato a indovinare; hanno costruito un benchmark sintetico (un ambiente di test finto) per vedere se il loro strumento funziona. Hanno creato migliaia di casi "positivi" (dove un testo era sicuramente copiato ma modificato) e casi "negativi" (dove il testo era stato riscritto per suonare simile ma non era stato effettivamente copiato).

Hanno testato FindMyText contro tre enormi dataset:

Wikipedia: 381.000 articoli.
ArXiv: 245.000 articoli scientifici.
HPLT: Un massiccio web crawl con oltre 50,7 milioni di contenuti.

I risultati sono stati sorprendenti. In questi test, i vecchi metodi (come il conteggio delle impronte digitali condivise o l'uso di embedding IA) spesso fallivano, ottenendo punteggi vicini al caso (AUC-ROC intorno a 0,5 - 0,6). Ma il metodo basato sulle "catene" di FindMyText ha ottenuto punteggi incredibilmente alti, con un AUC-ROC di 0,998 su Wikipedia e 1,00 sul dataset HPLT.

In parole povere: quando lo strumento diceva "Sì, questo testo è presente", aveva ragione quasi ogni singola volta, anche quando il testo era stato spezzato, la sua capitalizzazione era stata cambiata o erano stati inseriti elementi casuali. Poteva trovare una corrispondenza in un database di 50 milioni di elementi in meno di mezzo secondo (450 ms).

Perché Questo è Importante

Questo non è solo un gioco di "trova il testo nascosto". Il documento sottolinea che questo è fondamentale per il copyright. Se un'azienda sostiene di non aver usato un libro specifico protetto da copyright per addestrare la sua IA, FindMyText può controllare i massicci dati di addestramento per vedere se il testo di quel libro si nasconde all'interno, anche se è stato leggermente alterato.

Lo strumento è progettato per essere robusto. Capisce che i dati del mondo reale sono disordinati. Non gli importa se manca una virgola o se una parola è scritta con la maiuscola o minuscola; gli interessa la catena di impronte digitali.

Cosa Non È

È importante notare cosa non fa questo strumento. Non ti dice se due testi hanno lo stesso significato (similarità semantica). Se scrivi una poesia su un cane triste e qualcun altro scrive una poesia su un cane felice usando parole completamente diverse, FindMyText non li segnalerà come una corrispondenza. Gli interessa solo se la stessa identica sequenza di parole (o una versione molto simile) appare nella biblioteca.

Gli autori sono fiduciosi in questi risultati basandosi sui loro esperimenti, ma sottolineano anche che lo strumento è attualmente un "motore di ricerca" per la contenuta di testo. Prevedono di rilasciare indici pre-compilati per dataset famosi in futuro, ma per ora, è uno strumento open-source potente che dimostra che puoi trovare l'ago nel pagliaio, anche se l'ago è stato piegato e dipinto.

Riepilogo Tecnico: FindMyText

Definizione del Problema
Il documento affronta la sfida della contenimento testuale (text containment): determinare se un testo di input specifico (query $q$ ) compaia, interamente o parzialmente, all'interno di un vasto corpus di destinazione ( $\mathcal{C}$ ). Questo compito è fondamentale per verificare la composizione dei dati di pre-addestramento dei Large Language Models (LLM), in particolare per valutare la violazione del copyright e delle licenze.

Gli approcci esistenti presentano limitazioni significative in questo contesto:

Corrispondenza Esatta (Exact Matching): Fallisce perché i corpora di pre-addestramento subiscono un'estesa pre-elaborazione (OCR, rimozione di boilerplate, normalizzazione, segmentazione), il che significa che il testo della query raramente corrisponde in modo verbatim al testo del corpus.
Allineamento di Sequenza (es. Smith-Waterman): Sebbene accurati nel misurare la similarità, questi algoritmi hanno una complessità computazionale quadratica, rendendoli impraticabili per la scalabilità su dataset di dimensioni web-crawled contenenti milioni di documenti.
Rilevamento di Quasi-Duplicati (es. similarità di Jaccard, MinHash, Dense Retrieval): Questi metodi misurano spesso la similarità globale o la prossimità semantica. Faticano a distinguere tra documenti che condividono un frammento di testo specifico e contiguo (contenimento) e quelli che condividono semplicemente un vocabolario o idee simili senza contenere lo stesso passaggio.
Attacchi di Inferenza sull'Appartenenza (Membership Inference Attacks): Studi recenti suggeriscono che questi attacchi su modelli black-box siano inaffidabili per i modelli di produzione progettati per evitare la generazione di contenuti protetti da copyright.

Metodologia
FindMyText è un toolkit open-source in Python progettato per scalare su grandi dataset pur rimanendo robusto rispetto alle discrepanze di formattazione. Il sistema opera in due fasi:

Indicizzazione (Pre-elaborazione):
- Winnowing: Il sistema estrae $k$ -grammi (shingles) dai documenti e li converte in hash. Applica un meccanismo di winnowing (Schleimer et al., 2003) per selezionare fingerprint rappresentativi. Facendo scorrere una finestra di dimensione $w$ e selezionando l'hash minimo in ogni finestra, il sistema riduce drasticamente il numero di indici garantendo al contempo che qualsiasi sottostringa condivisa di lunghezza $k+w-1$ produca almeno un fingerprint comune.
- Indice Invertito: I fingerprint sono memorizzati in un indice invertito basato su disco e mappatura di memoria (memory-mapped) che associa ogni hash a una lista di coppie (doc_id, position). Ciò consente il recupero efficiente dei documenti contenenti specifici fingerprint.
Rilevamento (Querying):
- Corrispondenza di Fingerprint: Per una query $q$ , il sistema estrae i fingerprint e recupera i documenti corrispondenti dall'indice.
- Identificazione di Catene (Innovazione Centrale): A differenza dei metodi standard che si limitano a contare i fingerprint condivisi, FindMyText identifica esplicitamente le catene di fingerprint corrispondenti.
  - Mappa i fingerprint condivisi in uno spazio 2D definito dalla posizione nella query ( $p_q$ ) e dall'offset di posizione ( $\delta = p_d - p_q$ ) relativo al documento del corpus.
  - I frammenti di testo condivisi si manifestano come cluster geometricamente coerenti in questo spazio (un aumento lento di $p_q$ con un $\delta$ quasi costante).
  - Il sistema raggruppa questi punti utilizzando soglie per gli scarti di posizione ( $\tau_{pos}$ ) e le variazioni di offset ( $\tau_{off}$ ) per tollerare piccole inserzioni o cancellazioni.
  - I cluster più piccoli di una dimensione minima ( $\kappa$ ) vengono scartati.
- Scoring: Il punteggio di contenimento è definito dalla dimensione del più grande cluster di fingerprint valido, fornendo una misura robusta della lunghezza del testo condiviso piuttosto che della semplice similarità.

Contributi Chiave

Un Nuovo Metodo Basato su Catene: Il documento introduce un metodo per localizzare frammenti di testo condivisi raggruppando i fingerprint in base alla coerenza posizionale, distinguendo il vero contenimento dalla mera similarità.
Un Benchmark Sintetico: Gli autori hanno costruito un benchmark impegnativo utilizzando un "Oracle" basato sull'algoritmo Smith-Waterman. Questo benchmark genera istanze "positive" (testi con frammenti condivisi sottoposti a realistiche modifiche di pre-elaborazione) e istanze "negative" (testi semanticamente simili ma senza frammenti condivisi, creati tramite permutazione e parafrasi).
Validazione Sperimentale: Il toolkit è stato valutato su tre corpora diversificati: Wikipedia (1M di articoli), articoli ArXiv e contenuti web generici (dataset HPLT con 50M+ di testi).

Risultati
Gli esperimenti hanno confrontato FindMyText con BM25, il recupero denso (usando Qwen3-Embedding-4B) e un semplice conteggio dei fingerprint condivisi.

Performance: L'approccio basato su catene ha ottenuto risultati quasi perfetti, con punteggi AUC-ROC di 0.998 (Wikipedia), 0.991 (ArXiv) e 0.999 (HPLT).
Fallimento dei Baseline: I metodi di base (BM25, recupero denso e semplice conteggio dei fingerprint) hanno performato scarsamente (AUC-ROC spesso < 0.60 o vicino al caso casuale). I baseline non sono riusciti a distinguere tra documenti semanticamente simili ma privi di frammenti di testo condivisi e documenti che contengono effettivamente la query.
Scalabilità: Il sistema ha dimostrato tempi di query efficienti (10ms per Wikipedia, 450ms per il corpus HPLT di 50M di documenti) nonostante la dimensione massiccia dell'indice, grazie allo storage su disco e alle lookup vettorializzate.

Significatività e Rivendicazioni
Il documento afferma che FindMyText fornisce una soluzione robusta e scalabile per il contenimento testuale, specificamente adattata per gli obblighi legali e di trasparenza (es. l'AI Act dell'UE).

Allineamento Legale: Gli autori sottolineano che lo strumento mira alla "similarità sostanziale" nel senso legale del termine — ovvero la riproduzione di un'espressione protetta — piuttosto che alla similarità semantica. Ciò lo rende adatto a identificare materiale protetto da copyright nei dataset di pre-addestramento.
Robustezza: Il metodo è esplicitamente progettato per gestire la realtà "rumorosa" dei dati web-crawled, dove i cambiamenti di formattazione e segmentazione possono oscurare le corrispondenze esatte.
Trasparenza: Consentendo la verifica della presenza di testi specifici (come libri protetti da copyright) in un corpus, lo strumento favorisce la cura dei dati e l'interpretabilità dei modelli senza richiedere l'accesso ai dati interni del provider dell'LLM o ai suoi modelli black-box.

Gli autori concludono che, sebbene il toolkit sia attualmente focalizzato sul rilevamento, il lavoro futuro include il rilascio di indici precompilati per i principali corpora pubblici come CommonCrawl.