Robust, Scalable Detection of Text Containment in Large Web-Crawled Corpora

Resumen Técnico: FindMyText

Planteamiento del Problema
El artículo aborda el desafío de la contención de texto: determinar si un texto de entrada específico (consulta $q$) aparece, ya sea de forma total o parcial, dentro de un gran corpus objetivo ($\mathcal{C}$). Esta tarea es crítica para verificar la composición de los datos de preentrenamiento de los Modelos de Lenguaje de Gran Escala (LLM), particularmente para evaluar la infracción de derechos de autor y las violaciones de licencias.

Los enfoques existentes enfrentan limitaciones significativas en este contexto:

• Coincidencia Exacta: Falla porque los corpus de preentrenamiento se someten a un preprocesamiento exhaustivo (OCR, eliminación de elementos de relleno, normalización, segmentación), lo que significa que el texto de la consulta rara vez coincide de forma literal con el texto del corpus.
• Alineación de Secuencias (ej. Smith-Waterman): Aunque es precisa para medir la similitud, estos algoritmos tienen una complejidad computacional cuadrática, lo que los hace inviables para escalar a conjuntos de datos de la web que contienen millones de documentos.
• Detección de Duplicados Cercanos (ej. similitud de Jaccard, MinHash, Recuperación Densa): Estos métodos suelen medir la similitud global o la proximidad semántica. Tienen dificultades para distinguir entre documentos que comparten un fragmento de texto específico y contiguo (contención) y aquellos que simplemente comparten vocabulario o ideas similares sin contener el mismo pasaje.
• Ataques de Inferencia de Membresía: Trabajos recientes sugieren que estos ataques contra LLMs de caja negra son poco fiables para modelos de producción diseñados para evitar la generación de contenido protegido por derechos de autor.

Metodología
FindMyText es un kit de herramientas de Python de código abierto diseñado para escalar a grandes conjuntos de datos manteniendo la robustez ante discrepancias de formato. El sistema opera en dos etapas:

1. Indexación (Preprocesamiento):

   • Winnowing (Esquilmado): El sistema extrae $k$-gramas (shingles) de los documentos y los convierte en hashes. Aplica un mecanismo de winnowing (Schleimer et al., 2003) para seleccionar huellas representativas. Al deslizar una ventana de tamaño $w$ y seleccionar el hash mínimo en cada ventana, el sistema reduce drásticamente el número de índices mientras garantiza que cualquier subcadena compartida de longitud $k+w-1$ produzca al menos una huella común.
   • Índice Invertido: Las huellas se almacenan en un índice invertido basado en disco y mapeado en memoria, que vincula cada hash con una lista de pares (doc_id, posición). Esto permite la recuperación eficiente de documentos que contienen huellas específicas.

2. Detección (Consulta):

   • Coincidencia de Huellas: Para una consulta $q$, el sistema extrae las huellas y recupera los documentos coincidentes del índice.
   • Identificación de Cadenas (Innovación Principal): A diferencia de los métodos estándar que simplemente cuentan las huellas compartidas, FindMyText identifica explícitamente cadenas de huellas coincidentes.
     • Mapea las huellas compartidas a un espacio 2D definido por la posición en la consulta ($p_q$) y el desplazamiento de posición ($\delta = p_d - p_q$) relativo al documento del corpus.
     • Los fragmentos de texto compartidos se manifiestan como grupos geométricamente coherentes en este espacio (un aumento lento de $p_q$ con un $\delta$ casi constante).
     • El sistema agrupa estos puntos utilizando umbrales para brechas de posición ($\tau_{pos}$) y variaciones de desplazamiento ($\tau_{off}$) para tolerar inserciones o eliminaciones menores.
     • Los grupos más pequeños que un tamaño mínimo ($\kappa$) son descartados.
   • Puntuación: La puntuación de contención se define como el tamaño del grupo de huellas más grande y válido, proporcionando una medida robusta de la longitud del texto compartido en lugar de solo la similitud.

Contribuciones Clave

1. Un Nuevo Método Basado en Cadenas: El artículo introduce un método para localizar fragmentos de texto compartidos mediante el agrupamiento de huellas basado en la coherencia posicional, distinguiendo la verdadera contención de la mera similitud.
2. Un Benchmark Sintético: Los autores construyeron un benchmark desafiante utilizando un "Oráculo" basado en el algoritmo Smith-Waterman. Este benchmark genera instancias "positivas" (textos con fragmentos compartidos sometidos a ediciones realistas de preprocesamiento) e instancias "negativas" (textos semánticamente similares sin fragmentos compartidos, creados mediante permutación y paráfrasis).
3. Validación Experimental: El kit de herramientas fue evaluado en tres corpus diversos: Wikipedia (1M de artículos), artículos de ArXiv y contenido web genérico (dataset HPLT, 50M+ de textos).

Resultados
Los experimentos compararon FindMyText contra BM25, recuperación densa (usando Qwen3-Embedding-4B) y un método simple de conteo de huellas compartidas.

• Desempeño: El enfoque basado en cadenas logró resultados casi perfectos, con puntuaciones AUC-ROC de 0.998 (Wikipedia), 0.991 (ArXiv) y 0.999 (HPLT).
• Fallo de los Baselines: Los métodos de referencia (BM25, recuperación densa y conteo simple de huellas) tuvieron un desempeño pobre (AUC-ROC a menudo < 0.60 o cerca del azar). Los baselines fallaron al distinguir entre documentos que eran semánticamente similares pero carecían de fragmentos de texto compartidos frente a aquellos que realmente contenían el texto de la consulta.
• Escalabilidad: El sistema demostró tiempos de consulta eficientes (10ms para Wikipedia, 450ms para el corpus HPLT de 50M de documentos) a pesar del enorme tamaño del índice, gracias al almacenamiento basado en disco y búsquedas vectorizadas.

Significancia y Reivindicaciones
El artículo afirma que FindMyText proporciona una solución robusta y escalable para la contención de texto diseñada específicamente para obligaciones legales y de transparencia (ej. la Ley de IA de la UE).

• Alineación Legal: Los autores enfatizan que la herramienta apunta a la "similitud sustancial" en el sentido legal —la reproducción de la expresión protegida— en lugar de la similitud semántica. Esto la hace adecuada para identificar material protegido por derechos de autor en conjuntos de datos de preentrenamiento.
• Robustez: El método está diseñado explícitamente para manejar la realidad "ruidosa" de los datos recolectados de la web, donde los cambios en el formato y la segmentación oscurecen las coincidencias exactas.
• Transparencia: Al permitir la verificación de si textos específicos (como libros protegidos por derechos de autor) están presentes en un corpus, la herramienta ayuda en la curación de datos y la interpretabilidad de los modelos sin requerir acceso a los datos internos del proveedor del LLM o a sus modelos de caja negra.

Los autores concluyen que, aunque el kit de herramientas se centra actualmente en la detección, el trabajo futuro incluye la publicación de índices precompilados para los principales corpus públicos como CommonCrawl.