Robust, Scalable Detection of Text Containment in Large Web-Crawled Corpora

Resumo Técnico: FindMyText

Definição do Problema
O artigo aborda o desafio da contenção de texto: determinar se um texto de entrada específico (consulta $q$) aparece, total ou parcialmente, dentro de um grande corpus alvo ($\mathcal{C}$). Esta tarefa é crítica para verificar a composição dos dados de pré-treinamento de Grandes Modelos de Linguagem (LLMs), particularmente para avaliar infrações de direitos autorais e violações de licenciamento.

As abordagens existentes enfrentam limitações significativas neste contexto:

• Correspondência Exata: Falha porque os corpora de pré-treinamento passam por um extenso pré-processamento (OCR, remoção de boilerplate, normalização, segmentação), o que significa que o texto da consulta raramente corresponde ao texto do corpus de forma verbatim.
• Alinhamento de Sequências (ex: Smith-Waterman): Embora sejam precisos para medir a similaridade, esses algoritmos possuem uma complexidade computacional quadrática, tornando-os inviáveis para escalar para conjuntos de dados varridos da web que contêm milhões de documentos.
• Detecção de Duplicatas Próximas (ex: similaridade de Jaccard, MinHash, Recuperação Densa): Estes métodos frequentemente medem a similaridade global ou a proximidade semântica. Eles têm dificuldade em distinguir entre documentos que compartilham um fragmento de texto específico e contíguo (contenção) e aqueles que meramente compartilham vocabulário ou ideias semelhantes sem conter a mesma passagem.
• Ataques de Inferência de Membro: Trabalhos recentes sugerem que esses ataques em modelos de caixa-preta (black-box) são pouco confiáveis para modelos de produção projetados para evitar a geração de conteúdo protegido por direitos autorais.

Metodologia
O FindMyText é um toolkit de Python de código aberto projetado para escalar para grandes conjuntos de dados, mantendo-se robusto a discrepâncias de formatação. O sistema opera em duas etapas:

1. Indexação (Pré-processamento):

   • Winnowing: O sistema extrai $k$-gramas (shingles) dos documentos e os converte em hashes. Ele aplica um mecanismo de winnowing (Schleimer et al., 2003) para selecionar impressões digitais (fingerprints) representativas. Ao deslizar uma janela de tamanho $w$ e selecionar o hash mínimo em cada janela, o sistema reduz drasticamente o número de índices, garantindo que qualquer substring compartilhada de comprimento $k+w-1$ resulte em pelo menos uma impressão digital comum.
   • Índice Invertido: As impressões digitais são armazenadas em um índice invertido baseado em disco e mapeamento de memória, associando cada hash a uma lista de pares (doc_id, posição). Isso permite a recuperação eficiente de documentos que contêm impressões digitais específicas.

2. Detecção (Consulta):

   • Correspondência de Impressão Digital: Para uma consulta $q$, o sistema extrai as impressões digitais e recupera os documentos correspondentes no índice.
   • Identificação de Cadeias (Inovação Central): Diferente dos métodos padrão que apenas contam impressões digitais compartilhadas, o FindMyText identifica explicitamente cadeias de impressões digitais correspondentes.
     • Ele mapeia as impressões digitais compartilhadas para um espaço 2D definido pela posição na consulta ($p_q$) e pelo deslocamento de posição ($\delta = p_d - p_q$) relativo ao documento do corpus.
     • Fragmentos de texto compartilhados manifestam-se como clusters geometricamente coerentes neste espaço (aumento lento de $p_q$ com um $\delta$ quase constante).
     • O sistema agrupa esses pontos usando limiares para lacunas de posição ($\tau_{pos}$) e variações de deslocamento ($\tau_{off}$) para tolerar inserções ou deleções menores.
     • Clusters menores que um tamanho mínimo ($\kappa$) são descartados.
   • Pontuação: A pontuação de contenção é definida pelo tamanho do maior cluster de impressões digitais válido, fornecendo uma medida robusta do comprimento de texto compartilhado em vez de apenas similaridade.

Principais Contribuições

1. Um Novo Método Baseado em Cadeias: O artigo introduz um método para localizar fragmentos de texto compartilhados através do agrupamento de impressões digitais baseadas em coerência posicional, distinguindo a verdadeira contenção de mera similaridade.
2. Um Benchmark Sintético: Os autores construíram um benchmark desafiador usando um "Oráculo" baseado no algoritmo Smith-Waterman. Este benchmark gera instâncias "positivas" (textos com fragmentos compartilhados sujeitos a edições realistas de pré-processamento) e instâncias "negativas" (textos semanticamente similares sem fragmentos compartilhados, criados via permutação e paráfrase).
3. Validação Experimental: O toolkit foi avaliado em três corpora diversos: Wikipedia (1M de artigos), artigos da ArXiv e conteúdo web genérico (dataset HPLT com mais de 50M de textos).

Resultos
Experimentos compararam o FindMyText contra BM25, recuperação densa (usando Qwen3-Embedding-4B) e um método simples de contagem de impressões digitais compartilhadas.

• Desempenho: A abordagem baseada em cadeias alcançou resultados quase perfeitos, com pontuações AUC-ROC de 0.998 (Wikipedia), 0.991 (ArXiv) e 0.999 (HPLT).
• Falha das Linhas de Base (Baselines): Os métodos de linha de base (BM25, recuperação densa e contagem simples de impressões digitais) tiveram um desempenho insatisfatório (AUC-ROC frequentemente < 0.60 ou próximo ao acaso). As linhas de base falharam em distinguir documentos que eram semanticamente similares, mas careciam de fragmentos de texto compartilhados, daqueles que realmente continham o texto da consulta.
• Escalabilidade: O sistema demonstrou tempos de consulta eficientes (10ms para Wikipedia, 450ms para o corpus HPLT de 50M de documentos), apesar do tamanho massivo do índice, graças ao armazenamento baseado em disco e buscas vetorizadas.

Significância e Alegações
O artigo afirma que o FindMyText fornece uma solução robusta e escalável para a contenção de texto, especificamente adaptada para obrigações legais e de transparência (ex: Lei de IA da UE).

• Alinhamento Legal: Os autores enfatizam que a ferramenta visa a "similaridade substancial" no sentido jurídico — a reprodução de expressão protegida — em vez da similaridade semântica. Isso a torna adequada para identificar material protegido por direitos autorais em conjuntos de dados de pré-treinamento.
• Robustez: O método é explicitamente projetado para lidar com a realidade "ruidosa" dos dados varridos da web, onde mudanças de formatação e segmentação obscurecem correspondências exatas.
• Transparência: Ao permitir a verificação de se textos específicos (como livros protegidos por direitos autorais) estão presentes em um corpus, a ferramenta auxilia na curadoria de dados e na interpretabilidade de modelos sem exigir acesso aos dados internos do provedor de LLM ou aos seus modelos de caixa-preta.

Os autores concluem que, embora o toolkit esteja atualmente focado em detecção, o trabalho futuro inclui o lançamento de índices pré-compilados para os principais corpora públicos, como o CommonCrawl.