🤖 AI

Efficient and Scalable Provenance Tracking for LLM-Generated Code Snippets

Este artigo apresenta o SOURCETRACKER e seu pipeline híbrido em duas etapas, o HYBRIDSOURCETRACKER, que combina busca vetorial com impressão digital clássica para permitir o rastreamento escalável e de alta precisão da proveniência de código gerado por LLMs, identificando eficientemente fontes de treinamento potenciais em corpora na escala de bilhões.

Autores originais: Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli

Publicado 2026-05-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um chef que acabou de criar um prato novo e delicioso. Você quer saber se sua receita foi inspirada em um livro de receitas específico ou se você acidentalmente copiou o trabalho de um chef famoso palavra por palavra. Agora, imagine que, em vez de um chef humano, o "cozinheiro" é uma IA superinteligente (um Modelo de Linguagem de Grande Escala) que leu bilhões de livros de receitas.

O problema é: se a IA copiar uma receita, ela frequentemente altera os nomes dos ingredientes (como trocar "açúcar" por "adoçante") ou rearranja as etapas ligeiramente. Os métodos tradicionais de verificação de plágio são como um bibliotecário que precisa ler cada página de cada livro de receitas do mundo para encontrar uma correspondência. Se a biblioteca tiver bilhões de livros, esse bibliotecário levaria anos para encontrar a resposta.

Este artigo apresenta um novo sistema super-rápido chamado SOURCETRACKER e um processo de duas etapas chamado HYBRIDSOURCETRACKER (HST) para resolver esse problema. Veja como funciona, usando analogias simples:

1. O Problema: A "Agulha em um Palheiro de Bilhões"

Os autores explicam que os modelos de IA às vezes "memorizam" partes dos dados em que foram treinados. Quando geram código, podem produzir um trecho quase idêntico a um pedaço de código de seus dados de treinamento, mesmo que tenham alterado alguns nomes de variáveis.

O Jeito Antigo (Winnowing): Imagine tentar encontrar uma frase específica em uma biblioteca de bilhões de livros lendo cada livro do início ao fim. É preciso, mas incrivelmente lento. Se a biblioteca crescer, o tempo necessário cresce junto (tempo linear).
O Novo Desafio: Os conjuntos de treinamento de IA modernos são tão enormes (bilhões de trechos) que o antigo método de "ler tudo" é lento demais para ser útil.

2. A Solução: Uma Equipe de Detetives em Duas Etapas

Os autores criaram um sistema híbrido que atua como uma equipe de detetives em duas etapas para encontrar a fonte original do código de forma rápida e precisa.

Etapa 1: O "Furão Inteligente" (SOURCETRACKER)

Primeiro, eles construíram um modelo de IA especializado chamado SOURCETRACKER. Pense nisso como um cão altamente treinado que consegue cheirar um aroma específico.

Em vez de ler cada palavra, este modelo transforma um trecho de código em um "perfil de aroma" (um vetor matemático).
Ele usa um banco de dados de alta tecnologia (Qdrant) que atua como um mapa super-rápido. Em vez de vasculhar toda a biblioteca, o cão fareja o ar e aponta instantaneamente para os 100 livros mais prováveis que correspondem ao aroma.
Velocidade: Esta etapa é incrivelmente rápida, levando apenas milissegundos mesmo com bilhões de livros, porque usa uma busca "logarítmica" (como encontrar um livro em uma biblioteca verificando o índice, depois a prateleira, depois o livro, em vez de ler cada página).

Etapa 2: O "Perito Forense" (Winnowing)

Uma vez que o "Furão Inteligente" reduziu a lista para os 100 principais candidatos, o segundo detetive entra em ação. Este é o algoritmo clássico Winnowing.

Pense nisso como um perito forense que examina os 100 livros principais e verifica as impressões digitais nas páginas.
Ele compara a estrutura exata do código para ver se há correspondência, mesmo que algumas palavras tenham sido alteradas.
Como só precisa verificar 100 livros em vez de bilhões, esta etapa também é muito rápida.

3. Os Resultados: Rápido e Preciso

O artigo testou este sistema em um conjunto massivo de dados com 10 milhões de trechos de código. Eis o que descobriram:

Fragmentos Curtos: Se o trecho de código for muito curto (como uma única frase), o "Furão Inteligente" não é perfeito, e o antigo "Perito Forense" (Winnowing) ainda é melhor para encontrar a correspondência exata.
Fragmentos Mais Longos: Se o trecho de código for mais longo (60 palavras ou mais), o Sistema Híbrido (HST) na verdade performa melhor do que o antigo método sozinho. Ele encontra a fonte correta com mais frequência, mantendo-se super-rápido.
Correspondências "Quase Certas": Os autores também usaram outra IA para julgar os resultados. Descobriram que, mesmo quando o sistema não encontrava o código original exato (a "Verdade Terrena"), frequentemente encontrava código muito similar. Isso é útil porque diz ao usuário: "Ei, este código parece ter vindo desta família de códigos, mesmo que não seja o original exato."

4. Por Que Isso Importa

O artigo argumenta que, para que o código gerado por IA seja ético e legal, precisamos saber de onde ele veio.

Transparência: Este sistema ajuda os usuários a ver se seu código gerado por IA é apenas uma cópia do trabalho de outra pessoa.
Escalabilidade: Ele prova que é possível verificar plágio em uma biblioteca de bilhões de livros no tempo que leva para piscar, em vez de esperar anos.

A Pegadinha

Os autores são honestos sobre as limitações:

Você precisa da biblioteca: Para usar este sistema, você deve ter acesso aos dados de treinamento originais (a biblioteca de livros). Se a IA foi treinada em dados secretos que você não pode ver, não é possível rastrear a fonte.
Mudanças criativas: Se a IA alterar o código demais (não apenas renomeando variáveis, mas reescrevendo completamente a lógica), o sistema pode ter dificuldade em encontrar a conexão.

Em resumo: O artigo apresenta uma equipe "Furão Inteligente" + "Perito Forense" que pode escanear instantaneamente bilhões de trechos de código para encontrar a fonte original do código gerado por IA, equilibrando velocidade com alta precisão, especialmente para peças de código mais longas.

Resumo Técnico: Rastreamento de Proveniência Eficiente e Escalável para Trechos de Código Gerados por LLMs

Declaração do Problema
A proliferação de Modelos de Linguagem de Grande Escala (LLMs) para conclusão e geração de código (por exemplo, Codex, CodeLlama, StarCoder) introduziu desafios legais e éticos significativos relacionados ao plágio e à conformidade com licenças. Os LLMs podem "recitar" dados de treinamento, reproduzindo código de forma verbatim ou com adaptações mínimas (por exemplo, renomeação de identificadores) sem atribuição. Embora técnicas clássicas de impressão digital, como Winnowing (utilizada no sistema MOSS), sejam eficazes para detecção de plágio, elas dependem de algoritmos de busca de tempo linear. Essa abordagem é computacionalmente impraticável para corpora de pré-treinamento modernos, que frequentemente excedem bilhões de amostras. Soluções escaláveis existentes, como a recuperação de infinity-gram, oferecem complexidade de tempo logarítmica, mas permanecem altamente sensíveis a ruídos e adaptações de código, falhando em detectar similaridades não verbatim comuns nas saídas de LLMs.

Metodologia
Os autores propõem o HYBRIDSOURCETRACKER (HST), um pipeline híbrido de rastreamento de proveniência em duas etapas projetado para equilibrar escalabilidade com alta precisão de detecção. O sistema integra recuperação de banco de dados vetorial com impressão digital tradicional:

SOURCETRACKER (Etapa 1): Um codificador bidirecional de 300M de parâmetros, ajustado finamente utilizando a perda de Pré-treinamento Contrastivo de Linguagem e Imagem (CLIP). O modelo é treinado para alinhar as representações vetoriais de pequenos fragmentos de código com seus trechos de origem completos correspondentes. Ele utiliza um conjunto de dados de 10 milhões de trechos de código do THESTACKV2. Durante o treinamento, o modelo é exposto tanto a cópias verbatim (clones Tipo 1) quanto a fragmentos "adaptados", onde identificadores frequentes são probabilisticamente substituídos por strings aleatórias (clones Tipo 2) para simular adaptação de domínio.
- Recuperação: Na inferência, um fragmento de código é codificado e consultado contra um banco de dados vetorial Qdrant (usando indexação HNSW) para recuperar os 100 trechos candidatos mais similares. Esta etapa opera com complexidade de tempo logarítmica ( $O(\log N)$ ) em relação ao tamanho do conjunto de dados.
Reclassificação por Winnowing (Etapa 2): Os 100 principais candidatos recuperados pelo SOURCETRACKER são submetidos ao algoritmo Winnowing. Esta etapa gera impressões digitais sintáticas (hashes) para os candidatos e o fragmento de consulta, reclassificando-os com base na similaridade exata de Jaccard de seus conjuntos de impressões digitais. Ao limitar o processo de Winnowing a um conjunto de candidatos de tamanho fixo (100 itens), o sistema geral mantém complexidade de tempo logarítmica, aproveitando a resiliência ao ruído da impressão digital.

Principais Contribuições

Modelo SOURCETRACKER: O lançamento de um codificador de 300M de parâmetros especificamente ajustado finamente para recuperar trechos completos de código a partir de pequenos fragmentos, capaz de lidar com código verbatim e adaptado.
Pipeline HST: A introdução de uma metodologia híbrida que combina sequencialmente busca vetorial e Winnowing. Esta abordagem fornece garantias teóricas de complexidade de tempo de busca logarítmica, enquanto alcança desempenho de detecção comparável ou superior aos métodos tradicionais de impressão digital.
Framework de Avaliação Dupla: O artigo emprega uma estratégia de avaliação dupla:
- Métricas de Verdade Terrena: Utilizando Recall@N e Reciprocidade Média de Rank (MRR) contra um subconjunto conhecido do THESTACKV2.
- Juiz Baseado em LLM: Utilizando um LLM (Qwen3 Coder) para avaliar a similaridade semântica dos trechos recuperados que não eram verdadeiros terrenos, reconhecendo que "erros" na recuperação estrita podem ainda representar fontes relevantes de inspiração.

Resultados
O sistema foi avaliado em um subconjunto de 10 milhões de trechos do THESTACKV2, com espaços de busca variando de 1.000 a 100.000 amostras.

Desempenho vs. Tamanho da Janela: Para fragmentos pequenos (≤30 tokens), o Winnowing sozinho permanece altamente eficaz. No entanto, para tamanhos de janela ≥60 tokens, o HST e o SOURCETRACKER superam consistentemente o Winnowing sozinho, com o HST mostrando até 5,4% de melhoria na Reciprocidade Média de Rank (MRR).
Escalabilidade: Enquanto o Winnowing exibe complexidade de tempo linear, criando um gargalo para grandes conjuntos de dados, o HST mantém complexidade logarítmica. Resultados extrapolados sugerem que as latências de consulta permanecem na faixa de milissegundos, mesmo para conjuntos de dados contendo bilhões de amostras.
Robustez: A abordagem híbrida demonstra resiliência à renomeação de identificadores (clones Tipo 2). A avaliação baseada em juiz LLM revelou que, mesmo quando o sistema falha em recuperar a fonte "dourada" exata, ele frequentemente recupera trechos com alta similaridade semântica (pontuando 2,0–2,6 em uma escala de 5 pontos para janelas maiores), sugerindo que o sistema identifica influências relevantes mesmo quando correspondências exatas estão obscurecidas.
Comparação com OLMOTRACE: Os autores constataram que, embora o OLMOTRACE (uma abordagem baseada em array de sufixos) seja eficiente, ele luta com janelas de contexto maiores que 15 tokens, falhando em capturar similaridades contextuais que o HST identifica com sucesso.

Significado e Alegações
O artigo alega que integrar busca vetorial com impressão digital permite rastreamento de proveniência escalável e de alta precisão para código produzido por LLMs. Os autores argumentam que essa abordagem aborda a necessidade crítica de transparência e atribuição ética no desenvolvimento de software.

No entanto, os autores permanecem modestos quanto às limitações e implicações mais amplas:

Dependência de Dados de Treinamento: A aplicabilidade do sistema é contingente à disponibilidade do conjunto de dados de treinamento específico usado para gerar o código.
Natureza dos "Erros": O artigo destaca que trechos recuperados não rotulados como verdadeiros terrenos podem ainda ser altamente similares à fonte, sugerindo que a avaliação estrita de verdade terrena pode subestimar a utilidade do sistema para usuários finais que buscam fontes de inspiração.
Chamado por Transparência: Os autores concluem que confiar apenas nas tendências de memorização interna dos LLMs é precário. Eles defendem o lançamento de conjuntos de dados de treinamento e suas fontes subjacentes como um requisito de facto para permitir rastreamento de proveniência eficaz e atribuição de autoria.