🤖 AI

Efficient and Scalable Provenance Tracking for LLM-Generated Code Snippets

Este artículo presenta SOURCETRACKER y su pipeline híbrido de dos etapas, HYBRIDSOURCETRACKER, que combina la búsqueda vectorial con la huella dactilar clásica para permitir el rastreo de procedencia escalable y de alta precisión para el código generado por LLM mediante la identificación eficiente de posibles fuentes de entrenamiento dentro de corpus a escala de miles de millones.

Autores originales: Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli

Publicado 2026-05-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un chef que acaba de crear un delicioso plato nuevo. Quieres saber si tu receta fue inspirada por un libro de cocina específico, o si copiaste accidentalmente el trabajo de un chef famoso palabra por palabra. Ahora, imagina que, en lugar de un chef humano, el "cocinero" es una IA súper inteligente (un Modelo de Lenguaje Grande) que ha leído miles de millones de libros de cocina.

El problema es: si la IA copia una receta, a menudo cambia los nombres de los ingredientes (como sustituir "azúcar" por "edulcorante") o reorganiza los pasos ligeramente. Los métodos tradicionales de verificación de plagio son como un bibliotecario que tiene que leer cada página de cada libro de cocina del mundo para encontrar una coincidencia. Si la biblioteca tiene miles de millones de libros, este bibliotecario tardaría años en encontrar la respuesta.

Este artículo introduce un nuevo sistema súper rápido llamado SOURCETRACKER y un proceso de dos pasos llamado HYBRIDSOURCETRACKER (HST) para resolver este problema. Así es como funciona, usando analogías simples:

1. El Problema: La "Aguja en un Pajero de Mil Millones"

Los autores explican que los modelos de IA a veces "memorizan" partes de los datos en los que fueron entrenados. Cuando generan código, pueden arrojar un fragmento casi idéntico a un trozo de código de sus datos de entrenamiento, incluso si cambiaron algunos nombres de variables.

La Vieja Forma (Winnowing): Imagina intentar encontrar una oración específica en una biblioteca de miles de millones de libros leyendo cada libro de principio a fin. Es preciso, pero increíblemente lento. Si la biblioteca crece, el tiempo que toma crece con ella (tiempo lineal).
El Nuevo Desafío: Los conjuntos de datos de entrenamiento de la IA moderna son tan enormes (miles de millones de fragmentos) que el viejo método de "leer todo" es demasiado lento para ser útil.

2. La Solución: Un Equipo de Detectives de Dos Etapas

Los autores crearon un sistema híbrido que actúa como un equipo de detectives de dos etapas para encontrar la fuente original del código de manera rápida y precisa.

Etapa 1: El "Olfato Inteligente" (SOURCETRACKER)

Primero, construyeron un modelo de IA especializado llamado SOURCETRACKER. Piensa en esto como un perro altamente entrenado que puede oler un aroma específico.

En lugar de leer cada palabra, este modelo convierte un fragmento de código en un "perfil de aroma" (un vector matemático).
Utiliza una base de datos de alta tecnología (Qdrant) que actúa como un mapa súper rápido. En lugar de buscar en toda la biblioteca, el perro olfatea el aire y señala instantáneamente los 100 libros más probables que coinciden con el aroma.
Velocidad: Este paso es increíblemente rápido, tomando solo milisegundos incluso con miles de millones de libros, porque utiliza una búsqueda "logarítmica" (como encontrar un libro en una biblioteca revisando el índice, luego la estantería, luego el libro, en lugar de leer cada página).

Etapa 2: El "Perito Forense" (Winnowing)

Una vez que el "Olfato Inteligente" ha reducido la búsqueda a los 100 candidatos principales, entra en escena el segundo detective. Este es el algoritmo clásico Winnowing.

Piensa en esto como un perito forense que examina los 100 libros principales y verifica las huellas dactilares en las páginas.
Compara la estructura exacta del código para ver si es una coincidencia, incluso si algunas palabras fueron cambiadas.
Como solo tiene que revisar 100 libros en lugar de miles de millones, este paso también es muy rápido.

3. Los Resultados: Rápido y Preciso

El artículo probó este sistema en un conjunto de datos masivo de 10 millones de fragmentos de código. Esto es lo que encontraron:

Fragmentos Cortos: Si el fragmento de código es muy corto (como una sola oración), el "Olfato Inteligente" no es perfecto, y el viejo "Perito Forense" (Winnowing) sigue siendo mejor para encontrar la coincidencia exacta.
Fragmentos Más Largos: Si el fragmento de código es más largo (60 palabras o más), el Sistema Híbrido (HST) en realidad funciona mejor que el viejo método por sí solo. Encuentra la fuente correcta con más frecuencia mientras se mantiene súper rápido.
Las Coincidencias "Casi Correctas": Los autores también utilizaron otra IA para juzgar los resultados. Descubrieron que incluso cuando el sistema no encontraba el código original exacto (la "Verdad Terrena"), a menudo encontraba código que era muy similar. Esto es útil porque le dice al usuario: "Oye, este código parece provenir de esta familia de código, incluso si no es el original exacto".

4. Por Qué Esto Importa

El artículo argumenta que, para que el código generado por IA sea ético y legal, necesitamos saber de dónde proviene.

Transparencia: Este sistema ayuda a los usuarios a ver si su código generado por IA es simplemente una copia del trabajo de alguien más.
Escalabilidad: Demuestra que puedes verificar plagio en una biblioteca de miles de millones de libros en el tiempo que tarda en parpadear un ojo, en lugar de esperar años.

El Truco

Los autores son honestos sobre las limitaciones:

Necesitas la biblioteca: Para usar este sistema, debes tener acceso a los datos de entrenamiento originales (la biblioteca de libros). Si la IA fue entrenada con datos secretos que no puedes ver, no puedes rastrear la fuente.
Cambios creativos: Si la IA cambia el código demasiado (no solo renombrando variables, sino reescribiendo completamente la lógica), el sistema podría tener dificultades para encontrar la conexión.

En resumen: El artículo presenta un equipo de "Olfato Inteligente" + "Perito Forense" que puede escanear instantáneamente miles de millones de fragmentos de código para encontrar la fuente original del código generado por IA, equilibrando la velocidad con una alta precisión, especialmente para piezas de código más largas.

Resumen Técnico: Rastreo de Procedencia Eficiente y Escalable para Fragmentos de Código Generados por LLM

Enunciado del Problema
La proliferación de Modelos de Lenguaje Grandes (LLM) para la finalización y generación de código (por ejemplo, Codex, CodeLlama, StarCoder) ha introducido desafíos legales y éticos significativos en cuanto al plagio y el cumplimiento de licencias. Los LLM pueden "recitar" datos de entrenamiento, reproduciendo código de manera verbatim o con adaptaciones menores (por ejemplo, cambio de nombres de identificadores) sin atribución. Si bien las técnicas clásicas de huella digital como Winnowing (utilizado en el sistema MOSS) son efectivas para la detección de plagio, dependen de algoritmos de búsqueda de tiempo lineal. Este enfoque es computacionalmente impráctico para los corpus de pre-entrenamiento modernos, que a menudo superan miles de millones de muestras. Las soluciones escalables existentes, como la recuperación de n-gramas infinitos, ofrecen complejidad de tiempo logarítmica pero siguen siendo altamente sensibles al ruido y a la adaptación del código, fallando en detectar similitudes no verbatim comunes en las salidas de los LLM.

Metodología
Los autores proponen HYBRIDSOURCETRACKER (HST), una tubería de rastreo de procedencia híbrida de dos etapas diseñada para equilibrar la escalabilidad con una alta precisión de detección. El sistema integra la recuperación de bases de datos vectoriales con la huella digital tradicional:

SOURCETRACKER (Etapa 1): Un codificador bidireccional de 300 millones de parámetros, ajustado finamente utilizando la pérdida de Pre-entrenamiento Contrastivo de Lenguaje e Imagen (CLIP). El modelo se entrena para alinear las representaciones vectoriales de pequeños fragmentos de código con sus fragmentos de fuente completos correspondientes. Utiliza un conjunto de datos de 10 millones de fragmentos de código de THESTACKV2. Durante el entrenamiento, el modelo se expone tanto a copias literales (clones Tipo 1) como a fragmentos "adaptados" donde los identificadores frecuentes se reemplazan probabilísticamente con cadenas aleatorias (clones Tipo 2) para simular la adaptación de dominio.
- Recuperación: En la inferencia, un fragmento de código se codifica y consulta contra una base de datos vectorial Qdrant (utilizando indexación HNSW) para recuperar los 100 fragmentos candidatos más similares. Esta etapa opera con complejidad de tiempo logarítmica ( $O(\log N)$ ) en relación con el tamaño del conjunto de datos.
Reordenamiento con Winnowing (Etapa 2): Los 100 mejores candidatos recuperados por SOURCETRACKER se someten al algoritmo Winnowing. Esta etapa genera huellas digitales sintácticas (hashes) para los candidatos y el fragmento de consulta, reordenándolos basándose en la similitud de Jaccard exacta de sus conjuntos de huellas digitales. Al limitar el proceso de Winnowing a un conjunto de candidatos de tamaño fijo (100 elementos), el sistema general mantiene la complejidad de tiempo logarítmica mientras aprovecha la resistencia al ruido de la huella digital.

Contribuciones Clave

Modelo SOURCETRACKER: El lanzamiento de un codificador de 300 millones de parámetros ajustado finamente específicamente para recuperar fragmentos de código completos a partir de fragmentos pequeños, capaz de manejar tanto código literal como adaptado.
Tubería HST: La introducción de una metodología híbrida que combina secuencialmente la búsqueda vectorial y Winnowing. Este enfoque proporciona garantías teóricas de complejidad de tiempo de búsqueda logarítmica mientras logra un rendimiento de detección comparable o superior a los métodos tradicionales de huella digital.
Marco de Evaluación Dual: El artículo emplea una estrategia de evaluación dual:
- Métricas de Verdad Terrenal: Utilizando Recall@N y Recíproco Medio de Rango (MRR) contra un subconjunto conocido de THESTACKV2.
- Juez Basado en LLM: Utilizando un LLM (Qwen3 Coder) para evaluar la similitud semántica de los fragmentos recuperados que no eran verdad terrenal, reconociendo que los "errores" en la recuperación estricta pueden seguir representando fuentes relevantes de inspiración.

Resultados
El sistema se evaluó en un subconjunto de 10 millones de fragmentos de THESTACKV2, con espacios de búsqueda que van desde 1.000 hasta 100.000 muestras.

Rendimiento vs. Tamaño de Ventana: Para fragmentos pequeños (≤30 tokens), Winnowing por sí solo sigue siendo altamente efectivo. Sin embargo, para tamaños de ventana ≥60 tokens, HST y SOURCETRACKER superan consistentemente a Winnowing por sí solo, mostrando HST una mejora de hasta un 5,4% en el Recíproco Medio de Rango (MRR).
Escalabilidad: Mientras que Winnowing exhibe complejidad de tiempo lineal, creando un cuello de botella para grandes conjuntos de datos, HST mantiene una complejidad logarítmica. Los resultados extrapolados sugieren que las latencias de consulta permanecen en el rango de milisegundos incluso para conjuntos de datos que contienen miles de millones de muestras.
Robustez: El enfoque híbrido demuestra resistencia al cambio de nombres de identificadores (clones Tipo 2). La evaluación basada en juez LLM reveló que incluso cuando el sistema falla en recuperar la fuente "dorada" exacta, a menudo recupera fragmentos con alta similitud semántica (con puntuaciones de 2,0 a 2,6 en una escala de 5 puntos para ventanas más grandes), lo que sugiere que el sistema identifica influencias relevantes incluso cuando las coincidencias exactas están oscurecidas.
Comparación con OLMOTRACE: Los autores encontraron que, aunque OLMOTRACE (un enfoque basado en arrays de sufijos) es eficiente, lucha con ventanas de contexto mayores de 15 tokens, fallando en capturar similitudes contextuales que HST identifica con éxito.

Significado y Afirmaciones
El artículo afirma que integrar la búsqueda vectorial con la huella digital permite un rastreo de procedencia escalable y de alta precisión para el código producido por LLM. Los autores argumentan que este enfoque aborda la necesidad crítica de transparencia y atribución ética en el desarrollo de software.

Sin embargo, los autores permanecen modestos en cuanto a las limitaciones y las implicaciones más amplias:

Dependencia de los Datos de Entrenamiento: La aplicabilidad del sistema depende de la disponibilidad del conjunto de datos de entrenamiento específico utilizado para generar el código.
Naturaleza de los "Errores": El artículo destaca que los fragmentos recuperados que no están etiquetados como verdad terrenal pueden seguir siendo muy similares a la fuente, lo que sugiere que la evaluación estricta de la verdad terrenal podría subestimar la utilidad del sistema para los usuarios finales que buscan fuentes de inspiración.
Llamado a la Transparencia: Los autores concluyen que confiar únicamente en las tendencias de memorización interna de los LLM es precario. Abogan por la publicación de conjuntos de datos de entrenamiento y sus fuentes subyacentes como un requisito de facto para habilitar un rastreo de procedencia efectivo y la atribución de autoría.