Detection of LLM-assisted Code Plagiarism Using k-gram Software Birthmarks

Resumen Técnico: Detección de plagio de código asistido por LLM mediante marcas de nacimiento de software de k-gramas

Planteamiento del problema
El rápido avance de los Modelos de Lenguaje Extensos (LLM) ha reducido la barrera técnica para el plagio de software. A diferencia del plagio tradicional que implica la copia directa de código, las amenazas modernas involucran el "parafraseo de código", donde un LLM reescribe el código fuente existente para preservar la funcionalidad mientras altera significativamente la sintaxis, la estructura, los identificadores y el formato. Esta capacidad permite a los atacantes generar programas semánticamente idénticos que evaden las técnicas tradicionales de detección de similitud de código fuente. Además, el plagio en el mundo real suele implicar la redistribución de artefactos ejecutables en lugar de código fuente, lo que hace que los métodos de detección basados en el código fuente sean ineficaces. El artículo aborda la pregunta crítica de si las marcas de nacimiento de software (software birthmarks) —características extraídas de archivos ejecutables— siguen siendo efectivas contra el parafraseo de código asistido por LLM.

Metodología
El estudio emplea marcas de nacimiento de software de k-gramas, una técnica que representa un programa como un conjunto de secuencias contiguas únicas de $k$ instrucciones de bytecode de Java (opcodes). El diseño experimental involucra los siguientes componentes:

• Conjunto de datos: Los investigadores curaron un conjunto de datos a partir de proyectos Java mantenidos activamente con licencia BSD-2-Clause en GitHub. Filtraron archivos de fuente individualmente compilables con un Recuento de Líneas Lógicas (LLC) entre 30 y 1,000 para asegurar la detección de plagio a nivel de módulo. El conjunto de datos final consistió en 352 archivos fuente.
• Modelos LLM: Se utilizaron tres modelos contemporáneos para generar versiones parafraseadas de los archivos fuente:
  • ChatGPT-5.1-Codex-Mini (OpenAI)
  • DeepSeek-V4-Flash (DeepSeek)
  • Claude-Haiku-4.5 (Anthropic)
  • Estrategia de prompting: Se instruyó explícitamente a los modelos para que modificaran la sintaxis, el formato y la estructura, preservando la funcionalidad y asegurando que la salida fuera compilable sin nuevas dependencias.
• Extracción de marcas de nacimiento: Para cada archivo, se utilizaron el compilador de Java y la herramienta javap para extraer el bytecode, el cual fue luego convertido en secuencias de opcodes. Se generaron k-gramas únicos para valores de $k$ que van desde 1 hasta 6.
• Medidas de similitud: Se evaluaron cinco funciones de similitud para comparar las marcas de nacimiento:
  • Basadas en vectores: Similitud de coseno (Recuento y TF-IDF).
  • Basadas en conjuntos: Índice de Dice, coeficiente de Jaccard e índice de Simpson.
  • Basadas en secuencias: Distancia de edición (distancia de Levenshtein).
• Métricas de evaluación: El rendimiento se midió utilizando la media armónica (Hmean) de Resiliencia (capacidad de detectar código plagiado) y Credibilidad (capacidad de distinguir código independiente).

Contribuciones clave

1. Investigación empírica: El artículo proporciona la primera evaluación empírica de las marcas de nacimiento de software de k-gramas específicamente contra clones de código generados por LLM mediante parafraseo.
2. Análisis comparativo: Compara sistemáticamente la efectividad de diferentes configuraciones de $k$-gramas ($k=1$ a $6$) y múltiples funciones de similitud en el contexto del plagio moderno asistido por IA.
3. Perspectivas específicas del modelo: El estudio analiza la dificultad relativa de detectar el plagio generado por diferentes LLM, destacando las variaciones en sus capacidades de transformación de código.

Resultados experimentales

• Impacto de $k$ (RQ1): El rendimiento de la detección depende altamente de la elección de $k$.
  • 1-grama: Funcionó pobremente debido a la información estructural insuficiente, lo que llevó a una baja credibilidad.
  • 2-grama: Logró el mayor rendimiento promedio (Hmean = 0.830), ofreciendo el mejor equilibrio entre resiliencia y descriptividad.
  • 3-grama: Funcionó cerca del 2-grama (Hmean = 0.822).
  • 4-6-gramas: El rendimiento disminuyó gradualmente a medida que los valores de $k$ más grandes se volvieron demasiado sensibles a las modificaciones estructurales introducidas por los LLM.
• Impacto de las funciones de similitud (RQ2):
  • Los métodos basados en conjuntos (Dice, Simpson, Jaccard) superaron significativamente a otros enfoques. El índice de Dice logró el mayor Hmean promedio (0.946).
  • La distancia de edición (basada en secuencias) funcionó pobremente (Hmean = 0.276) porque el parafraseo de código altera frecuentemente el orden de las instrucciones, haciendo ineficaces las comparaciones basadas en secuencias.
  • La similitud de coseno (tanto de Recuento como de TF-IDF) arrojó resultados sólidos pero fueron generalmente ligeramente inferiores al índice de Dice.
• Impacto de la selección del LLM (RQ3):
  • ChatGPT-5.1-Codex-Mini generó los clones más difíciles de detectar (el Hmean promedio más bajo de 0.8603), lo que sugiere que realiza transformaciones más extensas manteniendo la compilabilidad.
  • Claude-Haiku-4.5 (Hmean = 0.9322) y DeepSeek-V4-Flash (Hmean = 0.9258) produjeron código parafraseado que fue comparativamente más fácil de detectar.
  • Notablemente, el modelo que generó el código más difícil de detectar (ChatGPT) también tuvo el menor número de errores de compilación, lo que indica altas capacidades de transformación de calidad.

Significancia y afirmaciones
El artículo afirma que las marcas de nacimiento de software de k-gramas siguen siendo efectivas para detectar el plagio asistido por LLM, siempre que se seleccionen las configuraciones apropiadas. Específicamente, los autores concluyen que:

• Las secuencias cortas de opcodes (específicamente $k=2$) proporcionan un compromiso óptimo entre la resiliencia ante las transformaciones y la capacidad de distinguir software independiente.
• Las medidas de similitud basadas en conjuntos (particularmente el índice de Dice) son superiores a las medidas basadas en secuencias para esta tarea, ya que se centran en la presencia de elementos compartidos en lugar de su orden, el cual es fácilmente alterado por el parafraseo.
• La elección del LLM impacta significativamente la detectabilidad, lo que implica que los futuros sistemas de detección deben tener en cuenta las diversas capacidades de transformación de los diferentes modelos.

Los autores mantienen una postura modesta, señalando que, aunque sus hallazgos son robustos dentro del contexto de los proyectos Java con licencia BSD-2-Clause, la generalización a otras licencias o estrategias de plagio más complejas requiere mayor investigación. Enfatizan que su trabajo proporciona una base para la detección de plagio basada en ejecutables en una era donde la similitud del código fuente ya no es un indicador fiable de robo.