PuzzleMark: Implicit Jigsaw Learning for Robust Code Dataset Watermarking in Neural Code Completion Models

Aquí se presenta un resumen técnico detallado del artículo "PuzzleMark: Aprendizaje implícito de rompecabezas para el marcaje de agua robusto en conjuntos de datos de código en modelos de completado de código neuronal."

1. Planteamiento del Problema

Los conjuntos de datos de código de alta calidad son propiedad intelectual (PI) valiosa que requiere recursos significativos para su curación. Sin embargo, enfrentan riesgos severos de uso no autorizado por parte de atacantes que entrenan Modelos de Completado de Código Neuronal (NCCM). Aunque el marcaje de agua digital ofrece un mecanismo post-hoc para la verificación de propiedad, los métodos existentes para conjuntos de datos de código adolecen de dos fallas críticas:

• Selección frágil del portador: Trabajos anteriores (por ejemplo, CoProtector, CodeMark) a menudo seleccionan portadores de marcaje de agua (fragmentos de código) de forma aleatoria o basándose en restricciones rígidas (por ejemplo, Transformaciones que Preservan la Semántica). Esto ignora la "naturalidad" inherente del código. Los fragmentos de código complejos o poco naturales seleccionados como portadores son fácilmente señalados por herramientas de detección automatizada (como DeCoMa o KillBadCode) incluso antes del marcaje de agua, lo que conduce a altos riesgos de exposición.
• Patrones de marcaje de agua vulnerables: Los métodos existentes dependen de patrones de co-ocurrencia (pares fijos de disparador-objetivo). Investigaciones recientes (DeCoMa) han demostrado que estos patrones crean valores atípicos de alta frecuencia que son fácilmente detectados y eliminados, resultando en tasas de detección cercanas al 100% y una robustez insignificante frente a ataques de eliminación.

2. Metodología: PuzzleMark

PuzzleMark introduce un marco de marcaje de agua robusto que consta de tres fases principales: Selección del Portador, Incrustación del Marcaje de Agua y Validación del Modelo.

A. Selección del Portador de Marcaje de Agua (Evitando la Exposición)

En lugar de una selección aleatoria, PuzzleMark evalúa la idoneidad de los fragmentos de código para servir como portadores basándose en su probabilidad de ser detectados como "sospechosos".

• Extracción de Características: Extrae 10 características de complejidad (5 estructurales: por ejemplo, complejidad ciclomática, NLOC; 5 semánticas: por ejemplo, llamadas a funciones únicas, diversidad de expresiones) del Árbol de Sintaxis Abstrata (AST).
• Proyección de Características: Utilizando un mecanismo inspirado en el Análisis de Componentes Principales (PCA), proyecta estas características sobre una dirección de componente principal para generar una puntuación de idoneidad.
• Filtrado: Los fragmentos de código con puntuaciones de idoneidad bajas (problemas de alta complejidad/naturalidad) se filtran. Solo los fragmentos con puntuaciones de idoneidad altas (bajo riesgo de detección) se seleccionan como candidatos para la incrustación.

B. Incrustación del Marcaje de Agua (El Patrón de "Rompecabezas")

PuzzleMark reemplaza el patrón de co-ocurrencia tradicional con un novedoso patrón de concatenación, funcionando como un "rompecabezas" donde las piezas encajan dinámicamente.

• Mecanismo: Incrusta marcas de agua concatenando dos nombres de variables dentro del código (por ejemplo, prefijo + sufijo $\rightarrow$ prefijo_sufijo).
• Dos Estrategias:
  1. Estrategia de Disparador Fijo: Utiliza un nombre de variable definido por el usuario (por ejemplo, clave) como prefijo fijo. El sufijo se selecciona adaptativamente del código, y el objetivo es el resultado concatenado.
  2. Estrategia de Marcaje de Agua Universal: Para evitar que los atacantes identifiquen un disparador fijo, el prefijo también es adaptativo (por ejemplo, la primera variable en el código). Esto hace que el disparador sea dinámico y más difícil de detectar mediante expresiones regulares o coincidencia de patrones.
• Perturbación Adaptativa: El método prioriza la incrustación en código donde el prefijo disparador ya existe naturalmente para minimizar la perturbación del código. Si el prefijo está ausente, se introduce, pero solo cuando sea necesario para cumplir con los umbrales de tasa de incrustación.

C. Validación de Modelos Sospechosos

Para verificar si un modelo fue entrenado en un conjunto de datos con marcaje de agua (entorno de Caja Negra):

• Construcción de Entrada: Se generan dos conjuntos de entradas: uno con el sufijo disparador reemplazado por un token sin significado semántico (por ejemplo, token_desconocido) y otro sin él.
• Prueba Estadística: Se analizan las salidas del modelo para ver si predice la variable objetivo concatenada específica. Se utiliza la Prueba Exacta de Fisher (en lugar de pruebas t) para determinar la significancia estadística de la asociación entre el disparador y la salida objetivo, proporcionando un valor $p$ para la verificación.

3. Contribuciones Clave

1. Evaluación de Idoneidad: Primeros en introducir un mecanismo cuantitativo para evaluar y seleccionar portadores de marcaje de agua basados en la complejidad del código para minimizar el riesgo de exposición.
2. Patrón de Concatenación: Primeros en proponer y aplicar un patrón de concatenación (reemplazando la co-ocurrencia) para el marcaje de agua de conjuntos de datos de código, mejorando significativamente la robustez frente a la detección.
3. Estrategias Duales: Implementación de estrategias tanto de Disparador Fijo como de Marcaje de Agua Universal mediante la concatenación de nombres de variables, equilibrando la simplicidad de diseño con una alta imperceptibilidad.
4. Evaluación Exhaustiva: Experimentos extensos que demuestran la efectividad, inocuidad, imperceptibilidad y robustez del método.

4. Resultados Experimentales

Los autores evaluaron PuzzleMark en conjuntos de datos de Python y Java (CodeSearchNet) utilizando tres NCCM (Qwen2.5, StarCoderBase, DeepSeek-Coder).

• Efectividad: Logró una tasa de éxito de verificación del 100% y una tasa de falsos positivos del 0% en todos los modelos y lenguajes.
• Inocuidad: Impacto insignificante en el rendimiento del modelo. Las puntuaciones BLEU no mostraron diferencias estadísticamente significativas entre los modelos con marcaje de agua y los modelos desnudos ($p > 0.05$, $d$ de Cohen $< 0.2$).
• Imperceptibilidad:
  • Humana: Tasa de sospecha promedio $\le 0.24$ (comparable a CodeMark).
  • Máquina: Superó significativamente a las líneas base frente a detectores de última generación (SS, AC, KillBadCode, DeCoMa). La recuperación promedio por DeCoMa cayó a $\le 30.41\%$ (comparado con ~100% para las líneas base).
• Robustez:
  • Ataques de Eliminación: Mantuvo la verificabilidad ($p < 0.05$) incluso después de eliminar muestras detectadas por cuatro herramientas automatizadas diferentes.
  • Ataques de Dilución: Permaneció efectivo incluso cuando la tasa de incrustación del marcaje de agua se diluyó al 0.1% (aunque los marcas de agua universales requirieron tasas ligeramente más altas).
• Escalabilidad: Protegió con éxito la PI a nivel de proyecto, aunque el rendimiento en proyectos muy pequeños (<100 funciones) fue limitado debido a una densidad de señal insuficiente.

5. Significado

PuzzleMark aborda la vulnerabilidad crítica de las técnicas actuales de marcaje de agua en conjuntos de datos de código. Al pasar de patrones estáticos de co-ocurrencia a una concatenación dinámica y seleccionar rigurosamente portadores "sigilosos", crea un marcaje de agua que es:

• Difícil de Detectar: Evade tanto la inspección humana como las herramientas avanzadas de detección automatizada.
• Difícil de Eliminar: Resiste los ataques de eliminación porque el marcaje de agua se distribuye de forma adaptativa y no depende de valores atípicos de alta frecuencia.
• Práctico: Ofrece una solución viable para proteger la propiedad intelectual de conjuntos de datos de código de alto valor utilizados para entrenar asistentes de codificación con IA comerciales.

El artículo concluye que PuzzleMark establece un nuevo estándar para el marcaje de agua de conjuntos de datos robusto, imperceptible y efectivo en la era de los modelos de lenguaje grandes.