Resumen Técnico: SWaRL – Protección de Marca de Agua en Código mediante Aprendizaje por Refuerzo

1. Declaración del Problema

La proliferación de Modelos de Lenguaje Grandes (LLM) para código ha acelerado el desarrollo de software, pero ha introducido desafíos significativos en cuanto a la protección de la Propiedad Intelectual (PI) y la responsabilidad del código. El código de alta calidad generado por estos modelos puede redistribuirse o modificarse sin atribución, oscureciendo su procedencia. Además, actores maliciosos pueden explotar estos modelos para generar código ofuscado o vulnerable, complicando el análisis forense.

Los enfoques existentes de marca de agua en código enfrentan un compromiso fundamental entre la corrección funcional y la robustez de la marca de agua:

• Los métodos basados en inferencia (por ejemplo, listas de tokens "verdes/rojos") manipulan las probabilidades de los tokens durante la generación. Aunque no requieren actualizaciones del modelo, a menudo degradan la fidelidad del código, causando errores de sintaxis o fallos funcionales.
• Los métodos basados en redes neuronales dependen de reglas de transformación creadas a mano (por ejemplo, renombrado de variables, reestructuración de sintaxis) para incrustar firmas. Aunque preservan mejor la funcionalidad, son vulnerables a ataques de refactorización que reestructuran sistemáticamente el código, y carecen de generalización a nuevos patrones sintácticos.

Existe la necesidad de un marco que alinee automáticamente los LLM de código para generar código funcionalmente correcto mientras incrusta marcas de agua verificables, sin depender de reglas de transformación manuales ni sacrificar la calidad del código.

2. Metodología: SWaRL

SWaRL es un marco de marca de agua robusto y que preserva la fidelidad, que emplea Aprendizaje por Refuerzo (RL) para entrenar conjuntamente un modelo de generación de código (Actor) y un detector de marca de agua.

Componentes Principales

1. Modelo Actor (LLM de Código): Un LLM base (por ejemplo, Qwen2.5-Coder) ajustado finamente para generar código que satisfaga dos objetivos: aprobar pruebas unitarias funcionales e incrustar una firma de marca de agua detectable.
2. Detector de Marca de Agua (Modelo de Recompensa): Una red neuronal entrenable (basada en CodeBERT) que actúa como señal de recompensa. Distingue entre el código con marca de agua generado por el Actor y el código de referencia sin marca de agua.
3. Adaptación de Bajo Rango (LoRA): Para garantizar la eficiencia computacional y la modularidad, SWaRL inyecta el comportamiento de marca de agua mediante matrices pequeñas y entrenables de bajo rango en las capas lineales del Actor, en lugar de ajustar finamente todos los parámetros.

Marco de Optimización: GRPO

SWaRL utiliza Optimización de Política Relativa de Grupo (GRPO), un algoritmo de RL ligero, para optimizar al Actor. El proceso implica:

• Muestreo: Para un prompt dado, el Actor genera un grupo de $G$ resultados de código candidatos.
• Cálculo Híbrido de Recompensa: Cada candidato $\tau$ se puntúa utilizando una función de recompensa compuesta $R(\tau)$:
  $$R(\tau) = \lambda_{wm} R_{wm}(\tau) + \lambda_{exec} R_{exec}(\tau) - \beta D_{KL}(\pi_\theta || \pi_{ref})$$
  • Recompensa de Marca de Agua ($R_{wm}$): La salida del modelo detector congelado $D(\tau; \theta_d)$, que estima la probabilidad de que el código tenga marca de agua.
  • Recompensa de Ejecución ($R_{exec}$): La tasa de aprobación del código frente a un conjunto de pruebas unitarias, asegurando la corrección funcional.
  • Penalización de Divergencia KL: Restringe la política para mantenerse cerca del modelo de referencia, evitando la deriva distribucional y asegurando un entrenamiento estable.
• Actualización de la Política: El Actor se actualiza utilizando un objetivo de gradiente de política recortado basado en la ventaja relativa de los candidatos dentro del grupo.
• Entrenamiento Conjunto: El detector de marca de agua se descongela periódicamente y se ajusta finamente sobre una mezcla de salidas recientes del Actor y código de referencia. Esto asegura que el detector permanezca alineado con la política de generación en evolución, evitando que el Actor "hackee" un detector estático.

Despliegue

En la inferencia, el adaptador LoRA se fusiona con el modelo base. El sistema opera como una API estándar de generación de código, produciendo código natural y ejecutable. Las partes autorizadas pueden utilizar el detector entrenado para verificar la procedencia de cualquier fragmento de código sin necesidad de acceder al modelo original ni reentrenar.

3. Contribuciones Clave

El artículo afirma las siguientes contribuciones:

1. Marco SWaRL: Introducción de un marco de marca de agua basado en RL que alinea automáticamente los LLM de código para generar código funcional con firmas incrustadas, eliminando la necesidad de reglas de transformación creadas manualmente.
2. Integración Algorítmica:
   • Utilización de GRPO para optimizar conjuntamente la corrección funcional, la detectabilidad de la marca de agua y la robustez frente a ataques de refactorización.
   • Integración de LoRA para proporcionar un mecanismo modular y ligero para inyectar comportamiento de marca de agua en LLMs base.
3. Superioridad de Rendimiento: Demostración de que SWaRL logra una detectabilidad de marca de agua de última generación mientras mantiene la mayor precisión en la generación de código entre las líneas base existentes. Supera consistentemente a las líneas base de Ajuste Fino Supervisado (SFT) sin marca de agua en tasas de aprobación y supera a los métodos de marca de agua anteriores en robustez.

4. Resultados Experimentales

Los experimentos se realizaron en HumanEval, MBPP y sus variantes extendidas (HumanEval+, MBPP+), comparando SWaRL con las líneas base: Sin Marca de Agua (Base+SFT), EXP-edit, WLLM y SWEET.

Corrección Funcional

• SWaRL logró las puntuaciones Pass@1 y Pass@10 más altas en todos los benchmarks entre los métodos de marca de agua.
• Notablemente, SWaRL superó a la línea base SFT sin marca de agua en varios escenarios (por ejemplo, HumanEval Pass@1 mejoró del 55.23% al 58.22%), lo que sugiere que el objetivo de RL actúa como una etapa adicional de alineación para la validez sintáctica.
• Por el contrario, los métodos estadísticos como WLLM y SWEET degradaron significativamente la corrección funcional (por ejemplo, WLLM redujo HumanEval Pass@1 al 30.82%).

Detectabilidad de la Marca de Agua

• SWaRL logró puntuaciones AUROC sólidas (por ejemplo, 0.908 en MBPP), equilibrando mejor la detectabilidad con la fidelidad que los métodos anteriores.
• Aunque WLLM y SWEET mostraron un AUROC alto, lo hicieron a costa de la funcionalidad del código. EXP-edit preservó la funcionalidad pero ofreció una detectabilidad débil (cercana a la adivinanza aleatoria en algunos conjuntos de datos).

Robustez frente a Ataques

• Ataques de Refactorización: Cuando el código fue refactorizado por LLMs externos (Qwen2.5-3B y DeepSeek-Coder-7B), SWaRL exhibió la menor degradación de AUROC.
  • Bajo el ataque más fuerte (Ataque DS en MBPP), SWaRL mostró solo una degradación del 2.21%, en comparación con el 14–17% para WLLM y SWEET.
• Renombrado de Variables: SWaRL mantuvo un AUROC alto incluso cuando el 50% de los identificadores fueron renombrados, mientras que los métodos a nivel de token (WLLM, SWEET) sufrieron caídas significativas de rendimiento.

Eficiencia

• Latencia de Generación: SWaRL introdujo una sobrecarga mínima (0.039s/token), comparable a los métodos estadísticos.
• Latencia de Detección: SWaRL logró el tiempo de detección más rápido (0.0002s/token), superando significativamente a EXP-edit (0.588s/token) y a los métodos estadísticos.

5. Significado y Afirmaciones

El artículo posiciona a SWaRL como una solución práctica y escalable para la atribución y la verificación de propiedad en la programación asistida por IA. Su importancia radica en resolver el compromiso tradicional entre la utilidad del código y la seguridad:

• Preservación de la Fidelidad: A diferencia de los métodos basados en inferencia que rompen la sintaxis, SWaRL asegura que el código generado sea funcionalmente correcto y apruebe las pruebas unitarias.
• Robustez: Al aprender comportamientos de generación consistentes con la marca de agua mediante RL en lugar de depender de reglas estáticas, SWaRL resiste la refactorización sistemática y las transformaciones adversarias que típicamente derrotan a las marcas de agua basadas en reglas o a nivel de token.
• Eficiencia: El uso de LoRA y un detector ligero asegura que el marco sea computacionalmente viable para el despliegue en el mundo real sin una sobrecarga sustancial de inferencia.

Los autores concluyen que SWaRL permite un seguimiento fiable de la procedencia y la protección de la PI sin alterar el flujo de trabajo del usuario ni degradar la calidad del código generado.

6. Limitaciones y Trabajo Futuro

El artículo reconoce limitaciones específicas y esboza direcciones futuras:

• Marca de Agua a Nivel Binario: La implementación actual se dirige al código fuente; extenderlo al código binario compilado es una posible extensión futura.
• Alcance a Nivel de Repositorio: La evaluación se realiza actualmente a nivel de función. Los autores señalan que la marca de agua a nivel de repositorio permanece inexplorada, presentando un espacio de modificación adversaria más grande que requiere más investigación.