💬 NLP

Robust and Secure Code Watermarking for Large Language Models via ML/Crypto Codesign

El artículo presenta RoSeMary, un novedoso marco de co-diseño de ML/Criptografía que utiliza el entrenamiento de extremo a extremo con CodeT5 y pruebas de conocimiento cero para incrustar marcas de agua robustas, funcionales y preservadoras de la privacidad en código generado por LLM, abordando eficazmente los desafíos de baja entropía y verificación segura.

Autores originales: Ruisi Zhang, Neusha Javidnia, Nojan Sheybani, Farinaz Koushanfar

Publicado 2026-08-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ruisi Zhang, Neusha Javidnia, Nojan Sheybani, Farinaz Koushanfar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras no solo charlan con nosotros, sino que realmente escriben los planos de nuestras vidas digitales. Este es el reino de los Modelos de Lenguaje Extensos (LLM por sus siglas en inglés) para el código, los asistentes de IA superinteligentes que pueden generar funciones de software, corregir errores y construir programas enteros con solo leer una instrucción. Pero aquí está el truco: cuando estas IA escriben código, a menudo es difícil saber quién es el verdadero dueño. ¿Lo escribió un ingeniero humano o una IA? Y si lo hizo una IA, ¿de qué empresa es esa IA? Esto es algo importante porque el código es propiedad intelectual valiosa, como una receta secreta o una invención patentada.

Para resolver esto, los científicos han intentado poner una "marca de agua" al código de la IA. Piensa en esto como una tinta invisible digital o una marca de agua oculta en un billete. Quieres poder demostrar: "Oye, este código fue hecho por mi IA", sin cambiar cómo funciona el código. Pero hay un problema complicado: el código es muy rígido. A diferencia de una historia donde puedes cambiar palabras por sinónimos, el código tiene que seguir reglas estrictas para ejecutarse. Si cambias demasiado para ocultar un mensaje secreto, el programa se rompe. Además, para probar la propiedad ante un tribunal, normalmente tienes que mostrar la clave secreta (la marca de agua) a un juez. Pero si muestras la clave, los malos pueden robarla y falsificar sus propias marcas de agua más tarde. Es un frustrante juego del "escondite" donde las reglas del juego hacen que sea casi imposible ganar sin perder algo más.

Aquí es donde entra un nuevo marco llamado RoSeMary, actuando como un mago astuto que puede esconder un mensaje secreto en una caja cerrada sin mostrar nunca la llave. Los investigadores, un equipo de la Universidad de California en San Diego y la Universidad Estatal de San Diego, diseñaron un sistema que combina el aprendizaje automático (la parte de la IA) con la criptografía (la parte matemática secreta). Descubrieron cómo incrustar una firma oculta en el código generado por IA que sea difícil de eliminar, que mantenga el código funcionando perfectamente y, lo más importante, que permita a un juez verificar la propiedad sin siquiera ver la firma secreta real.

Así es como RoSeMary realiza este truco de magia. Primero, utiliza un modelo de IA preentrenado llamado CodeT5, que es como un maestro chef que ha probado millones de recetas. En lugar de simplemente cambiar el código al azar, este chef entiende el "sabor" del código. Toma el código original y un mensaje secreto (la marca de agua) y decide la mejor manera de retocar ligeramente el código —como renombrar una variable de x a item o cambiar un bucle while por uno for— para que el mensaje secreto quede oculto dentro de estos pequeños cambios. Debido a que el chef conoce las reglas de la cocina (la programación), el código sigue sabiendo exactamente igual (funciona perfectamente) incluso con el ingrediente secreto añadido.

Pero la verdadera magia ocurre cuando llega el momento de comprobar si el código es auténtico. Normalmente, tendrías que entregar la receta secreta a un juez. RoSeMary utiliza una herramienta criptográfica llamada Prueba de Conocimiento Cero (ZKP). Imagina que quieres demostrarle a un amigo que conoces la combinación de una caja fuerte, pero no quieres decirle los números. Podrías abrir la caja frente a él, mostrarle el tesoro que hay dentro y cerrarla de nuevo. Él sabe que tú conoces la combinación, pero nunca vio los números. RoSeMary hace algo similar. El propietario de la IA ejecuta un circuito matemático complejo que comprueba si la firma oculta está presente. Genera una pequeña "prueba" digital que dice: "Sí, la firma es válida", sin revelar qué es la firma en realidad.

El equipo probó este sistema en miles de ejemplos de código en lenguajes como Python, Java y C++. Encontraron que RoSeMary es increíblemente bueno en su trabajo. Logró ocultar la marca de agua en el 97.64% de los casos (lo que significa que el código seguía funcionando) y podía detectar la marca de agua con una puntuación de precisión de 0.97 (donde 1.0 es perfecto). Incluso cuando actores malintencionados intentaron romper la marca de agua renombrando variables o usando otra IA para reescribir el código, RoSeMary aún encontraba el mensaje oculto el 98% de las veces.

Quizás la parte más impresionante es la velocidad y la privacidad. El sistema puede generar una prueba de propiedad en unos 7.15 segundos, y un juez puede verificar esa prueba en solo 118.6 milisegundos (menos de un parpadeo). Crucialmente, durante todo este proceso, el juez nunca ve la marca de agua secreta real. Esto significa que el propietario puede reutilizar la misma marca de agua una y otra vez sin preocuparse de que alguien la robe y falsifique una falsa reclamación de propiedad.

En resumen, RoSeMary resuelve un tira y afloja de tres vías que ha desconcertado a los investigadores durante un tiempo. Logra mantener el código funcionando (fidelidad), hacer la marca de agua fácil de encontrar (detectabilidad) y hacerla difícil de romper (robustez), todo mientras mantiene la clave secreta a salvo de miradas indiscretas. Es un paso significativo hacia la protección de la propiedad intelectual de la revolución de la IA, asegurando que cuando una IA escribe una obra maestra, el artista reciba el crédito —y la protección— que merece.

Resumen Técnico: Marcas de Agua Verificables de Conocimiento Cero Robustas para LLMs de Código con Co-Diseño de ML/Criptografía

Planteamiento del Problema
La proliferación de código generado por IA por parte de los Modelos de Lenguaje Extensos (LLMs) plantea preocupaciones significativas de propiedad intelectual (PI), incluyendo el plagio, la inyección de vulnerabilidades y el uso comercial no autorizado. Se propone el uso de marcas de agua como una solución para identificar el código generado por LLMs. Sin embargo, los métodos existentes enfrentan un conflicto de tri-objetivo crítico: detectabilidad (capacidad de encontrar la marca de agua), fidelidad (preservar la funcionalidad del código) y robustez (resistencia a la eliminación).

Un cuello de botella específico en las marcas de agua de código es la naturaleza de baja entropía del código. A diferencia del lenguaje natural, el código tiene un espacio limitado para firmas de alta calidad. Los métodos de verificación actuales requieren que los propietarios de los LLMs divulguen sus firmas secretas a árbitros terceros para la validación legal. Esta divulgación crea una paradoja de seguridad: una vez que se revela una firma, esta debe recodificarse para futuros artefactos para evitar la falsificación. En el código de baja entropía, la recodificación a menudo degrada la funcionalidad del código o reduce la resiliencia de la marca de agua, limitando la reutilización del esquema de marca de agua. Además, los métodos basados en redes neuronales actuales suelen depender de redes superficiales entrenadas desde cero, lo que limita las capacidades de extracción de características, mientras que los métodos basados en inferencia manipulan tokens de formas que pueden romper la sintaxis.

Metodología: Marco de Trabajo RoSeMary
El artículo presenta RoSeMary, un marco de trabajo que utiliza el co-diseño de ML/Criptografía para abordar estos desafíos. Consta de dos componentes principales: una arquitectura de marca de agua basada en ML robusta y un protocolo de verificación de Conocimiento Cero (ZKP) personalizado.

Arquitectura de Marca de Agua Basada en ML:
- Backbone (Columna Vertebral): RoSeMary utiliza CodeT5, un modelo pre-entrenado de secuencia a secuencia sobre millones de fragmentos de código, como el backbone para la extracción de características. Esto aprovecha el conocimiento pre-entrenado para comprender mejor la semántica del código en comparación con los modelos entrenados desde cero.
- Inserción: El codificador fusiona las características del código original con un mensaje de marca de agua. Dos decodificadores ( $S_{d1}$ y $S_{d2}$ ) predicen las probabilidades de transformaciones sintácticas (por ejemplo, tipos de bucles, sustitución de operadores) y renombramiento de variables. El código con la marca de agua se genera aplicando las transformaciones más probables.
- Entrenamiento Adversario: Para garantizar la robustez, el sistema genera variantes adversarias durante el entrenamiento mediante la perturbación de las distribuciones de probabilidad de transformación. El módulo de extracción se entrena para recuperar el mensaje tanto del código estandarizado con la marca de agua como de estas versiones transformadas adversariamente.
- Objetivos de Entrenamiento: El sistema se entrena de extremo a extremo para minimizar tres pérdidas:
  - Pérdida de Funcionalidad ( $L_f$ ): Asegura que el código con la marca de agua compile y se ejecute de manera idéntica al original (utilizando una red de aproximación de características $R_f$ ).
  - Pérdida de Detectabilidad ( $L_d$ ): Minimiza el error entre los mensajes codificados y extraídos.
  - Pérdida de Robustez ( $L_r$ ): Minimiza el error entre el mensaje codificado y el mensaje extraído de los ejemplos adversarios.
Verificación de Conocimiento Cero (ZKP):
- Objetivo: Permitir la verificación legal de la propiedad sin que el propietario del LLM revele su firma secreta al árbitro, preservando así la firma para su reutilización.
- Mecanismo: RoSeMary emplea Pruebas de Conocimiento Cero No Interactivas (NIZK) basadas en el sistema Halo2 de zk-SNARK.
- Proceso:
  - El propietario del LLM (Probador) genera una prueba de que un fragmento de código específico con marca de agua contiene una firma válida que coincide con su clave privada, sin revelar la firma en sí misma.
  - El árbitro (Verificador) comprueba la prueba utilizando una clave de verificación pública.
- Optimizaciones: Para hacer que el ZKP sea factible para la inferencia de redes neuronales, los autores implementan cuatro optimizaciones personalizadas:
  1. Aproximación Polinómica: Reemplazo de la activación ReLU por un polinomio ( $x^2 + x$ ) para evitar costosas búsquedas de verificación de rango (range-check).
  2. Cuantización: Uso de Bfloat16 para los parámetros para reducir la sobrecarga de memoria.
  3. Circuito zkBER personalizado: Un circuito dedicado para computar la Tasa de Error de Bits (BER) dentro de la prueba de conocimiento cero, vinculando el mensaje extraído a una firma binaria.
  4. Componibilidad: Fusión de los circuitos de alimentación hacia adelante (feed-forward) y BER en un solo grafo computacional para reducir el tamaño de la prueba y el tiempo de verificación.

Contribuciones Clave

Marco de Trabajo RoSeMary: Un novedoso sistema de marca de agua para LLMs de código que optimiza conjuntamente la detectabilidad, la fidelidad y la robustez utilizando un backbone pre-entrenado CodeT5.
Verificación Confidencial: La primera aplicación de ZKPs personalizados a las marcas de agua de código, lo que permite la verificación de la propiedad sin divulgar la firma, resolviendo así el problema de la reutilización en el código de baja entropía.
Entrenamiento Adversario: Una estrategia de entrenamiento de extremo a end que modela y defiende explícitamente contra ataques de renombramiento de variables, refactorización y re-marcado de agua.
Co-Diseño a Nivel de Sistema: Integración de componentes de ML y Criptografía con optimizaciones específicas (cuantización, aproximaciones polinómicas) para lograr una generación y verificación de pruebas eficientes.

Resultados Experimentales
Las evaluaciones se realizaron en los benchmarks HumanEval, MBPP (Python, C++, Java) y EvalPlus:

Detectabilidad y Fidelidad: RoSeMary alcanzó un AUROC de 0.97 en los benchmarks manteniendo una Tasa de Aprobación (Pass Rate) de ~95-97%, superando significativamente a las bases de comparación de inferencia (KGW, SWEET) en fidelidad y a las de base neuronal (SrcMarker) en detectabilidad.
Robustez: Bajo ataques de renombramiento de variables (hasta el 50% de las variables) y ataques de refactorización basados en LLM, RoSeMary mantuvo un AUROC superior a 0.73, superando a SrcMarker y SWEET. También mostró resiliencia contra ataques de re-marcado de agua.
Eficiencia de ZKP:
- Generación de Prueba: Toma aproximadamente 7.15 segundos (costo de una sola vez por el propietario).
- Verificación: Toma aproximadamente 118.6 ms por el árbitro.
- Comunicación: El tamaño de la prueba es de 17.12 KB, y la clave de verificación es de 577.3 KB.
- Escalabilidad: El tiempo de verificación permanece estadísticamente invariable a través de diferentes lenguajes de programación (Python, Java, C++) y longitudes de marca de agua (4 a 16 bits), aunque aumenta con el ancho del decodificador.

Significancia y Reivindicaciones
El artículo afirma que RoSeMary proporciona una solución equilibrada para sistemas prácticos de marcas de agua de código. Al co-diseñar los componentes de ML y Criptografía, logra:

Marcas de Agua de Alta Calidad: Preservando la funcionalidad del código mientras asegura altas tasas de detección y robustez contra ataques comunes.
Reutilización de la Firma: Eliminando la necesidad de recodificar las marcas de agua después de la verificación legal, lo cual es crítico para el código de baja entropía donde el espacio de la firma es limitado.
Verificación Preservadora de la Privacidad: Permitiendo que terceros árbitros verifiquen la propiedad legalmente sin acceder a la firma propietaria, protegiendo así los secretos comerciales del propietario de la PI.

Los autores enfatizan que, si bien la generación de ZKP es computacionalmente más pesada que la inferencia estándar, es un costo de una sola vez por artefacto, lo que hace que el sistema general sea eficiente para su despliegue. El marco se presenta como una herramienta viable para regular el contenido generado por LLMs y proteger la propiedad intelectual en el ciclo de vida del desarrollo de software.

Más como este