Resumen Técnico: PromptMark

Definición del Problema

La proliferación de los Modelos de Lenguaje de Gran Escala (LLM) en el desarrollo de software ha creado una necesidad crítica de procedencia de código —la capacidad de verificar el origen y la autoría del código fuente generado por IA. Si bien el marcado de agua (watermarking) es una técnica estándar para el contenido digital, aplicar el marcado de agua al código fuente presenta desafíos únicos:

1. Rigidez Estructural: A diferencia del lenguaje natural, el código fuente es sintácticamente estricto; las modificaciones menores pueden romper la compilación o alterar la lógica del programa.
2. Restricciones de Caja Negra: La mayoría de los desarrolladores interactúan con los LLM comerciales a través de APIs donde los componentes internos del modelo (logits, estrategias de decodificación) son inaccesibles. Los métodos de marcado de agua existentes a menudo requieren acceso de "caja blanca" para manipular las probabilidades de los tokens, lo que los hace poco prácticos para el despliegue en el mundo real.
3. Equilibrio: Un marcado de agua eficaz debe incrustar señales detectables sin comprometer la corrección funcional o la legibilidad del código.

El problema central abordado por este artículo es el diseño de un marco de marcado de agua guiado por prompts y de caja negra que pueda incrustar señales invisibles y estadísticamente detectables en el código fuente sin acceso a los componentes internos del modelo, preservando al mismo tiempo la funcionalidad del código.

Metodología: PromptMark

Los autores proponen PromptMark, un marco de tres fases que aprovecha las capacidades de seguimiento de instrucciones de los LLM para dirigir la generación hacia patrones específicos.

1. Construcción de la Lista Verde Criptográfica

En lugar de manipular los logits del modelo, PromptMark sesga al modelo mediante prompts de sistema.

• Listas Verde/Roja: El marco define una "Lista Verde" (caracteres iniciales permitidos para identificadores/comentarios) y una "Lista Roja" (caracteres prohibidos).
• Estratificación basada en la frecuencia: Para garantizar la naturalidad, la Lista Verde se deriva de la distribución de frecuencia de las iniciales de los identificadores en código escrito por humanos (usando los conjuntos de datos MBPP y HumanEval). El sistema selecciona las $K$ letras más frecuentes ($K \in [10, 12]$) para formar un grupo de candidatos.
• Derivación Criptográfica: Para evitar la predictibilidad, el tamaño específico y la composición de la Lista Verde se derivan determinísticamente de una clave secreta de 128 bits utilizando el hashing SHA-256 y la permutación de Fisher-Yates. Esto asegura la reproducibilidad para la detección manteniendo la seguridad.

2. Bucle de Retroalimentación Iterativo

Reconociendo que un solo prompt puede no producir código que sea tanto funcionalmente correcto como suficientemente marcado, PromptMark emplea un proceso iterativo:

• Generación: El LLM genera código basado en un prompt de sistema que le instruye a utilizar caracteres de la Lista Verde para identificadores y comentarios.
• Evaluación: El resultado se evalúa mediante dos métricas:
  • Corrección Funcional ($c_i$): Determinada por la ejecución de pruebas unitarias (Pasa/Falla).
  • Fidelidad del Marcado de Agua ($p_i$): Un valor p estadístico que mide la desviación de la frecuencia de los caracteres de la Lista Verde frente a la línea base esperada.
• Retroalimentación: Si el código falla las pruebas, se reintroducen los registros de error. Si el código pasa pero el marcado de agua es débil, el prompt se actualiza para imponer una adherencia más estricta a la Lista Verde. Este bucle continúa hasta que se cumplen ambos criterios o se alcanza un límite máximo de iteraciones.

3. Detección Estadística

La detección se trata como una prueba de hipótesis de una sola cola:

• Hipótesis Nula ($H_0$): El código fue generado sin conocimiento de la clave (frecuencia de la Lista Verde $\le$ línea base).
• Hipótesis Alternativa ($H_1$): El código fue marcado con agua (frecuencia de la Lista Verde $>$ línea base).
• Valor P Adaptativo: El detector calcula un valor p adaptativo, alternando entre una prueba binomial exacta (para código corto, $N < 30$) y una aproximación normal (para código más largo, $N \ge 30$). Un código se considera marcado con agua solo si es funcionalmente correcto y el valor p cae por debajo de un umbral de significancia.

Contribuciones Clave

1. Marco de Marcado de Agua de Caja Negra: PromptMark es el primer marco que demuestra un marcado de agua de cero bits fiable para el código fuente utilizando únicamente la ingeniería de prompts, eliminando la necesidad de componentes internos del modelo.
2. Mecanismo de Retroalimentación Iterativa: El artículo introduce un bucle de autorrefinamiento que equilibra dinámicamente la fuerza del marcado de agua con la corrección del código, abordando el compromiso que se encuentra a menudo en el prompting de una sola pasada.
3. Estrategia de Lista Verde Adaptativa (AGL): Al derivar los tokens de marca de agua de las iniciales de identificadores humanos de alta frecuencia, el método preserva la naturalidad semántica del código, evitando el aspecto "forzado" que a menudo activa la detección por parte de los desarrolladores o reduce la legibilidad.
4. Seguridad Criptográfica: El uso de una clave secreta para generar determinísticamente la Lista Verde asegura que el marcado de agua sea reproducible para la verificación pero seguro contra la predicción sin la clave.

Resultados Experimentales

El marco fue evaluado en los conjuntos de datos MBPP y HumanEval utilizando Gemini 2.5 Flash y Claude Sonnet 4.

• Efectividad (RQ1):

  • PromptMark logró una detectabilidad sólida, con puntuaciones AUROC que oscilan entre 0.90 y 0.99 en todas las configuraciones.
  • La variante Iterative-AGL (Lista Verde Adaptativa) fue la que mejor funcionó, logrando un AUROC de 0.994 en Gemini/MBPP y 0.987 en Claude/MBPP.
  • Con una baja Tasa de Falsos Positivos (1%–5%), las Tasas de Verdaderos Positivos superaron el 90%, alcanzando más del 95% en entornos favorables.
  • Los métodos de referencia como SWEET (caja blanca) degradaron significativamente la corrección del código, mientras que el Marcado de Agua en Contexto (ICW) sin iteración mostró una detectabilidad pobre (AUROC ~0.51).

• Calidad del Código (RQ2):

  • Corrección Funcional: PromptMark preservó altas tasas de Pass%, logrando aproximadamente un 97% en HumanEval y un 99% en MBPP, comparable a las líneas de base sin marcado de agua.
  • Similitud Estructural: Las puntuaciones CodeBLEU se mantuvieron estables y consistentes con el código sin marca de agua, lo que indica que el proceso de marcado de agua no distorsionó el flujo de control ni las dependencias de datos.

• Robustez:

  • El marcado de agua mostró resiliencia a la eliminación de comentarios (el AUROC cayó solo ~3.8%).
  • Sin embargo, el parafraseo automatizado (renombrado de variables) causó una degradación significativa (el AUROC cayó a ~0.71), resaltando un compromiso entre la naturalidad y la robustez frente a ataques semánticos preservadores de estructura.

Significado y Reivindicaciones

El artículo afirma que PromptMark logra redefinir el marcado de agua de código fuente como una tarea guiada por prompts, haciéndola viable para los LLM comerciales de caja negra.

• Practicidad: Ofrece una solución viable para la atribución en entornos donde los componentes internos del modelo son inaccesibles, abordando un vacío dejado por la investigación de solo caja blanca.
• Equilibrio: El mecanismo de retroalimentación iterativa demuestra que la alta fuerza del marcado de agua y la alta calidad del código no son mutuamente excluyentes; el marco puede lograr ambos mediante el refinamiento dinámico.
• Atribución: Aunque la implementación actual soporta la detección de cero bits (presencia/ausencia), los autores señalan que la separación de la clave criptográfica permite la potencial atribución específica del modelo si se asignan claves distintas a diferentes modelos.

Los autores concluyen que, si bien este enfoque establece una base para el marcado de agua de cero bits, es necesario realizar trabajos futuros para desarrollar marcas de agua codificables de múltiples bits para entornos de caja negra y para mejorar la robustez contra ataques sistemáticos de renombramiento mediante estrategias de incrustación de múltiples canales.