💻 computer science

Can Watermarking Techniques Help Prevent LLM Model Stealing?

Este artículo propone una defensa basada en marcas de agua que perturba los logits del modelo para prevenir ataques de robo de modelos de caja negra, incluyendo la extracción de las dimensiones de las capas ocultas, al tiempo que demuestra mediante experimentos empíricos que este enfoque frustra eficazmente tales ataques sin degradar significativamente la utilidad del modelo.

Autores originales: Elette Boyle, MohammadTaghi Hajiaghayi, Keivan Rezaei, Suho Shin, Amos Stern

Publicado 2026-07-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Elette Boyle, MohammadTaghi Hajiaghayi, Keivan Rezaei, Suho Shin, Amos Stern

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que has creado una receta secreta y magnífica para un pastel que cuesta millones hornear. No vendes el pastel; simplemente dejas que la gente pida rebanadas a través de una ventana. Ellos obtienen el sabor, pero no pueden ver la lista de ingredientes ni el tamaño del tazón de mezcla.

Recientemente, un grupo de chefs astutos descubrió un truco para echar un vistazo dentro de tu cocina. Al pedir miles de rebanadas específicas y analizar las diminutas migas que quedan atrás (llamadas "logits"), pudieron usar una lupa matemática llamada PCA para averiguar el tamaño exacto de tu tazón de mezcla (la "dimensión oculta"). Una vez que saben eso, podrían aplicar ingeniería inversa a toda tu receta secreta y construir una pastelería competidora.

Este artículo propone una nueva forma de proteger tu cocina: marcas de agua digitales. En lugar de solo esconder el tazón, los autores sugieren espolvorear un "ruido" especial e invisible sobre cada rebanada de pastel antes de que salga por la ventana. Este ruido está diseñado para confundir las matemáticas de los chefs astutos, haciendo que sea imposible para ellos contar el tamaño del tazón, mientras que permite que el pastel siga sabiendo delicioso.

El problema del "Ruido": Por qué los trucos simples fallan

Los autores probaron varias formas de añadir este ruido y descubrieron que algunas ideas obvias eran fracasos totales.

El error del "Estático": Si añades la misma cantidad de ruido a cada rebanada, los chefs simplemente pueden restarlo. Es como si pusieras la misma cantidad de sal en cada galleta; un chef inteligente puede simplemente saborear la sal e ignorarla.
El error del "Ordenado": Intentaron ordenar el ruido para que coincidiera con el orden de los ingredientes. Sorprendentemente, esto tampoco funcionó. El ruido mismo tenía un patrón oculto que los chefs aún podían ver, como una huella dactilar dejada en el cristal.
El error de la "Multiplicación": Intentaron multiplicar los ingredientes por un número aleatorio. Esto arruinó el sabor del pastel (degradó la calidad del modelo) pero aun así no detuvo a los chefs de contar el tazón.

El artículo argumenta explícitamente en contra del uso de ruido simple e independiente (chispas aleatorias que cambian cada vez) porque los chefs pueden simplemente pedir la misma rebanada 40 veces y promediar los resultados para eliminar el ruido.

La estrategia ganadora: La "Semilla Secreta" y el escudo "Softplus"

Los autores encontraron una solución que realmente funciona, inspirada en cómo se marcan las imágenes digitales. Su método tiene dos ingredientes principales:

La Semilla Secreta: En lugar de usar ruido aleatorio, la cocina utiliza un código secreto (una función criptográfica) basado en el estado exacto de la masa del pastel dentro del horno. Esto significa que cada rebanada recibe un patrón de ruido único que depende de lo que hay dentro de ella. Incluso si los chefs piden el mismo prompt dos veces, el ruido es idéntico (así que no pueden promediarlo para eliminarlo), pero si cambian el prompt aunque sea ligeramente, el ruido cambia por completo.
El Escudo Softplus: Para asegurar que el ruido no arruine el sabor del pastel, utilizan un truco matemático especial llamado "softplus". Piensa en esto como un filtro suave que dobla los ingredientes lo justo para ocultar el tamaño del tazón, pero mantiene los ingredientes de mejor sabor en el mismo orden.

Cuando combinaron esta "Semilla Secreta" con "Softplus" y añadieron ruido gaussiano aleatorio (como una fina niebla de azúcar), los resultados fueron impresionantes. En sus pruebas con un modelo llamado Mistral-7B (que tiene una dimensión oculta de 4,096), los chefs astutos fallaron por completo. Las matemáticas no mostraron ningún "salto" claro en los datos que revelara el tamaño del tazón. El ataque falló al identificar la dimensión, incluso cuando los chefs intentaron trucos avanzados como "PCA Robusto" o intentar revertir el filtro softplus.

¿Sigue sabiendo bien el pastel?

La mayor preocupación era: "¿Si alteras los ingredientes, el pastel sabrá mal?"

Los autores midieron esto cuidadosamente. Utilizaron un benchmark llamado MMLU (una prueba de conocimiento y razonamiento) y descubrieron que:

El ruido simple y desordenado redujo significamente la puntuación del modelo (cayendo hasta alrededor del 44.75% o 49.52% en algunos casos).
Sin embargo, el método basado en Softplus mantuvo la puntuación increíblemente alta, manteniéndose alrededor del 56.55% al 57.78%. ¡Esto es casi lo mismo que el modelo original, sin modificar!

También revisaron cuánto cambió el "perfil de sabor" usando una métrica llamada Perplejidad. Las mejores configuraciones mostraron una perplejidad de solo 3.37, que es muy cercana al 3.40 del modelo original.

La conclusión

El artículo no afirma haber resuelto todos los robos posibles en el universo, pero sugiere fuertemente que este método específico es una defensa robusta. Al usar una semilla secreta dependiente del prompt y un filtro "softplus" suave, lograron desordenar las pistas matemáticas que los ladrones necesitan para robar el tamaño de su cocina, todo mientras mantienen el modelo inteligente y útil.

En resumen: ahora puedes espolvorear un poco de "polvo de confusión" en las respuestas de tu IA para evitar que los ladrones midan tu cocina, sin arruinar el sabor del pastel.

Resumen Técnico: Técnicas de Marcado de Agua para Prevenir el Robo de Modelos LLM

Declaración del Problema
Los Modelos de Lenguaje Extensos (LLM) comerciales se acceden típicamente a través de APIs de caja negra, manteniendo su arquitectura interna, datos de entrenamiento y parámetros como propiedad intelectual. Sin embargo, un trabajo reciente de [Carlini et al., 2024b] demostró un ataque de "robo de modelo" escalable capaz de extraer información arquitectónica precisa, específicamente la dimensión de la capa oculta y la capa de proyección final, de estos modelos de caja negra. El ataque opera consultando el modelo con un conjunto de prompts controlables para recolectar vectores de logit de predicción del siguiente token. Al construir una matriz a partir de estos logits y aplicar el Análisis de Componentes Principales (PCA), un adversario puede estimar el rango numérico de la matriz, lo cual corresponde a la dimensión oculta del modelo. Esta vulnerabilidad es crítica porque la dimensión oculta sirve como base para el robo de los parámetros de la última capa del modelo. El ataque es versátil, ya que no depende de funciones de activación o estructuras de red específicas, y sigue siendo efectivo incluso cuando el defensor intenta mitigarlo mediante técnicas simples de inyección de ruido o promediado.

Metodología
Los autores proponen un mecanismo de defensa inspirado en las técnicas de marcado de agua para LLM [Kirchenbauer et al., 2023], diseñado específicamente para interrumpir los ataques de estimación de rango preservando la utilidad del modelo. La estrategia central consiste en perturbar estructuralmente la capa de logits del modelo antes del muestreo de tokens.

Ruido Determinista Dependiente del Prompt: A diferencia de las defensas ingenuas que añaden ruido aleatorio independiente (el cual puede ser promediado por un adversario), el método propuesto genera un ruido que es determinista para un prompt dado pero que varía entre diferentes prompts. Esto se logra computando una semilla utilizando una Función Pseudoaleatoria Criptográfica (PRF) aplicada al último estado oculto ( $h$ ) para un prompt específico $p$ . La PRF asegura que los prompts idénticos produzcan perturbaciones idénticas (evitando ataques de promediado) mientras que diferentes prompts producen perturbaciones distintas y aparentemente aleatorias.
Mecanismos de Perturbación: El artículo evalúa varias estructuras de ruido:
- Ruido Aditivo: Adición directa de vectores de ruido discretos o gaussianos. Aunque es efectivo contra el PCA básico, estos son vulnerables a ataques de promediado sofisticados o de PCA Robusto (RPCA).
- Ruido Multiplicativo: Escalamiento de los logits por factores aleatorios. Los experimentos muestran que esto degrada significativamente la calidad del modelo y no logra prevenir la recuperación del rango.
- Softplus-Then-Perturb (STP): Los autores proponen un mecanismo novedoso donde el vector de logit $\ell$ es transformado primero mediante una función softplus ( $\text{softplus}(\alpha\ell)$ ) para sesgar los valores y preservar el orden relativo de los tokens de alta confianza. Luego, se añaden perturbaciones aleatorias a este vector transformado. Este enfoque tiene como objetivo mantener el orden de los tokens (crucial para la calidad) al tiempo que introduce suficiente complejidad estructural para romper el subespacio de bajo rango requerido para la estimación del rango.

Contribuciones Clave

Defensa contra la Estimación de Rango: El artículo introduce un marco de perturbación estructurada que apunta específicamente a la vulnerabilidad matemática explotada por [Carlini et al., 2024b], evitando la recuperación de la dimensión oculta mediante PCA o PCA Robusto.
Análisis Teórico del Ruido: Los autores analizan la estabilidad de la recuperación del rango bajo diversas condiciones de ruido, utilizando la desigualdad de Weyl y la teoría de perturbación de matrices. Demuestran que el ruido aditivo simple es insuficiente contra ataques de promediado y que la estructura de dependencia entre el ruido y el prompt es crítica.
Mecanismo STP: La propuesta del mecanismo Softplus-Then-Perturb, que equilibra la robustez contra ataques de extracción con la preservación del rendimiento del modelo.
Validación Empírica: Experimentos extensos en Mistral-7B (y GPT-2 en el apéndice) demuestran los compromisos entre la robustez de la defensa y la calidad del modelo.

Resultados

Prevención de Ataques: Las defensas propuestas, particularmente el mecanismo STP combinado con ruido gaussiano, previenen con éxito la extracción de la dimensión oculta. En experimentos con 10,000 prompts, el ataque falló en identificar el rango correcto (4,096 para Mistral-7B), mostrando la dimensión predicha sin anomalías identificables o saltos significativos en los valores singulares.
Robustez ante Ataques Avanzados: El mecanismo STP con ruido gaussiano resistió intentos de ataques de "inversión de softplus" y extensiones de PCA Robusto (RPCA). En contraste, el softplus puro sin perturbación fue vulnerable a la inversión, y el ruido aditivo simple fue vulnerable al promediado.
Preservación de la Calidad del Modelo:
- Perplejidad (PPL): El ruido aditivo causó una degradación significativa en la perplejidad con magnitudes más altas. Sin embargo, las perturbaciones basadas en STP mantuvieron la perplejidad cercana al modelo original (por ejemplo, 3.37 frente a 3.40 del original).
- Precisión MMLU: Mientras que el ruido aditivo redujo significamente las puntuaciones de MMLU (cayendo a ~44-55%), el mecanismo STP preservó una alta precisión (56-57%), casi igualando al modelo original (57.78%).
- Desplazamiento Distribucional: Aunque el STP indujo una alta divergencia distribucional (alta divergencia KL y JS), mantuvo un alto acuerdo de Top-50 tokens (≥0.92). Esto indica que, aunque la distribución de probabilidad cambia, el orden relativo de los tokens más confiables permanece intacto, preservando la utilidad funcional del modelo.

Significancia
El artículo afirma que su enfoque ofrece una defensa práctica y efectiva contra una clase específica de ataques de robo de modelos que amenazan la propiedad intelectual de los LLM comerciales. Al aprovechar técnicas inspiradas en el marcado de agua para perturbar los logits de manera dependiente del prompt, los autores demuestran que es posible oscurecer la dimensionalidad interna del modelo sin volverlo inutilizable. El trabajo destaca que preservar el orden relativo de los logits es más crítico para mantener la utilidad del modelo que minimizar los desplazamientos distribucionales brutos, un hallazgo que informa el diseño del mecanismo STP. Los autores concluyen que su método refuerza la seguridad e integridad de los modelos de lenguaje comerciales contra la extracción basada en rango, proporcionando un camino viable para proteger las arquitecturas de modelos propietarios.

El problema del "Ruido": Por qué los trucos simples fallan

La estrategia ganadora: La "Semilla Secreta" y el escudo "Softplus"

¿Sigue sabiendo bien el pastel?

La conclusión

Más como este