🤖 AI

Functional Subspace Watermarking for Large Language Models

El artículo presenta la Marca de Agua en Subespacio Funcional (FSW), un marco robusto que ancla las señales de propiedad en un subespacio funcional de baja dimensión mediante un problema de autovalores generalizado y restricciones de consistencia vectorial, logrando una detección superior frente a perturbaciones de parámetros en modelos de lenguaje grandes en comparación con los métodos actuales.

Autores originales: Zikang Ding, Junhao Li, Suling Wu, Junchi Yao, Hongbo Liu, Lijie Hu

Publicado 2026-03-20

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zikang Ding, Junhao Li, Suling Wu, Junchi Yao, Hongbo Liu, Lijie Hu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que has creado un libro de cuentos increíblemente inteligente (un modelo de Inteligencia Artificial) y quieres asegurarte de que, si alguien lo copia, lo modifica o lo vende como suyo, todos sepan que tú eres el verdadero autor.

El problema es que los ladrones de tecnología son muy hábiles. Pueden tomar tu modelo, "entrenarlo" un poco más, comprimirlo para que ocupe menos espacio, o incluso enseñarle a otro modelo más pequeño a imitarlo. Si usas métodos antiguos para marcar tu propiedad (como poner una firma invisible en el texto que genera), estos cambios suelen borrar la firma, como si alguien borrara la tinta de un documento con alcohol.

Los autores de este artículo proponen una solución genial llamada Marca de Agua en el Subespacio Funcional (FSW). Aquí te lo explico con una analogía sencilla:

1. El Problema: La Casa que se Derrumba

Imagina que tu modelo de IA es una casa muy compleja.

Los métodos antiguos intentan poner una marca de propiedad en el papel tapiz o en la pintura de las paredes.
Si el ladrón pinta de nuevo las paredes (ajuste fino), cambia el papel tapiz (cuantización) o quita algunas habitaciones (poda), ¡tu marca desaparece!

2. La Solución: El Cimiento Inmortal

El equipo de FSW dice: "No pongamos la marca en la pintura. Pongámosla en los cimientos de la casa".

El Cimiento (Subespacio Funcional): Dentro de la IA, hay ciertas direcciones matemáticas (como vigas de acero invisibles) que son esenciales para que la casa no se caiga. Si tocas estas vigas, la casa pierde su capacidad de hablar o razonar. Por lo tanto, nadie se atreverá a borrarlas o cambiarlas, porque destruiría el valor de la casa.
La Marca: FSW esconde la señal de propiedad dentro de estas "vigas maestras". Como son vitales para que la IA funcione, el ladrón no puede eliminarlas sin destruir el modelo mismo.

3. ¿Cómo lo hacen? (La Receta Mágica)

El proceso tiene tres pasos clave, explicados con metáforas:

Paso 1: Encontrar las Vigas Maestras (Análisis de Sensibilidad)
Imagina que tienes un mapa de la casa y buscas exactamente qué vigas sostienen el techo. Usan una herramienta matemática (llamada Fisher Information) para encontrar las direcciones donde la IA es más "sensible". Si tocas ahí, la IA cambia drásticamente. Esas son las vigas que queremos proteger.
Paso 2: Hacerlas Invisibles a los Cambios (Invarianza a la Compresión)
Ahora, el ladrón podría intentar "comprimir" la casa (hacerla más pequeña). FSW busca las vigas que no se rompen cuando la casa se comprime. Es como buscar un material que sea tan fuerte que, aunque le apliques presión o lo cortes un poco, siga manteniendo su forma. Usan una ecuación especial (un problema de autovalores generalizado) para encontrar el equilibrio perfecto: vigas que son importantes para la tarea pero que sobreviven a los cambios.
Paso 3: Poner la Firma sin Estropear la Casa (Consistencia)
Una vez encontradas las vigas, inyectan la marca de agua. Pero tienen una regla de oro: "No cambies la forma en que la casa se ve desde fuera".
Usan una restricción de "consistencia vectorial". Imagina que pones la firma en el cimiento, pero aseguras que, si alguien entra a la casa, la distribución de la luz y el olor sean exactamente los mismos que antes. Así, la IA sigue funcionando perfectamente, pero lleva tu firma oculta en su estructura más profunda.

4. ¿Funciona realmente? (Los Resultados)

Los autores probaron su método en varios modelos famosos (como LLaMA, Mistral, Qwen) y sometieron a estos modelos a "torturas":

Ajuste Fino: Entrenar el modelo con nuevos datos.
Cuantización: Reducir la precisión de los números (como pasar de fotos HD a JPEG).
Destilación: Enseñar a un modelo pequeño a copiar al grande.

El resultado fue asombroso:

Mientras que los métodos antiguos perdían la marca (como si el ladrón borrara la tinta), FSW mantuvo la marca intacta incluso después de estas transformaciones.
La casa (el modelo) siguió funcionando igual de bien. No se notó ninguna diferencia en la calidad de las respuestas.
Pueden detectar la marca con una precisión casi del 100%, incluso si el ladrón intentó borrarla.

En Resumen

Esta tecnología es como poner un chip de seguridad en el ADN de la Inteligencia Artificial en lugar de poner un sello en su piel. No importa cuánto le cambien la apariencia o la estructura externa, si el modelo sigue siendo útil y funcional, lleva tu firma oculta en su núcleo, permitiendo demostrar legalmente que es tuyo.

Es una herramienta poderosa para proteger la propiedad intelectual de los creadores de IA en un mundo donde copiar y modificar modelos es cada vez más fácil.

1. El Problema

La protección de la propiedad intelectual de los Grandes Modelos de Lenguaje (LLMs) es un desafío crítico debido a la facilidad con la que estos modelos pueden ser descargados, ajustados (fine-tuning) y redistribuidos.

Limitaciones actuales: Los métodos existentes de marca de agua (watermarking) se dividen en dos categorías:
- Marca de agua de contenido: Se inyecta en el texto generado. Es vulnerable a la extracción de capacidades mediante la destilación de conocimiento (un modelo estudiante puede replicar la capacidad sin el rastro de la marca de agua).
- Marca de agua de modelo: Intenta incrustar la información en los pesos o representaciones internas. Sin embargo, los métodos actuales carecen de robustez frente a perturbaciones a nivel de parámetros como la cuantización, el ajuste fino (fine-tuning) y la destilación, que suelen borrar o distorsionar las señales de marca de agua tradicionales.
Objetivo: Desarrollar un método que ancle las señales de propiedad en una parte del modelo que sea crítica para la tarea pero que permanezca estable bajo transformaciones de compresión y modificación.

2. Metodología: Funcional Subspace Watermarking (FSW)

El marco propuesto, FSW, incrusta señales de propiedad en un "esqueleto funcional" de baja dimensión del modelo. El proceso se divide en cinco fases:

Extracción de Representación: Se extraen las representaciones ocultas (hidden states) de una capa intermedia fija del modelo autoregresivo, actuando como cuello de botella para la predicción del siguiente token.
Análisis de Geometría:
- Sensibilidad Funcional: Se utiliza la Matriz de Información de Fisher ( $F$ ) para cuantificar qué direcciones en el espacio de representación son críticas para el rendimiento de la tarea. Perturbar estas direcciones altera significativamente la salida.
- Invarianza a la Compresión: Se define una familia de operadores de compresión (proyección lineal, ruido de cuantización, dropout estructural) para estimar una matriz de varianza ( $C_A$ ). El objetivo es encontrar direcciones que sean estables bajo estas transformaciones.
Construcción y Optimización del Subespacio:
- Se formula un Problema de Valores Propios Generalizado (GEVP): $F u_i = \lambda_i C_A u_i$ .
- Los vectores propios ( $u_i$ ) representan direcciones que maximizan la sensibilidad a la tarea mientras minimizan la varianza inducida por la compresión.
- Truncamiento Espectral Adaptativo: En lugar de seleccionar solo los $k$ valores propios más altos (que podrían degradar el modelo) o los más bajos (fáciles de eliminar), se selecciona un rango óptimo basado en umbrales ( $\tau_{lower}, \tau_{upper}$ ) para equilibrar robustez y utilidad.
Proyección y Consistencia:
- Se proyectan las representaciones en este subespacio funcional estable.
- Se introduce una restricción de consistencia vectorial para asegurar que la inyección de la marca de agua no degrade el rendimiento semántico original del modelo.
Incrustación y Verificación:
- Se utilizan vectores de clave secreta ortogonales para codificar mensajes binarios.
- Se minimiza una función de pérdida basada en márgenes para inyectar la señal.
- La verificación se realiza mediante una prueba estadística rigurosa sobre la puntuación de detección agregada.

3. Contribuciones Clave

Marco FSW: Propone un enfoque que localiza un "esqueleto funcional" crítico y estable, utilizando un problema de valores propios generalizado para desacoplar la sensibilidad de la tarea de la varianza inducida por la compresión.
Esquema de Verificación de Múltiples Bits: Diseña un esquema basado en claves ortogonales que transforma la verificación de propiedad en una prueba estadística rigurosa, logrando una inyección fiable sin afectar el rendimiento de generación.
Validación Exhaustiva: Demuestra experimentalmente que el método mantiene la robustez frente a fine-tuning, cuantización y destilación de conocimiento en diversas arquitecturas de LLM, manteniendo una tasa de falsos positivos extremadamente baja.

4. Resultados Experimentales

Los experimentos se realizaron en múltiples modelos (LLaMA-2, LLaMA-3, Qwen2.5, Mistral, DeepSeek) y conjuntos de datos.

Preservación Funcional: FSW logra una degradación mínima en el rendimiento de la tarea. Por ejemplo, en LLaMA-3-8B, el aumento en la Perplejidad (PPL) fue de solo +0.37, manteniendo una precisión alta en tareas como HellaSwag y ARC.
Robustez ante Ataques:
- Destilación de Esqueleto (Backbone Distillation): A diferencia de los métodos anteriores, FSW mantiene la detectabilidad incluso después de que el modelo sea reparametrizado. En algunos casos, la precisión de bits se mantuvo al 100% o muy cerca (ej. 87.5% en LLaMA-2 tras destilación).
- Cuantización y Poda: El modelo resistió ataques de cuantización (INT4) y poda de pesos, mostrando incluso un aumento en la puntuación de detección en algunos escenarios.
Verificabilidad Estadística: Las puntuaciones de detección ( $S$ ) superaron significativamente los umbrales teóricos, permitiendo rechazar la hipótesis nula con una probabilidad de falsos positivos cercana a cero (hasta niveles de significancia $\alpha = 10^{-8}$ ).
Capacidad de Bits: Se identificó que una capacidad de 16 bits es el punto óptimo, equilibrando la carga de información para códigos de corrección de errores (ECC) sin saturar el subespacio funcional.

5. Significado e Impacto

Este trabajo aborda una brecha crítica en la seguridad de los LLMs al proporcionar un método de marca de agua que sobrevive a las modificaciones más agresivas y realistas que un adversario podría realizar para ocultar la procedencia del modelo.

Protección de Propiedad Intelectual: Ofrece una solución técnica rigurosa para la verificación de propiedad en disputas legales o comerciales.
Resiliencia: Al anclar la marca de agua en la estructura funcional fundamental del modelo (en lugar de en pesos arbitrarios), garantiza que la señal persista incluso cuando el modelo se comprime o se adapta a nuevas tareas.
Equilibrio: Logra un equilibrio superior entre la robustez de la marca de agua y la utilidad del modelo, evitando el compromiso entre seguridad y rendimiento que caracteriza a las soluciones anteriores.

En resumen, FSW representa un avance significativo hacia la protección de la propiedad intelectual de los modelos de IA a gran escala, asegurando que la autoría sea verificable incluso después de transformaciones profundas del modelo.