Resumen Técnico: Una Marca de Agua para Modelos de Visión-Lenguaje-Acción y Modelos de Acción-Mundo

Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) y los Modelos de Acción-Mundo (WAMs) se despliegan cada vez más como servicios de caja negra donde los pesos del modelo permanecen privados, pero la política se ejecuta a través de una API o un paquete local. Estos modelos representan una propiedad intelectual (IP) significativa debido a los datos propietarios y los recursos computacionales requeridos para su entrenamiento. Un desafío crítico surge cuando un socio o adversario intenta revender o redelegar una política protegida sin el permiso del propietario.

Las soluciones de marcas de agua existentes para políticas robóticas enfrentan dos limitaciones primarias:

1. Marcas de agua basadas en puertas traseras (backdoors): Requieren modificar los pesos del modelo para activar acciones específicas. Son difíciles de extender a escenarios de identificación de múltiples usuarios y pueden debilitarse mediante el ajuste fino (fine-tuning) posterior o el aprendizaje por imitación (behavior cloning).
2. Marcas de agua de perturbación de salida: Incrustan señales en el ruido de exploración del flujo de acciones. Sin embargo, debido a que la señal se concentra en una banda de frecuencia estrecha del flujo de salida, es fácilmente detectable por adversarios que pueden aplicar análisis espectral y filtros estrechos para eliminar la marca de agua con un impacto mínimo en el rendimiento de la tarea.

El problema central es diseñar un mecanismo de marca de agua que proteja la propiedad en un entorno de caja negra, soporte la identificación de múltiples claves y sea robusto contra ataques de eliminación en el lado de la salida, y que no degrade el rendimiento de la tarea.

Metodología: Verificación de Procedencia Latente con Clave

Los autores proponen la Verificación de Procedencia Latente con Clave, un método de dos etapas que incrusta la evidencia de propiedad en la semilla del ruido latente en lugar del flujo de acción final.

1. Inyección de la Huella Digital

La inyección ocurre antes de que el modelo genere un bloque de acción (action chunk).

• Mecanismo: El propietario del modelo reemplaza la semilla de ruido Gaussiano estándar ($z_c$) extraída por el muestreador con una semilla con huella digital ($z^{fp}_c$).
• Perturbación con Clave: La semilla con huella digital es una combinación lineal de la semilla original y un vector de referencia con clave ($r_c$):
  $$z^{fp}_c = \sqrt{1-\beta^2} z_c + \beta r_c$$
  donde $\beta$ controla la fuerza de la inyección. El vector de referencia $r_c$ se genera utilizando un generador de números pseudoaleatorios sembrado por una clave secreta $k^*$, un nonce $\nu_e$ y el índice del bloque.
• Invarianza Estadística: Crucialmente, la $z^{fp}_c$ resultante conserva exactamente la misma distribución Gaussiana ($N(0, I)$) que el ruido original. Esto asegura que el flujo de acciones no exhiba una señal aditiva explícita que un adversario pudiera filtrar fácilmente. La correlación entre la semilla y la clave queda oculta dentro del proceso de generación no lineal del modelo.
• Inyección Selectiva: No todos los bloques de acción se marcan. Un selector con clave determina qué bloques son perturbados para limitar la perturbación de la tarea y evitar que los adversarios identifiquen bloques "marcados" específicos para una eliminación dirigida.

2. Verificación de la Huella Digital

La verificación es realizada por un propietario autorizado que tiene acceso a las acciones ejecutadas por el robot sospechoso (que pueden ser parciales o procesadas posteriormente).

• Recuperación de MAP Latente: Dado que el verificador no puede ver la semilla interna, debe recuperar la semilla a partir de las acciones observadas ($y_c$). Los autores formulan esto como un problema de optimización de Máxima A Posteriori (MAP). El verificador busca una semilla latente $\hat{z}$ que minimice el error entre la acción predicha (generada desde $\hat{z}$) y la acción observada, mientras penaliza las desviaciones del prior Gaussiano. Este enfoque evita la necesidad de adivinar canales de acción no observados, un punto de falla de los métodos de reversión de ODE utilizados en el watermarking de imágenes.
• Puntuación Condicionada por Clave: La semilla recuperada se compara contra referencias con clave candidatas mediante un filtro de coincidencia (producto interno).
• Calibración y Agregación: Para manejar la variabilidad entre tareas y episodios, el verificador califica al sospechoso contra un banco de claves "señuelo" para normalizar las puntuaciones (Z-score). La evidencia de múltiples ejecuciones (agregación de grupo) se suma para tomar una decisión binaria final sobre la propiedad o para identificar la clave específica entre múltiples candidatos.

Contribuciones Clave

1. Verificación de Procedencia Latente con Clave: Un marco novedoso que marca los despliegues de VLA y WAM modificando la semilla de ruido latente, preservando la ley del ruido Gaussiano y evitando señales visibles en el lado de la salida.
2. Diseño de Verificador de Caja Negra: Un sistema de verificación capaz de recuperar semillas latentes a partir de comandos de acción parciales y procesados, soportando tanto la verificación de propiedad binaria como la identificación de múltiples claves.
3. Evaluación Exhaustiva: Experimentos extensos a través de dos familias de políticas ($\pi0.5$ y LingBot-VA) y dos suites robóticas (LIBERO-10 y RoboTwin), evaluando la robustez contra ataques en el lado de la salida (recorte, suavizado, jitter, retraso), variantes del lado del propietario (LoRA, poda, cuantización) y ataques de ajuste fino adaptativo.

Resultados Experimentales

El método fue evaluado en cuatro combinaciones de modelo-robot. Hallazgos clave incluyen:

• Rendimiento de la Tarea: La inyección de la marca de agua resultó en cambios insignificantes en las tasas de éxito de la tarea (típicamente dentro de unos pocos puntos porcentuales) y en la longitud de los episodios.
• Precisión de Detección: En ausencia de ataques, el método logró una detección perfecta (TPR 1.00 con una tasa de Falsos Positivos del 1%) en todas las combinaciones al agregar 16 ejecuciones.
• Robustez ante Ataques de Salida: La marca de agua permaneció detectable bajo varios ataques de eliminación en el lado de la salida. Aunque un suavizado o jitter agresivo en la combinación $\pi0.5$/LIBERO-10 redujo las tasas de detección, el método mantuvo generalmente una alta robustez. Los autores señalan que los ataques lo suficientemente fuertes como para eliminar la marca de agua también degradaban significativamente el rendimiento de la tarea.
• Robustez ante Variantes del Propietario: La huella digital sobrevivió al ajuste fino de LoRA, la poda y la cuantización. En casos donde la compresión dañó el esqueleto (backbone) del modelo (reduciendo el éxito de la tarea), la huella digital aún era recuperable tras la agregación.
• Identificación: El sistema identificó con éxito la clave específica asignada a una política sospechosa entre 33 candidatas, logrando una alta precisión de rango 1 después de la agregación.
• Análisis de Seguridad:
  • Riesgo de Clave Falsa: La probabilidad de que una clave aleatoria o independiente pase el umbral es extremadamente baja (estimada empíricamente alrededor de $10^{-3}$ a $10^{-9}$ dependiendo del umbral).
  • Eliminación Adaptativa: Los ataques de caja blanca donde un adversario ajusta la política para minimizar la puntuación de la marca de agua fallaron en eliminar la huella digital sin degradar severamente el rendimiento de la tarea.
  • Destilación: El aprendizaje por imitación (entrenar a un estudiante con las salidas del maestro) eliminó con éxito la marca de agua, ya que el estudiante aprende la distribución de acciones pero no la invariancia de la ley de ruido específica del muestreador del maestro. Los autores enmarcan esto como el límite donde el costo de la evasión (entrenar un nuevo modelo) se vuelve prohibitivo.

Significancia y Reclamaciones

El artículo afirma que la verificación de procedencia latente con clave ofrece un mecanismo práctico y robusto para proteger las políticas robóticas generativas privadas. Al incrustar la marca de agua en la semilla latente en lugar de en la salida, el método evita la vulnerabilidad de "eliminación barata" de las marcas de agua basadas en frecuencia.

Los autores enfatizan que sus garantías son puntos de operación empíricos en lugar de pruebas criptográficas. El método está diseñado para auditorías autorizadas y post-hoc donde el propietario tiene acceso al servicio sospechoso. La significancia radica en permitir a los propietarios detectar el despliegue no autorizado de sus políticas incluso cuando los pesos están ocultos y la salida está sujeta al procesamiento posterior estándar del despliegue. El trabajo destaca un compromiso: mientras que la marca de agua es robusta contra la manipulación de la salida y la edición del modelo, es vulnerable a la destilación, lo que sugiere que el costo de la evasión se desplaza de un simple filtrado al proceso costoso de reentrenar una nueva política.