RandMark: On Random Watermarking of Visual Foundation Models

El artículo propone RandMark, un método de marcaje de agua aleatorio que utiliza una pequeña red codificadora-decodificadora para incrustar marcas de agua en representaciones internas de modelos fundacionales visuales, permitiendo verificar su propiedad y detectar copias funcionales con baja probabilidad de falsos positivos y negativos.

Lo esencial

Imagina que has creado una obra maestra digital: un "cerebro" de inteligencia artificial capaz de ver y entender imágenes mejor que cualquier humano. Este cerebro, al que los expertos llaman Modelo de Visión Fundamental, ha costado millones de dólares y años de trabajo para entrenar.

El problema es que, una vez que lo sueltas al mundo, alguien podría copiarlo, modificarlo un poco y venderlo como suyo, o usarlo para hacer dinero sin pagarte. ¿Cómo demuestras que ese cerebro es tuyo si el ladrón ha borrado tu nombre de la etiqueta?

Aquí es donde entra RandMark, la solución propuesta en este artículo.

La Analogía: El "Código Secreto en el Sueño"

Imagina que tu modelo de IA es como un actor muy talentoso.

• El problema: Si alguien copia a tu actor (lo entrena para que actúe igual), el copiado se ve idéntico. No puedes distinguir al original del clon solo mirando su cara.
• La solución antigua (Huella Digital): Antes, intentaban poner una marca visible en el actor, como una cicatriz en la frente. Pero si el ladrón le hace una cirugía plástica (entrena al modelo de nuevo), la cicatriz desaparece y el ladrón queda libre.
• La solución de RandMark (El Sueño Secreto): En lugar de poner una cicatriz visible, RandMark le enseña al actor a soñar de una manera muy específica.

¿Cómo funciona?

1. El Entrenamiento Secreto (La Inyección):
   Los dueños del modelo toman un grupo de fotos (digamos, 1,000 imágenes de productos o comida) y les "susurran" un mensaje secreto a la IA. No es un mensaje de texto, sino un patrón matemático oculto en la forma en que la IA procesa esas imágenes.

   • Analogía: Es como si le dieras a tu actor un código secreto para que, cuando vea una manzana roja, su cerebro interno haga un "tic-tac" muy específico que solo tú sabes escuchar.

2. La Prueba (El Despertar):
   Cuando sospechas que alguien tiene una copia de tu modelo, le das esas mismas fotos (o fotos muy similares) y le pides que las procese.

   • Si es tu modelo original (o una copia que ha sido entrenada para hacer lo mismo), su cerebro interno hará ese "tic-tac" secreto. El sistema de RandMark escucha ese sonido y dice: "¡Ese es mi actor! Tiene mi código".
   • Si es un modelo ajeno (un actor diferente que nunca conoció el secreto), su cerebro no hará ese "tic-tac". Dirá: "No, este no es el tuyo".

¿Por qué es tan genial este método?

El artículo destaca tres cosas increíbles sobre RandMark:

1. Es como un fantasma (Invisible pero persistente):
   A diferencia de las marcas de agua antiguas que se borraban si modificabas el modelo, este código está "enredado" en la forma en que el modelo piensa. Incluso si el ladrón intenta "podar" el modelo (borrar partes de su cerebro para hacerlo más rápido) o reentrenarlo para que sea mejor en otra tarea (como clasificar zapatos en lugar de comida), el código secreto sigue ahí. Es como si el actor hubiera internalizado el secreto en su alma; no importa cuánto cambie su vestuario, el secreto permanece.

2. No confunde a los inocentes:
   El sistema es tan inteligente que sabe la diferencia entre "tu modelo modificado" y "un modelo totalmente diferente".

   • Analogía: Si le das la prueba a un actor que nunca ha trabajado contigo, RandMark no dirá "¡Es el tuyo!" por error. Es muy preciso.

3. Funciona con los "superhéroes" de la IA:
   Los autores probaron esto con dos de los modelos de visión más potentes del mundo (llamados CLIP y DINOv2). Funcionó incluso cuando intentaron romper el código con técnicas muy agresivas, como eliminar el 40% de las conexiones del modelo.

En resumen

RandMark es como poner una firma invisible en el alma de una inteligencia artificial.

• Para el dueño: Es su seguro de vida. Puede demostrar legalmente que un modelo que circula por internet es una copia de su inversión, incluso si el ladrón intentó disfrazarlo.
• Para el público: Significa que los creadores de IA tendrán más incentivos para crear cosas increíbles, sabiendo que su propiedad intelectual está protegida por un sistema que es muy difícil de burlar.

Es una herramienta que convierte la "inteligencia" del modelo en su propia prueba de identidad.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "RandMark: On Random Watermarking of Visual Foundation Models" en español, estructurado según los puntos solicitados:

1. Planteamiento del Problema

Los Modelos Fundacionales Visuales (VFMs, por sus siglas en inglés) son activos valiosos debido a los altos costos de recopilación de datos y entrenamiento. Para proteger la propiedad intelectual (PI), los propietarios distribuyen estos modelos bajo licencia. Sin embargo, existe el riesgo de que usuarios no autorizados violen los términos de uso, por ejemplo, mediante la integración de copias funcionales en otros servicios para obtener beneficios.

Los métodos actuales de protección de PI se dividen en:

• Marcas de agua (Watermarking): Modifican los parámetros del modelo para incrustar información.
• Huellas dactilares (Fingerprinting): Generan identificadores únicos sin alterar el modelo original.

El desafío principal es que las técnicas existentes están diseñadas principalmente para clasificadores de imágenes y no son directamente aplicables a los VFMs, que tienen capacidades más amplias (extracción de características, adaptación a tareas downstream). Además, muchos métodos fallan cuando el modelo es sometido a perturbaciones funcionales como fine-tuning (ajuste fino) o poda (pruning).

2. Metodología: RandMark

El artículo propone RandMark, un enfoque novedoso para la marca de agua de modelos fundacionales visuales. A diferencia de métodos anteriores que se centran en la salida de clasificación, RandMark incrusta firmas binarias directamente en las representaciones ocultas (hidden representations) del modelo.

Proceso Técnico:

1. Arquitectura: Se utilizan dos redes auxiliares ligeras: un codificador ($e$) y un decodificador ($d$).
2. Inyección de Marca de Agua:
   • Se selecciona un conjunto de imágenes de entrada ($x$) y un mensaje binario secreto ($m$).
   • Se añade ruido aleatorio a la imagen ($x + \epsilon$).
   • El codificador y el modelo base ($f$) se ajustan conjuntamente para modificar la representación interna de la imagen de manera que contenga la información del mensaje $m$.
   • El objetivo es minimizar la discrepancia entre el mensaje original y el extraído, manteniendo la varianza baja debido a la aleatoriedad de la transformación de entrada.
3. Verificación:
   • Durante la verificación, se aplican transformaciones aleatorias a las imágenes de prueba.
   • El decodificador extrae un mensaje $m'$ de la salida del modelo sospechoso.
   • Se calcula la distancia (distancia de Hamming) entre el mensaje original $m$ y el extraído $m'$.
4. Criterio de Decisión:
   • Si la distancia promedio es menor que un umbral $\tau$, el modelo se considera una copia funcional del modelo marcado.
   • Se utilizan estadísticas de colisión de bits y covarianza para distinguir entre modelos dependientes (copias funcionales) e independientes.

Modelo de Amenaza:
El método está diseñado para resistir ataques de eliminación de marcas de agua, que incluyen:

• Fine-tuning en tareas downstream (clasificación, segmentación).
• Poda no estructurada (eliminación de pesos).
• Distilación de conocimiento.

3. Contribuciones Clave

• Propuesta de RandMark: Un nuevo método que incrusta firmas binarias en las representaciones internas de los VFMs mediante un conjunto de imágenes de activación (trigger images), haciéndolo apto para diversos casos de uso downstream.
• Análisis Teórico: Derivación de límites superiores para las probabilidades de falsos positivos (detectar una marca en un modelo no marcado) y falsos negativos (no detectar una marca en una copia funcional). Se demuestra que la probabilidad de error es baja.
• Robustez Experimental: Validación en modelos de última generación (CLIP y DINOv2), demostrando que el método funciona incluso después de fine-tuning y poda agresiva, donde los métodos de huellas dactilares existentes fallan.

4. Resultados Experimentales

Los experimentos se realizaron utilizando CLIP y DINOv2, ajustados para tareas de clasificación (dataset de productos de comercio electrónico) y segmentación (FoodSeg103).

• Tasa de Detección: RandMark logra una alta tasa de detección (True Positive Rate) para modelos que son copias funcionales (ajustados o podados), manteniendo la marca de agua incluso con un 40% de poda de pesos.
• Baja Falsa Positiva: El método no detecta marcas de agua en modelos independientes o de arquitecturas diferentes (ej. CLIP vs. DINOv2), manteniendo una tasa de falsos positivos cercana a cero.
• Comparación con Baselines:
  • En comparación con métodos generales como ADV-TRA e IPGuard, RandMark supera significativamente su rendimiento en la detección de marcas de agua en escenarios de clasificación y segmentación.
  • Al comparar con métodos de suavizado de pesos (Bansal et al.), RandMark mantiene una alta precisión en la extracción de la marca (97-100%) mientras preserva mejor el rendimiento en la tarea de segmentación (métricas IoU más altas).
• Estadísticas de Covarianza: Se observó que los modelos dependientes de la marca de agua exhiben una covarianza positiva en los mensajes decodificados, mientras que los modelos independientes tienen una covarianza cercana a cero, lo que sirve como métrica complementaria de verificación.

5. Significado e Impacto

El trabajo de RandMark es significativo porque aborda una brecha crítica en la protección de la propiedad intelectual de los modelos de IA modernos.

• Agnosticismo del Modelo: El método no requiere modificar la arquitectura base del VFM de manera intrusiva, sino que se adapta a la representación interna.
• Resistencia a Perturbaciones: A diferencia de métodos anteriores que se rompen con el ajuste fino o la poda, RandMark demuestra que es posible proteger la PI incluso cuando el modelo se adapta a nuevas tareas o se optimiza para la eficiencia.
• Viabilidad Práctica: Ofrece una solución teóricamente fundamentada y experimentalmente validada para que los propietarios de modelos puedan verificar la autoría y detectar usos no autorizados en el ecosistema de modelos fundacionales visuales.

En resumen, RandMark establece un nuevo estándar para la verificación de propiedad en modelos fundacionales, equilibrando la robustez de la marca de agua con la funcionalidad del modelo en tareas prácticas.